HDFS的特性和缺點

2021-09-29 08:31:20 字數 856 閱讀 2156

1、海量資料儲存: hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。

2、高容錯性:資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均衡到新的節點上。

3、商用硬體:hadoop並不需要執行在昂貴且高可靠的硬體上。它是設計執行在商用硬體(廉價商業硬體)的集群上的。(相對於小型機,大型機廉價)

4、大檔案儲存:hdfs採用資料塊的方式儲存資料,將資料物理切分成多個小的資料塊。所以再大的資料,切分後,大資料變成了很多小資料。使用者讀取時,重新將多個小資料塊拼接起來。

1、不能做到低延遲資料訪問:由於hadoop針對高資料吞吐量做了優化,犧牲了獲取資料的延遲,所以對於低延遲訪問資料的業務需求不適合hdfs。

2、不適合大量的小檔案儲存:由於namenode將檔案系統的元資料儲存在記憶體中,因此該檔案系統所能儲存的檔案總數受限於namenode的記憶體容量。根據經驗,每個檔案、目錄和資料塊的儲存資訊大約佔150位元組。因此,如果有一百萬個小檔案,每個小檔案都會佔乙個資料塊,那至少需要300mb記憶體。如果是上億級別的,就會超出當前硬體的能力。

3、修改檔案:。hdfs適合一次寫入,多次讀取的場景。對於上傳到hdfs上的檔案,不支援修改檔案。hadoop2.0雖然支援了檔案的追加功能,但不建議對hdfs上的檔案進行修改。因為效率低下.

4、不支援使用者的並行寫:同一時間內,只能有乙個使用者執行寫操作。

HDFS的特性和缺點

海量資料儲存 hdfs 可橫向擴充套件,其儲存檔案可以支援pb級別資料 高容錯性 節點丟失,系統依然可用,資料儲存多個副本,副本丟失後自動恢復。可建構在廉價 與小型機大型機比 的機器上,實現線性擴充套件 隨著節點數量的增加,集群的儲存能力增加 大檔案儲存 dfs採用資料塊的方式儲存資料,將乙個大檔案...

HDFS特性與缺點的概述

目標 掌握hdfs具備的特性 1 海量資料儲存 hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性 資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均...

HDFS的優缺點

hdfs的優點 1 資料冗餘 硬體容錯 檔案以block的方式,多副本儲存在集群的節點上,保證硬體的容錯,當某一機器損壞時,不至於資料丟失 2 處理流式的資料訪問 流式 一次寫入,多次讀取的操作 3 適合儲存大檔案 4 可構建在廉價的機器上 缺點 1 低延遲的資料訪問 資料大,想在秒級別做資料的檢索...