1 hdfs特性及適用場景

2021-08-07 10:48:05 字數 591 閱讀 3378

hdfs是乙個分布式檔案系統,用於儲存檔案,通過統一的命名空間——目錄樹來定位檔案,並且是分布式的,由很多伺服器聯合起來實現其功能,集群中的伺服器各自負責角色;

重要特徵:

1.hdfs中的檔案在物理上是分塊儲存(block),塊的大小可以通過配置引數( dfs.blocksize)來規定,預設大小在hadoop2.x版本中是128m,老版本中是64m

2.hdfs檔案系統會給客戶端提供乙個統一的抽象目錄樹,客戶端通過路徑來訪問檔案,如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

3.目錄結構及檔案分塊資訊(元資料)的管理由namenode節點承擔——namenode是hdfs集群主節點,負責維護整個hdfs檔案系統的目錄樹,以及每乙個路徑(檔案)所對應的block塊資訊(block的id,及所在的datanode伺服器)

4.檔案的各個block的儲存管理由datanode節點承擔---- datanode是hdfs集群從節點,每乙個block都可以在多個datanode上儲存多個副本(副本數量也可以通過引數設定dfs.replication)

5.hdfs是設計成適應一次寫入,多次讀出的場景,且不支援檔案的修改

HDFS適用場景和不適用場景

海量資料儲存 hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。高容錯性 資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均衡到新的節點上。商用硬體 hadoop...

Mycat簡介及適用場景

官網 mycat是乙個開源的分布式資料庫系統,是乙個實現了 mysql 協議的的 server,前端使用者可以把它看作是乙個資料庫 用 mysql 客戶端工具和命令列訪問,而其後端可以用mysql 原生 native 協議與多個 mysql 伺服器通訊,也可以用 jdbc 協議與大多數主流資料庫伺服...

常用執行緒池及適用場景

arrayblockingqueue 有界佇列 是乙個陣列實現的有界阻塞佇列,按fifo排序量 linkedblockingqueue 是乙個基於鍊錶實現的阻塞佇列,按fifo排序任務,可以設定容量,不設定使用integer.max value 不設定就是無界佇列 newfixthreadpool,...