hadoop學習筆記(HDFS)

2021-07-04 00:05:40 字數 435 閱讀 9086

hdfs的設計基礎與目標:

(1)硬體錯誤是常態,因此需要冗餘。

(2)為大資料而生,流式讀寫,批量讀取而非隨機讀寫。擅長資料分析而不是事務處理。

(3)大規模資料集。

(4)一次寫多次讀邏輯設計,即一旦寫入,只能讀,不能修改。

(5)程式才用「資料就近」原則分配節點執行。

hdfs的可靠性:

冗餘副本策略、機架策略、心跳機制、安全模式、校驗和、**站、元資料保護、快照機制。

hdfs的體系結構:

元資料:事務日誌(記錄hdfs的元資料變化)、映像檔案(fsimage ,儲存檔案系統命名空間的檔案映像和檔案屬性等)。

讀取資料流程(namenode不參與資料傳輸)。

hadoop學習筆記(二) HDFS

定義 hdfs hadoop distributed file system 它是乙個檔案系統,用於儲存檔案,通過目錄樹來定位檔案,它是分布式的,由很多伺服器聯合起來實現其功能。場景 適合一次寫入,多次讀出的場景,且不支援檔案的修改,適合用來做資料分析,不適合做網盤應用。優點 1.高容錯性 資料儲存...

HADOOP學習筆記(一) HDFS

hdfs,它是乙個檔案系統,用於儲存檔案,通過目錄樹來定位檔案 其次,它是分布式的,由很多伺服器聯合起來實現其功能,集群中的伺服器有各自的角色。hdfs的設計適合一次寫入,多次讀出的場景,且不支援檔案的修改。適合用來做資料分析,並不適合用來做網盤應用。namenode 它維護著整個檔案系統的檔案資料...

hadoop學習筆記 HDFS原理

文章內容摘自書籍,網際網路的部落格的一些集合和個人的理解。hdfs原理 hadoop提供了可靠的共享儲存和分析的系統,hdfs實現儲存,mapreduce實現分析處理,這兩部分是hadoop的核心,由於hdfs是為了高資料吞吐量而優化的,是以高時間延遲為代價,所以要求低延遲的資料訪問應用不適合在hd...