hdfs檔案系統基礎筆記

2021-10-06 21:37:34 字數 271 閱讀 3300

由乙個namenode和一些datanode組成

面向檔案包含,檔案資料(data)和檔案元資料(metadata)

namenode負責儲存和管理檔案元資料,並維護了乙個層次型的檔案目錄樹

datanode負責儲存檔案資料(block快),並提供block的讀寫

datanode與namenode維持心跳,並匯報字持有的block資訊

client和namenode互動檔案元資料和datanode互動檔案block資料

需要副本放置策略

HDFS檔案系統

hdfs 是 hadoop distribute file system 的簡稱,意為 hadoop 分布式檔案系統。是hadoop 核心元件之一,作為最底層分布式儲存服務而存在。分布式檔案系統解決的問題就是大資料儲存。它們是橫跨在多台計算機上的儲存系統。分布式檔案系統在大資料時代有著廣泛的應用前景...

HDFS檔案系統總結

hdfs預設快大小128m hdfs小於乙個塊大小的檔案不會佔據整個塊空間 對檔案系統塊檢查 hdfs fsck files blocks namenode管理檔案系統的命名空間,維護者檔案系統及整顆樹內所有檔案和目錄,這些資訊以兩個檔案形式永久儲存在本地磁碟上 命名空間映象檔案和編輯日誌檔案,也記...

Hadoop 檔案系統(HDFS)

磁碟傳輸速率100m s,定址時間10ms,讓定址時間是傳輸時間的1 所以塊的大小為 100 0.01s 100m s 100m 128m 在 hdfs default.xml 中搜尋dfs.blocksize,可以修改大小 檔案上傳 檢查檔案block的狀態 由上可見,狀態是健康的 啟動所有資料節...