複習記錄一 HDFS元資料管理

2021-10-07 20:42:19 字數 377 閱讀 5827

fsimage和edits

在hdfs集群中,namenode的元資料都儲存在了fsiamge和edits當中。這兩個檔案就記錄了所有的元資料資訊。

edits

fsimage

secondarynamenode的合併操作

為了防止edits檔案過大,secondarynamenode會定期的合併fsimage和edits。

觸發條件

1.定期,時間1個小時。

2.當容量達到64m時會觸發。

secondarynamenode會定期的合併fsimage和edits,合併成新的fsimage檔案。並且清空edits日誌檔案。之後會將新的fsimage替換到舊的fsimage。

HDFS元資料管理

hdfs的目錄結構,包含哪些資料夾子資料夾,以及資料夾下面包含哪些檔案,以及每個檔案的block資訊 id,副本係數,block存放在那個datanode上 元資料存放在 name路徑下。在namenode的記憶體中有乙個樹形結構,存放的就是元資料資訊,對檔案的任何修改都在記憶體中有體現,但是如果機...

hdfs元資料管理

元資料就是檔案的建立時間 大小 許可權 塊列表等資訊。在hadoop集群中namenode的元資料資訊都儲存在了fslmage和eidts檔案中,這兩個檔案的目錄資訊就配置在hdfs site.xml檔案中。fsimage hdfs檔案系統存於硬碟中的元資料檢查點,裡面記錄了自最後一次檢查點之前hd...

HDFS知識點 四 HDFS元資料管理

元資料就是 hdfs的目錄結構以及每個檔案的block資訊 id 副本係數 block存放在哪個datanode上 對應配置 name 在 name current下,這些就是元資料 元資料存放在檔案中 一般情況下合併不會交給namenode來操作的,因為客戶端的所有請求都在namenode上,如果...