HDFS之namenode管理元資料機制及一些問題

2021-08-09 00:09:18 字數 635 閱讀 3352

namenode對資料的管理採用了三種儲存形式:

記憶體元資料(namesystem)

磁碟元資料映象檔案

資料操作日誌檔案(可通過日誌運算出元資料)

元素據儲存機制

1、記憶體中有乙份完整的元資料(記憶體meta data)

2、磁碟有乙個「準完整」的元資料映象(fsimage)檔案(在namenode的工作目錄中)

3、用於銜接記憶體metadata和持久化元資料映象fsimage之間的操作日誌(edits檔案)。

注:當客戶端對hdfs中的檔案進行新增或者修改操作,操作記錄首先被記入edits日誌檔案中,當客戶端操作成功後,相應的元資料會更新到記憶體meta.data中

namenode如何管理元資料

流程圖:

HDFS之NameNode故障處理

namenode故障後,可以採用如下兩種方法恢復資料。方法一 將secondarynamenode中資料拷貝到namenode儲存資料的目錄 1.kill 9 namenode程序 2.刪除namenode儲存的資料 opt module hadoop 2.7.2 data tmp dfs name...

NameNode之資料塊管理

一 block replica blocksmap hdfs使用block類抽象namenode中的資料塊,block實現了writable介面,是可以序列化的,並且實現了comparable介面,可以按照blockid大小排序。定義了三個字段 blockid 唯一識別符號 numbytes 資料塊...

HDFS及NameNode元資料管理機制細節

namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...