hadoop元資料管理機制

2021-07-22 13:51:15 字數 565 閱讀 3135

namenode職責:

負責客戶端請求的響應

元資料的管理(查詢,修改)

客戶端經常性的會有 查詢元資料的請求 和更新元資料的請求

namenode對資料的管理採用了三種儲存形式:

記憶體元資料(namesystem)

磁碟元資料映象檔案(fsimage)

資料操作日誌檔案(可通過日誌運算出元資料edits)

secondary namenode 主要對image映象檔案的管理

1.當有元資料有更新請求的時候,先記錄操作日誌edits,

2.然後會更新到記憶體當中

3.checkpiont  觸發條件:定時 或者是edits中的記錄數量(預設情況下30分鐘)

4.namenode檢查觸發條件,當滿足條件,會向secondarynamenode做出請求

5 edits.inprogress會立馬滾動一次,將正在寫的資料生成為舊的edits

7,將fsimage和edits合併成為乙個新的檔案fsimage

8,把生成的新的檔案請求上傳到namenode,nomenode會將本地fsimage進行覆蓋

NameNode元資料管理機制

1.使用者上傳檔案的的過程 解析 使用者向nn申請上傳檔案 nn將分配的dn資訊記錄追加在edit.log的檔案中 nn將分配的dn資訊返回給客戶端 客戶端將檔案上傳到各個節點上 客戶端將上傳成功的資訊返回給nn節點,nn將edit.log檔案中的內容寫入記憶體中,一次上傳檔案的操作完成了 當edi...

HDFS及NameNode元資料管理機制細節

namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...

HDFS中namenode元資料管理機制

元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時,datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時,namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...