NameNode資料管理機制

2021-08-20 08:07:53 字數 1252 閱讀 8221

namenode是整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案/目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求

檔案包括:

①fsimage:元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。

②edits:操作日誌檔案。

③fstime:儲存最近一次checkpoint的時間

以上這些檔案是儲存在linux的檔案系統中.

namenode的工作特點

:1、客戶端上傳檔案,nn首先往edits.log檔案中記錄資料操作日誌。

2、客戶端開始上傳檔案,完成後返回成功資訊給nn,nn就在記憶體中寫入這次上傳操作的新產生的資料資訊。

3、每當edits.log寫滿時需要將這段時間的新的原資料寫到fsimage檔案中去。

hadoop

會維護乙個

fsimage

檔案,也就是

namenode

中metedata

的映象,但是

fsimage

不會隨時與

namenode

記憶體中的

metedata

保持一致,而是每隔一段時間通過合併

edits檔案來更新內容。secondary namenode

就是用來合併

fsimage

和edits檔案來更新namenode的

metedata

的。secondary namenode的工作流程:

1.secondary通知namenode切換edits檔案

2.secondary從namenode獲得fsimage和edits(通過http)

3.secondary將fsimage載入記憶體,然後開始合併edits

4.secondary將新的fsimage發回給namenode

5.namenode用新的fsimage替換舊的fsimage

觸發checkpoint條件:

l、fs.checkpoint.period 指定兩次checkpoint的最大時間間隔,預設3600秒。

2、fs.checkpoint.size    規定edits檔案的最大值,一旦超過這個值則強制checkpoint,不管是否到達最大時間間隔。預設大小是64m。

NameNode元資料管理機制

1.使用者上傳檔案的的過程 解析 使用者向nn申請上傳檔案 nn將分配的dn資訊記錄追加在edit.log的檔案中 nn將分配的dn資訊返回給客戶端 客戶端將檔案上傳到各個節點上 客戶端將上傳成功的資訊返回給nn節點,nn將edit.log檔案中的內容寫入記憶體中,一次上傳檔案的操作完成了 當edi...

HDFS及NameNode元資料管理機制細節

namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹,檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...

HDFS中namenode元資料管理機制

元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時,datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時,namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...