HDFS中NameNode的啟動過程

2021-08-31 01:13:16 字數 1072 閱讀 8839

namenode儲存檔案系統元資料映象,namenode在記憶體及磁碟上分別存在乙份元資料映象檔案,記憶體中元資料映象保證了hdfs檔案系統檔案訪問效率,磁碟上的元資料映象保證了hdfs檔案系統的安全性。

namenode在磁碟上的檔案組成:

fsimage檔案:儲存檔案系統至上次checkpoint為止目錄和檔案元資料。

edits檔案:儲存檔案系統從上次checkpoint起對hdfs的所有操作記錄日誌資訊。

fstime檔案:儲存檔案系統更新操作的時間

首次啟動:

首先進行格式化,為了生成fsimage映象檔案

啟動namenode:

讀取fsimage生成記憶體中元資料映象。

啟動datanode:

向namenode註冊;

向namenode傳送blockreport。

之後啟動:

啟動namenode:

讀取fsimage元資料映象檔案,載入到記憶體中。

讀取editlog日誌檔案,載入到記憶體中,使當前記憶體中元資料資訊與上次關閉系統時保持一致。然後在磁碟上生成乙份同記憶體中元資料映象相同的fsimage檔案,同時生成乙個新的null的editlog檔案用於記錄以後的hdfs檔案系統的更改。

啟動datanode:

向namenode註冊;

向namenode傳送blockreport。

secondarynamenode(輔助namenode)

由於啟動namenode時候讀取fsimage的速度比edits的速度快,所以如果長時間不重啟namenode會導致edits檔案變得很大,下次啟動的速度就會很慢。

secondarynamenode的作用就是每隔一段時間(預設是1小時,觸發條件很多)就會將fsimage和edits檔案進行合併生成新的fsimage,建立乙個新的空的edits檔案用於存放檔案系統改變的日誌檔案。

四 HDFS中NameNode的啟動過程

一 hdfs中namenode的啟動過程 1 在hdfs site.xml 中設定檔案儲存路徑並指向 data 路徑,在 hadoop 安裝路徑中新建 data 目錄。2 進行 namenode 格式化,在 data 目前中生成各類目錄,並生成 fsimage 檔案。3 第一次啟動 namenode...

HDFS之NameNode故障處理

namenode故障後,可以採用如下兩種方法恢復資料。方法一 將secondarynamenode中資料拷貝到namenode儲存資料的目錄 1.kill 9 namenode程序 2.刪除namenode儲存的資料 opt module hadoop 2.7.2 data tmp dfs name...

HDFS中namenode元資料管理機制

元資料 包含兩個內容 1 filename 2 block塊儲存位置 剛開啟hdfs時,datanode匯報塊儲存主機位置。如圖所示 1 當client向namenode發出更新元資料請求時,namenode會根據更新的資料內容存放位置等更新好元資料。而每次做的更新操作都會被記錄到edits中。2 ...