hadoop之namenode檢查點機制

2021-10-09 17:40:39 字數 622 閱讀 6752

namenode使用兩個檔案來保留其命名空間:fsimage,它是命名空間和編輯的最新檢查點,是自檢查點以來命名空間更改的日誌(日誌)。當namenode啟動時,它會合併fsimage和edits journal以提供檔案系統元資料的最新檢視。namenode然後用新的hdfs狀態覆蓋fsimage並開始乙個新的編輯日誌。

檢查點(或備份)節點及其隨附web介面的位置是通過dfs.namenode.backup.address和dfs.namenode.backup.http-address配置變數配置的。

checkpoint節點上檢查點程序的開始由兩個配置引數控制。

dfs.namenode.checkpoint.period,預設設定為1小時,指定兩個連續檢查點之間的最大延遲

dfs.namenode.checkpoint.txns,預設設定為1百萬,定義namenode上的未經檢查的事務的數量,這將強制緊急檢查點,即使尚未達到檢查點週期。

通過這兩個引數可以控制editlog的大小,並定時的合併,可靠性更好。

checkpoint節點將最新的檢查點儲存在與namenode的目錄結構相同的目錄中。這允許檢查點影象在必要時始終可供namenode讀取。請參閱匯入檢查點。

可以在群集配置檔案中指定多個檢查點節點。

Hadoop錯誤之namenode宕機的資料恢復

在修復hadoop集群某乙個datanode無法啟動的問題時,搜到有乙個答案說要刪除hdfs site.xml中dfs.data.dir屬性所配置的目錄,再重新單獨啟動該datanode即可 問題就出在這個誤刪除上,當時是在namenode的hadoop hdfs 目錄下,然後就執行了乙個可怕的命令...

NameNode啟動流程(HADOOP)

整理資料吧,溫故而知新。main namenode啟動流程 namenode啟動流程 載入fsimage和edits檔案。生成新的fsimage和edits檔案。等待datanode註冊,傳送block report。namenode啟動流程點 一些解釋 fsimage 映象 rpc 遠端過程通過協...

Hadoop無法啟動NameNode問題

最近使用hadoop,因為之前配置過hadoop 單機模式 所以直接使用start all.sh啟動hadoop,用jps命令檢視啟動程序時,發現只有tasktracker,datanode和secondarynamenode三個程序啟動了,而另外兩個程序namenode和jobtracker並沒有...