NameNode中的Fsimage和Edits解析

2021-09-05 09:30:06 字數 835 閱讀 1131

在在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current 目錄下

1.fsimage檔案:hdfs檔案系統元資料的乙個永久性的檢查點,其中包含hdfs檔案系統的所有目錄和檔案idnode的序列化資訊;

2.fsimage.md5檔案:是映象檔案的 md5 校驗檔案,這個校驗檔案是為了判斷映象檔案是否被修改;

3.edits檔案:存放hdfs檔案系統的所有更新操作,檔案系統客戶端執行的所有寫操作首先會被記錄到edits檔案中

4.seen_txid檔案:它代表的是 namenode 裡面的 edits_* 檔案的尾數,namenode 重啟的時候,會按照 seen_txid 的數字, 循序從頭跑 edits_0000001~ 到 seen_txid 的數字

5.version檔案:記錄了當前namenode的一些資訊

1.namespaceid是檔案系統的唯一識別符號,格式化檔案系統後就會生成這個id

2.clusterid是系統生成的集群的id;

3.ctime是namenode儲存系統建立是時間,第一次格式化系統就是0,再次格式化時就會更新;

4.storagetype說明檔案儲存的是什麼系統儲存的資訊,可能是namenode/datanode

5.bolckpoolid是針對每乙個namespace對應的bolckpool的id,包含儲存節點的ip等資訊

Hadoop中namenode出現故障的解決方法

namenode故障後,可以採用如下兩種方法恢復資料。方法一 將secondarynamenode中資料拷貝到namenode儲存資料的目錄 方法二 使用 importcheckpoint 選項啟動namenode守護程序,從而將secondarynamenode中華資料拷貝到namenode目錄中...

Hadoop中Namenode的HA查詢和切換

三颱小型hadoop集群,上星期公司機房停電了,這次上去start了集群,但是發現start之後無法工作了。檢視了jps發現該有的程序都有了,敲入 hadoop fs ls 報錯內容如下 org.apache.hadoop.ipc.remoteexception org.apache.hadoop....

NameNode中的高可用方案

nn中元資料的可靠性是可以保證的,但是其可用性並不高,因為namenode是單節點的,所以一旦這個節點不能工作,那麼整個hdfs都不能工作,但是由於secondarynamenode的機制,所以,即便namenode不能工作,元資料也不會丟失,人為介入之後是可以恢復的,不會導致資料丟失。因此可靠性高...