Hadoop集群namenode故障模擬

2021-09-26 04:10:01 字數 1413 閱讀 1589

在主namenode發生故障時(假設沒有及時備份資料),可以從secondarynamenode恢復資料。

方法一:將secondarynamenode中資料拷貝到namenode儲存資料的目錄;

方法二:使用-importcheckpoint選項啟動namenode守護程序,從而將secondarynamenode用作新的主namenode。

方法1:1、kill掉原namenode

2、進入到data裡刪除name資訊

3、拷貝secondarynamenode中資料到原namenode儲存資料目

cp -r /opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* /opt/module/hadoop-2.7.2/data/tmp/dfs/name/

4、重新啟動namenode

sbin/hadoop-daemon.sh start namenode

方法2:1、修改hdfs-site.xml中的

dfs.namenode.checkpoint.period

120 dfs.namenode.name.dir /opt/module/hadoop-2.7.2/data/tmp/dfs/name

2、kill掉原namenode

3、刪除namenode儲存的資料(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)

rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

4、如果secondarynamenode不和namenode在乙個主機節點上,需要將secondarynamenode儲存資料的目錄拷貝到namenode儲存資料的平級目錄。

5、匯入檢查點資料,如果檔案提示檔案鎖了,則刪掉namesecondary裡的in-lock(等待一會ctrl+c結束掉)(不然時間會很長很長)

6、啟動namenode

Hadoop(二)Hadoop集群搭建

準備好三颱centos系統,配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映,修改 etc hosts,...

Hadoop集群配置

hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...

操作Hadoop集群

操作hadoop集群 所有必要的配置完成後,將檔案分發到所有機器上的hadoop conf dir目錄。這應該是所有機器上相同的目錄。一般來說,建議hdfs和yarn作為單獨的使用者執行。在大多數安裝中,hdfs程序作為 hdfs 執行。yarn通常使用 紗線 帳戶。hadoop啟動 要啟動hado...