hadoop操作配置格式化等

2021-06-18 22:23:52 字數 789 閱讀 8409

1 用ant jar命令重新編譯了hadoop原始碼之後會生成build資料夾,hadoop重新啟動的時候主節點namenode程序會根據build中的版本啟動

導致從節點的datanode程序與主節點的版本不一致

2 必須關閉了hadoop集群再格式化主節點,否則會報錯,dfs-name已經被鎖定,無法再次鎖定

3 格式化的時候,如果secondary與namenode在一台機器上,要備份一下secondary的資料,否則會被一起格式化沒了

4 hadoop.tmp.dir可以看做是乙個父親目錄,其他的很多目錄缺省會存放在此目錄下

比如fs.checkpoint.dir(映象儲存目錄,預設在/dfs/namesecondary),以及dfs.name.dir,dfs.data.dir

5 centos上當前目錄的資料發生變化的時候,檔案清除了再重新寫到該目錄的時候,不會立馬顯示出來,需要回退到其它目錄再進來,才能夠看到

新進來的檔案,但是刪除之後會立馬顯示出來。

6 namenode和secondary分離的話,要修改hdfs-site.xml

增加:dfs.http.address  namenodeip:50070

7將hadoop指定目錄下所有內容儲存為乙個檔案,同時down至本地

hadoop dfs –getmerge 源檔案目錄  本地目錄

8 將正在執行的hadoop作業kill掉

hadoop job –kill  [job-id]

重新格式化hadoop

首先將hdfs site.xml檔案中的 片 dfs.name.dir home hadoop hdfs name namenode上儲存hdfs名字空間元資料 dfs.data.dir home hadoop hdsf data datanode上資料塊的物理儲存位置 中的指定目錄刪除。然後將co...

Hadoop重新格式化

hadoop進行多次的格式化 hdfs namenode format 會導致找不到datanode結點。每次格式化後,名稱結點 的clusterid 集群id 會被新建,而資料結點的clusterid還是原來的,造成名稱結點和資料節點的clusterid不一致 在重新格式化之前一定要先刪除data...

hadoop中namenode格式化失敗的解決

第一種 如果有 第一次格式化後 產生了 tmp資料夾,先刪除 tmp dfs hadoop name 可以直接把tmp資料夾刪除 然後重新格式化 再執行 啟動程式 start all.sh 第二種 如果格式化後沒有生成 tmp 資料夾,把 etc hadoop core site.xml etc h...