hadoop無法關閉hdfs

2021-07-10 08:58:41 字數 510 閱讀 8940

出現這個問題的最常見原因是hadoopstop的時候依據的是datanode上的mapreddfs程序號。

而預設的程序號儲存在/tmp下,linux缺省會每隔一段時間(一般是乙個月或者7天左右)去刪除這個目錄下的檔案。

因此刪掉hadoop-hadoop-jobtracker.pidhadoop-hadoop-namenode.pid兩個檔案後,namenode自然就找不到datanode上的這兩個程序了。

另外還有兩個原因可能引起這個問題:

1:環境變數$hadoop_pid_dir在你啟動hadoop後改變了

2:用另外的使用者身份執行stop-all

hadoop程序無法正常關閉的問題

hadoop 關閉時nodemanager等程序無法正常關閉 是因為hadoop長時間保持啟動的狀態,在用stop all.sh命令關閉集群時,是根據datanode上的mapred和dfs程序號來執行的,系統每隔一短時間會清空程序號所在的資料夾,所以找不到對應的程序就無法關閉相應的程序。ps ef...

Hadoop操作HDFS命令

hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...

Hadoop操作HDFS命令

hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...