hadoop環境配置過程中可能遇到問題的解決方案

2021-06-17 01:02:39 字數 1282 閱讀 9253

這個錯誤一般是我們在某次配置失敗後,hadoop建立該目錄,鎖定之後失敗退出造成的。解決方案就是刪除tmp目錄下hadoop建立的相關目錄,然後重新配置。

在配置hadoop單節點環境時,需要利用ssh登入localhost。如果按照網上的方式配置之後還是不能正確登入localhost,並報上述錯誤,可以檢查/etc/sysconfig/network和 /etc/hosts下的localhost名字是否一致。有時在某個檔案中localhost是注釋掉的。

當在hadoop中執行ls命令時常會出現這個錯誤,這個錯誤是指hdfs檔案系統中當前目錄為空,並不是指本地檔案系統中當前目錄為空。當我們使用hdfs檔案系統時,會預設進入/user/username下,這個目錄不存在於本地檔案系統,而是由hdfs內部管理的乙個目錄。當我們第一次使用ls命令時,/user/username下是空的,所以會提示上述錯誤。當我們新增新的檔案之後就不再報該錯。

當在偽分布式環境下執行wordcount示例時,如果報上述錯誤說明未啟動hadoop,利用start-all.sh指令碼啟動hadoop環境。

說明hadoop的namenode程序沒有啟動,導致與namenode無法連線而報錯。可以先執行stop-all.sh指令碼停止hadoop,然後呼叫start-all.sh重啟hadoop。

乙個可能原因是tmp檔案,預設的tmp檔案每次重新開機會被清空,與此同時namenode的格式化資訊就會丟失,於是我們得重新配置乙個tmp檔案目錄。可以通過修改hadoop/conf目錄裡面的core-site.xml檔案,加入以下節點:

hadoop.tmp.dir

/home/chjzh/hadoop_tmp

a base for othertemporary directories.

然後重新格式化hdfs。

此外,我們可以通過檢視hadoop的logs目錄下相關namenode日誌檢視問題**。datanode不能啟動時也可檢視日誌查詢問題**。

執行hadoop程式的時候,輸入檔案必須先放入hdfs檔案系統中,不能是本地檔案,如果是本地檔案就會報上述找不到檔案的錯誤。解決方案是首先利用put或者copyfromlocal拷貝檔案到hdfs中,然後再執行hadoop程式。

利用jps命令檢視當前執行的hadoop程序時,和hadoop相關的一系列程序jobtracker、tasktracker、datanode、namenode和secondarynamenode的程序號也是非常接近的,不會出現上千的差異。如果發現它們的程序號差異過大,則往往會出錯,這時可以通過重啟解決問題。如果多次重啟某些程序依舊沒有改變,還可以利用kill -9命令強制殺死程序,然後再重啟。

hadoop安裝過程中的問題

第一次配置檔案環境變數等都配置完後,開始執行偽分布式,報了如下圖所示的錯誤。該錯誤重啟之後就沒用了。當我用jps去檢視執行的服務時,發現什麼都看不到,究其原因是因為當前使用者下沒有檢視許可權,切換到root執行jps就看到了。第二個錯誤是用eclipse連hadoop的時候dfs連不上,觀察發現本機...

環境配置過程中的一些小tips

在給自己的kali虛擬機器配置環境時走了一些彎路,總結如下 1 不建議使用git clone語句從github 上 clone資源 太慢了 解決方法 編譯後安裝 make make install 或是 sudo python 檔名.一般是setup.py install 安裝完成 2 pip容易出...

構建fabMap過程中可能遇到的錯誤

1.when opencv2.4.9 is not installed,the system has opencv2.4.8 pre installed in usr lib x86 64 linux gnu and usr include,where there is no opencv nonf...