Hadoop集群在使用過程中的問題

2021-08-18 01:34:55 字數 538 閱讀 1083

經驗總結:配置前一定要先配置tmp,否則所有的配置檔案儲存在(虛擬機器)系統的臨時檔案裡,重啟後全部丟失,導致必須要reformat namenode  reformat次數多了以後還會導致id不統一,datanode節點起不來的問題。切記切記。

配置完了hadoop集群,將在使用過程中的問題記錄在此

1:yarn無法啟動

2:每次電腦重啟後,啟動hadoop的時候要hadoop namenode -format,其實是由於臨時tmp造成的

嘗試了一下,yeah,成功。

3:多次hadoop namenode -format之後,datanode無法啟動,據說是多次啟動後造成datanode-id變化的原因。

這個問題有多個解決方法,但是對hadoop檔案目錄不是很熟悉,所以暫時先不大動干戈改東西。而是選擇重新配置:刪除所有節點的namenode或者datanode節點資料夾,重新mkdir,重新format,然後就成功了。

BeautifulSoup在使用過程中遇到問題

通過soup.find all 得到的結果無法join 在使用soup.find all 時發現,得到的結果無法使用類似 join 的 進行處理,具體錯誤表現為 typeerror sequence item 0 expected string,tag found typeerror sequenc...

element ui dialog使用過程中的坑

場景一 我們將dialog寫成乙個可復用的公共元件用於顯示不同內容 如 操作中的修改或新增的彈窗 之後發現dialog的遮罩將彈出層 點選修改或新增後理應由乙個彈窗顯示出來 都蓋住了,而我想要的效果是遮罩只遮住舊的視窗,而當前視窗應該完全顯示 注 是使用easyui的panel和window來包裹的...

robotframework使用過程中的一些總結

robot framework是乙個基於python可擴充套件地關鍵字驅動的測試自動化框架,robot framework被廣泛地使用在端到端地驗收測試以及驗收測試驅動開發的過程中。1.在rf中輸入部分關鍵字的名稱時,使用shift control 空格可以延伸出所有相關的關鍵字 2.suit下打t...