由於不可控以及不可知的原因 我搭建的hadoop集群突然顯示虛擬機器出現了問題 導致某乙個datanode資料丟失 並且無法通過xshell遠端訪問其他的datanode 主機和虛擬機器無法互相ping通 網上能找的解決辦法基本都找了 依然無法解決 因此我能想到的是只能刪除虛擬機器 重新轉殖一台機器 然而還是無法通過遠端連線 無奈之下 我重啟電腦 發現又可以通過xshell遠端訪問了 具體原因尚不知曉
轉殖成功後發現集群先格式化集群 正常啟動 但是通過web監控頁面的50070埠發現沒有datanode存在 上傳檔案時 顯示由於副本為0 必須至少要有乙個副本 因此上傳失敗。
原因：由於我在格式化namenode之後 沒有刪除主從節點上面的用於儲存臨時資料的資料夾(即dfs.name.dir配置的路徑下的檔案) 導致內部namenode存在的關於檔案系統的元資訊和資料節點對應不上造成的
解決方法：刪除掉各個節點上面的hadoop的臨時檔案目錄即：hadoop.tmp.dir目錄(對應hdfs-site.xml中設定的dfs.name.dir路徑 例如我設定的是/opt/hadoop-2.5.1)然後格式化集群,最後重啟集群,會重新生成這個目錄,問題j就搞定了
刪除hadoop臨時檔案目錄
重新格式化hdfs系統
啟動集群
通過瀏覽器檢視
發現datanode正常顯示了 但是需要注意的是 這個過程中hdfs系統中之前的所有檔案會被清空
ubuntu搭建開發環境踩坑實錄
謹以此文，記錄和ubuntu系統不死不休的搏鬥過程，後續待補。1.雙系統安裝，windows採用uefi模式安裝 優啟通可製作uefi的win10安裝盤 ubuntu不要劃分boot區，而應該劃分uefi區，否則，不能被uefi引導 2.軟體源都替換成清華或者阿里，blabla，否則被牆得淚流滿面 ...
gitattribute踩坑實錄
前一陣子，公司的版本控制從svn遷移到了git,不得不說，git確實比svn要強大好多，單單是乙個分支功能，就有很多值得學習的地方，通過git分支的版本控制，我們可以很方便的進行不同開發環境的切換。現在來看，分支切換是沒有什麼問題的，然而在分支進行合併的時候，plist配置檔案勢必會發生被覆蓋的情況...
rabbitmq搭建集群踩坑記
搭建rabbitmq集群參考教材 三颱節點啟動之後，想要使用s146作為集群主節點，在s151上將該節點加入s146集群時，報如下錯誤。clustering node rabbit s151 with rabbit s146 error unable to connect to nodes rabb...