1。執行mapreduce程式出錯，
connection to resourcemanager
retrying ...
retrying ...
原因是沒有啟動yarn或者啟動失敗
2.hdfs namenode -format 只是初始化了namenode的工作目錄
而datanode的工作目錄是在datanode啟動後自己初始化的
3。datanode 不被namemode識別的問題
namenode在format初始化的時候會形成兩個標識
blockpoolid
clusterid
新的datanode加入時，會獲取這兩個標識作為自己工作目錄中的標識
一旦namenamenode重新format後，namenode的身份標識已經改變，而datanode如果依然持有原來的id，就不會被namenode識別
解決辦法是刪除（清空）datanode的工作目錄
4。datanode下線後多久看到效果，（頁面上不會立即顯示出已經下線）
有乙個超時時間，超過了這個時間才被認定下線
5.關於副本數量的問題
副本數由客戶端的引數dfs.replication決定（優先順序：**中的conf.set> 自定義配置檔案》jar包中的hdfs-default.xml)
上傳資料時 datanode的選擇策略
1第乙個副本先考慮跟client最近的datanode
第二個副本再考慮跨機架挑選乙個datanode，增加副本的可靠性
3.選擇同機架的乙個datanode
檔案傳輸是以packet為單位的64kb ,在packet中有chunk概念，chunk是512位元組會校驗一次
hadoop常見問題彙總
本文彙總了幾個hadoop yarn中常見問題以及解決方案，注意，本文介紹解決方案適用於hadoop 2.2.0以及以上版本。1 預設情況下，各個節點的負載不均衡 任務數目不同 有的節點很多任務在跑，有的沒有任務，怎樣讓各個節點任務數目盡可能均衡呢？答 預設情況下，資源排程器處於批排程模式下，即乙個...
hadoop常見問題總結1
問題1 http localhost 50030 解決辦法 buid本地庫存後，應該把build目錄刪除，否則啟動指令碼會把目錄重定向到build目錄中，導致web管理頁面打不開，啟動指令碼中,如果有build目錄,就將路徑轉到build下.問題2 http localhost 50070 unab...
hadoop 配置中常見問題記錄
問題1 jobtracker.info could only be replicated to 0 nodes,instead of 1 錯誤解決 通過搜尋，大部分說是防火牆問題，於是我就關閉了防火牆，把系統的防火牆都關掉了，刪除格式化時生成的檔案，及執行是的tmp檔案，然後重新格式化，再次執行st...