hadoop的組成hadoop1.x和2.x區別
1.x 有mr、hdfs、common
2.x 有mr、yarn、hdfs、common
1.x 的mr負責計算和資源排程
2.x 的mr功能拆分成了mr和yarn 分別負責計算和資源排程。
我們主要來說下2.x版本
1.hdfs
1>nn:name node 儲存檔案的元資料
2>dn:data node 儲存檔案塊資料，以及資料的校驗和
3>2nn:secondary name node 輔助nn，用來監控hdfs狀態的輔助後台程式，每隔一段時間來獲取元資料的快照
2.yarn:負責集群中所有計算資源的管理和排程
常見的程序：
1>resoure manager(rm)1個:負責整個集群所有資源管理
職責：負責接收客戶端提交的job請求
負責向nm分配任務
負責接收nm上報的資訊
2>nodemanager(nm)n個：負責單台計算機所有資源管理，統計自己還有幾個cpu、記憶體，想rm上報。
職責：負責和rm進行通訊，上報本機可用資源
負責領取rm分配任務
負責job中的每個task分配計算資源
概念：container（容器）：nodemanager為job的某個task分配了1個cpu和2g記憶體的計算資源，為了防止當前task再使用這些資源期間，被其他task搶占，將計算資源封裝到乙個container中，在container中的資源，會暫時被隔離，無法被其他程序搶占。
當task執行完，當前container中國的資源會被釋放，允許其他task來使用。
3.mr：mapreduce（程式設計規範）
計算過程分為2個階段： map階段和reduce階段。
1>map階段並行處理輸入資料
2>reduce對map結果進行彙總
遵循mapreduce的程式設計規範，編寫的程式，打包後，成為乙個job（任務）
job需要提交到yarn上，向yarn申請計算資源，執行job中的task（程序）
hadoop1 x和hadoop2 x的對比
1.能否總結出mapreduce設計思路？2.hadoop1遇到了什麼問題？3.hadoop2做了什麼改進，具體哪些變化？對 hadoop1 和 hadoop 2 做了乙個解釋 不錯 拿來看看 從上圖中可以清楚的看出原 mapreduce 程式的流程及設計思路 可以看得出原來的 map reduce...
Hadoop1 x與Hadoop2 x的區別？
hadoop 解讀大資料雪崩的解決方案，從谷歌2003年發布 和2004年mapreduce 開始已經走過了漫長的道路。它通過橫向擴充套件而不是擴充套件戰略創造了波瀾。來自doug cutting以及雅虎和apache hadoop專案團隊的進展推動了mapreduce程式設計的普及 這種程式設計適...
Hadoop1 x與Hadoop2 x的區別解析
hadoop 解讀大資料雪崩的解決方案，從谷歌2003年發布 和2004年mapreduce 開始已經走過了漫長的道路。它通過橫向擴充套件而不是擴充套件戰略創造了波瀾。來自doug cutting以及雅虎和apache hadoop專案團隊的進展推動了mapreduce程式設計的普及 這種程式設計適...