一、hadoop v1和v2的版本比較
1、v1版本中的jobtracker負責資源排程和任務跟蹤、監控，成為整個集群的瓶頸，原因如下：
--所有的任務的狀態都儲存在jobtracker中的記憶體中，當任務量激增時存在瓶頸
--(還有乙個粗粒度的鎖，還沒具體學習，這裡不做陳述)
2、v1版本中的jobtracker的任務在v2版本中分到yarn上，分為兩個元件：
--resourcemanager負責資源排程
3、新新增的nodemanager負責資源的使用和監控
4、在hadoop2.4之前存在resourcemanager的單點故障問題，在2.4中新增了resourcemanager的ha
二、名字解釋
resourcemanager：
--乙個純粹的排程器
--根據應用程式的要求嚴格限制系統的可用資源
--在保證容量、公平性及服務等級的情況下，優化集群資源利用率，讓所有資源都得到充分利用
--有可插拔的資源排程演算法，如：注重容量排程還是注重公平排程
--負責與resourcemanager通訊，協商應用程式所需要的資源，並和nodemanager系統工作執行和監控container以及他們的資源消耗
--在resourcemanager處獲取container，並監控
資源型別：
--資源名稱(主機名、機架名、以及複雜的網路拓撲)
--記憶體量
--cpu
--其他資源：磁碟盒網路io等
container
--對資源型別的乙個量化
requestmanager
三、任務執行流程(以mapreduce計算任務為例)
影音先鋒電影
.com/ 四、
為了對應hadoop集群的本地化特性，datanode上執行著nodemanager，nodemanager可直接使用本地機器上的塊，而無需在網路中傳輸。注：
Yarn的初步學習
1 v1版本中的jobtracker負責資源排程和任務跟蹤 監控，成為整個集群的瓶頸，原因如下 所有的任務的狀態都儲存在jobtracker中的記憶體中，當任務量激增時存在瓶頸 還有乙個粗粒度的鎖，還沒具體學習，這裡不做陳述 2 v1版本中的jobtracker的任務在v2版本中分到yarn上，分為...
yarn 學習總結
yarn 官網 yarn 是由facebook google exponent 和 tilde 聯合推出了乙個新的 js 包管理工具，它仍然使用 npm 的registry，不過提供了全新 cli 來對包進行管理 過去，yarn 的出現極大的搶奪了 npm 的市場，甚至有人戲言，npm 只剩下乙個 ...
yarn入門學習介紹
本篇將從以下幾個方面闡述yarn 1 產生的原因 yarn的出現是由於hadoop1.0版本中的 jobtracker負載過重，導致計算上限極小，無法滿足大量資料工作的需求。首先來看一看hadoop1.0的架構圖，以便整體了解 此時mapreduce計算模型是直接執行在hdfs上的，因此造成了以下的...