yarn是乙個資源排程平台，負責為運算程式提供伺服器運算資源，相當於乙個分布式的作業系統平台，而mapreduce等運算程式則相當於執行於作業系統之上的應用程式。
yarn並不清楚使用者提交的程式的執行機制
yarn只提供運算資源的排程（使用者程式向yarn申請資源，yarn就負責分配資源）
yarn中的主管角色叫resourcemanager
yarn中具體提供運算資源的角色叫nodemanager
這樣一來，yarn其實就與執行的使用者程式完全解耦，就意味著yarn上可以執行各種型別的分布式運算程式（mapreduce只是其中的一種），比如mapreduce、storm程式，spark程式，tez ……
所以，spark、storm等運算框架都可以整合在yarn上執行，只要他們各自的框架中有符合yarn規範的資源請求機制即可
yarn就成為乙個通用的資源排程平台，從此，企業中以前存在的各種運算集群都可以整合在乙個物理集群上，提高資源利用率，方便資料共享
Hadoop核心元件之YARN
作業系統級別的排程框架，可以讓各種計算框架執行在上面 yarn 不同計算框架可以共享同乙個hdfs集群上的資料，享受整體的資源排程 on yarn的好處 與其他計算框架共享集群資源，按資源需要分配，進而提高集群資源的利用率 spark mapreduce storm flink 1 resource...
hadoop核心元件zookeeper簡介與特點
zookeeper是乙個針對大型分布式系統的可靠協調系統。1 它提供的功能包括 配置維護，名字服務，分布式同步，組服務等 2 它的目標就是封裝好複雜易出錯的關鍵服務，將簡單易用的介面和效能高效，功能穩定的系統提供給使用者 特點 1，最終一致性 為客戶端展示同一試圖 2，可靠性 如果一條訊息被一台伺服...
Hadoop框架最核心元件的設計
hdoop 一 hdfs hdfs是分布式計算的儲存基石，對於整個集群有單一的命名空間，具有資料一致性，適合一次寫入多次讀取的模型，客戶端在檔案沒有被成功建立之前是無法看到檔案存在的。檔案會被分割成多個檔案塊，每個檔案塊被分配儲存到資料節點上，而且會根據配置由複製檔案塊來保證資料的安全性。hdfs通...