處理客戶端請求
監控nodemanager
資源分配與排程
單個節點上的資源管理和任務管理
接收並處理來自resourcemanager的命令
管理抽象容器container
定時向rm匯報本節點資源使用情況和各個container的執行狀態
資料切分
為應用程式申請資源
任務監控與容錯
負責協調來自resourcemanager的資源，
開通nodemanager監視容的執行和資源使用（cpu,記憶體等的資源分配）
對任務執行環境的抽象
任務執行資源（節點，記憶體，cpu）
任務啟動命令
任務執行環境
這是yarn提供的乙個檢視已經完成的任務的歷史日誌記錄的服務，
我們可以啟動jobhistoryserver來觀察已經完成的任務的所有詳細日誌資訊
hadoop2.4.0以後出現的新特性，主要是為了監控所有執行在yarn平台上面的
所有任務（例如mr，storm，spark，hbase等等）
2.capacity scheduler（容量排程器，apache版本預設使用的排程器）
3.fair scheduler（公平排程器，cdh版本的hadoop預設使用的排程器）
scrapy各個元件的作用
1 items是將要裝載抓取的資料的容器，它工作方式像python裡面的字典，但它提供更多的保護，比如對未定義的字段填充以防止拼寫錯誤。它通過建立乙個scrapy.item.item類來宣告，定義它的屬性為scrpiy.item.field物件，就像是乙個物件關係對映 orm 2 spider是使用...
YARN的主要元件及功能簡介
總體概述 主要結構 rm 負責整個系統的資源分配,主要由兩個元件構成 排程器 scheduler 應用程式管理器aplications master asm 排程器 排程器只是單純的排程,不參與任何具體的計算失誤,也不負責跟蹤程式的執行狀態,執行失敗的時候,也不負責程式的kill,重啟等,這些都交由...
mysql各個元件 mysql各個元件的說明
在大多數情況下,你只需要安裝mysql server和mysql client得到乙個功能mysql軟體包安裝。另乙個包是不需要乙個標準的安裝。如果你想開辦乙個mysql max伺服器,有更多的能力,你也應該安裝mysql max每分鐘轉速。但是,你應該這樣做的只是在安裝mysql server每分...