yarn：yet another resource negotiator
核心概念：資源排程系統
功能：負責整個集群資源的管理和排程。
為上層應用提供統一的資源管理和排程。
多框架資源統一排程
yarn 架構：
1）resourcemanager: rm
整個集群同一時間提供服務的rm只有乙個，負責集群資源的統一管理和排程
處理客戶端的請求： 提交乙個作業、殺死乙個作業
監控nm，一旦某個nm掛了，那麼該nm上執行的任務需要告訴am來如何進行處理
2) nodemanager: nm
整個集群中有多個，負責自己本身節點資源管理和使用
定時向rm匯報本節點的資源使用情況
接收並處理來自rm的各種命令：啟動container
處理來自am的命令
單個節點的資源管理
每個應用程式對應乙個：mr、spark，負責應用程式的管理
為應用程式向rm申請資源（core、memory），分配給內部task
需要與nm通訊：啟動/停止task，task是執行在container裡面，am也是執行在container裡面
4) container
封裝了cpu、memory等資源的乙個容器
是乙個任務執行環境的抽象
5) client
提交作業
查詢作業的執行進度
殺死作業
總流程：
------>在nodemanager上啟動一些container來執行task
Docker 核心概念
1.docker映象 docker映象 image 類似於虛擬機器映象，可以將它理解為乙個面向docker引擎的唯讀模板，包含了檔案系統。例如 乙個映象可以只包含乙個完整的ubuntu作業系統環境，可以把它稱為乙個ubuntu映象。映象也可以安裝了apache應用程式 或使用者需要的其他軟體 可以把...
Elasticsearch核心概念
elasticsearch使用lucene作為其底層的搜尋引擎，關於lucene的介紹，可以參考官方 lucene關鍵概念 lucene使用inverted index來儲存term在document中位置的對映關係。譬如如下文件 使用inverted index儲存，乙個簡單地對映關係 term ...
webpack核心概念
1.manifest webpack中runtime和manifest主要用於管理所有模組的互動，主要是用於連線模組化應用程式的所有代 碼。runtime包含 在模組互動時，連線模組所需的載入和解析邏輯，包括瀏覽器中已載入模組的連線以及懶載入模組的執行連線。管理模組互動的流程 當編譯器 compil...