mapreduce
map 對映函式
reduce 規約函式
在hadoop1.x mr1中（計算+資源作業排程）分為
在hadoop2.x mr2中 計算 資源作業排程-->yarn（資源管理和作業排程放到了yarn平台）
1.不需要部署元件
2.架構設計(面試題)
--》mr job提交到yarn的工作流程--》yarn的架構設計、yarn的工作流程
3.架構設計
container： 容器的意思，屬於yarn的元件 將一定的記憶體1g cpu 1core等資源抽象成乙個小房間，用於執行任務。
假如機器的物理配置為64g 16cores: * 一般來說使用75-85%的資源，剩餘一部分用於機器的基本工作。
yarn拿到的資源: 64*0.8 16*0.8
container：
yarn.nodemanager.resource.memory-mb：64*0.8g≈50g
yarn.scheduler.minimum-allocation-mb: 1g
yarn.scheduler.maximum-allocation-mb: 1g 50/1=50 假如設定最大使用1g，則有50個容器，數量是多了，並行度大了
優缺點：乙個作業200 maptask 4輪結束，速度快了 作業可能掛了
yarn.scheduler.maximum-allocation-mb: 16g 50/16≈3
假如設定最大使用16g，則有3個容器，數量是少了，並行度小了
優缺點：乙個作業200 maptask 70輪才能結束，速度慢了 作業時間長
yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb 1024 預設值1g
yarn.scheduler.maximum-allocation-mb 8192 預設最大8g
yarn.scheduler.minimum-allocation-vcores 1
yarn.scheduler.maximum-allocation-vcores 4
虛擬core 1:2 =32 vcore（16*2）
salesforce 架構設計 從架構設計到架構師
因為碎片化的時間多了，所以開始刷起某乎了，關注了架構相關的板塊，也順手回答了一些問題。發現有很多同道中人正在經歷著我前兩年經歷的階段，對於做架構沒有相對具象的一些理解，更沒有系統化的認識。所以把最近回答的一些內容整理一下，權當記錄，留給3年後的自己 按慣例，容許我裝x開頭 一 架構的定義 在軟體開發...
mysql架構設計 初識mysql架構設計
一 應用系統如何與mysql進行一次互動？最開始接觸jdbc的時候，我們系統如何完成一次sql操作呢？第一步，建立資料庫連線 第二步，操作sql 第三步，釋放連線。但是每次建立與資料庫的連線非常耗時和資源，所以我們加入了連線池的概念。第一步的獲取連線是從連線池中獲取乙個可用的連線，第三步的釋放連線不...
軟體架構設計 二 系統總體架構設計
系統總體架構非常重要，但在表達上都不盡相同，下面介紹幾種常用的系統架構模式，供參考 assf access service biz standard fundation 模式 訪問 服務 業務功能 標準 基礎，對系統架構各個層次均有表達，但部署應用模式需要有單獨說明，如下圖方式組織系統總體架構 lo...