HDFS Yarn HA架構設計

2021-09-26 10:50:29 字數 960 閱讀 3047

1 hdfs ha 架構 圖梳理

2 yarn ha 架構圖梳理

3總結 hdfs yarn ha 架構區別 區別是zkfc乙個是程序乙個是執行緒 ,乙個是乙個rmstatestore 乙個是jn群集

4 hdfs dfs  - ls 結果 是哪個檔案 三個操作不一樣  思考。

5雙寫的理解 ?雙寫,比如hdfs 做ha(高可靠)的時候,有nn 不僅會讀dn(active)發來的資訊e,還會寫入jn ,同時 另乙個不是active的nn 會從jn 讀資訊同時 自己也執行這個操作

好yarn 中不一樣的是 yarn 中 zkfc 是rm上的執行緒 而不是經程,它可能不如hdfs ,比較hdfs是專門儲存,yarn做計算,在yarn的nm中 有自己的job ,nm會向中調容器資源,並向rm註冊,rmsatestore 這個是來共享兩個 rm

6小檔案的危害 ?小檔案如果很多 會照成如hdfs 讀寫的苦難,因為 會在nn dn 上產生更多的管理,所以如果每個block是128m ,管理的時候 盡量控制小檔案的大小在100m比較好

7主從架構的hbase讀寫經過master程序嗎? 儘管生態上,很多都是主從架構,如hadoop yarn 但是 hbase的讀寫 不經過master程序

salesforce 架構設計 從架構設計到架構師

因為碎片化的時間多了,所以開始刷起某乎了,關注了架構相關的板塊,也順手回答了一些問題。發現有很多同道中人正在經歷著我前兩年經歷的階段,對於做架構沒有相對具象的一些理解,更沒有系統化的認識。所以把最近回答的一些內容整理一下,權當記錄,留給3年後的自己 按慣例,容許我裝x開頭 一 架構的定義 在軟體開發...

mysql架構設計 初識mysql架構設計

一 應用系統如何與mysql進行一次互動?最開始接觸jdbc的時候,我們系統如何完成一次sql操作呢?第一步,建立資料庫連線 第二步,操作sql 第三步,釋放連線。但是每次建立與資料庫的連線非常耗時和資源,所以我們加入了連線池的概念。第一步的獲取連線是從連線池中獲取乙個可用的連線,第三步的釋放連線不...

軟體架構設計 二 系統總體架構設計

系統總體架構非常重要,但在表達上都不盡相同,下面介紹幾種常用的系統架構模式,供參考 assf access service biz standard fundation 模式 訪問 服務 業務功能 標準 基礎,對系統架構各個層次均有表達,但部署應用模式需要有單獨說明,如下圖方式組織系統總體架構 lo...