hadoop的架構模型

2021-10-09 14:36:54 字數 1865 閱讀 2813

資料**於網路

檔案系統核心模組:

namenode:集群當中的主節點,主要用於管理集群當中的各種資料

secondarynamenode:主要能用於hadoop當中元資料資訊的輔助管理

datanode:集群當中的從節點,主要用於儲存集群當中的各種資料

資料計算核心模組:

jobtracker:接收使用者的計算請求任務,並分配任務給從節點

tasktracker:負責執行主節點jobtracker分配的任務

第一種:namenode與resourcemanager單節點架構模型

檔案系統核心模組:

namenode:集群當中的主節點,主要用於管理集群當中的各種元資料

secondarynamenode:主要能用於hadoop當中元資料資訊的輔助管理

datanode:集群當中的從節點,主要用於儲存集群當中的各種資料

資料計算核心模組:

resourcemanager:接收使用者的計算請求任務,並負責集群的資源分配

第二種:namenode單節點與resourcemanager高可用架構模型

檔案系統核心模組:

namenode:集群當中的主節點,主要用於管理集群當中的各種資料

secondarynamenode:主要能用於hadoop當中元資料資訊的輔助管理

datanode:集群當中的從節點,主要用於儲存集群當中的各種資料

資料計算核心模組:

resourcemanager:接收使用者的計算請求任務,並負責集群的資源分配,以及計算任務的劃分,通過zookeeper實現resourcemanager的高可用

nodemanager:負責執行主節點resourcemanager分配的任務

第三種:namenode高可用與resourcemanager單節點架構模型

檔案系統核心模組:

namenode:集群當中的主節點,主要用於管理集群當中的各種資料,其中namenode可以有兩個,形成高可用狀態

datanode:集群當中的從節點,主要用於儲存集群當中的各種資料

journalnode:檔案系統元資料資訊管理

資料計算核心模組:

resourcemanager:接收使用者的計算請求任務,並負責集群的資源分配,以及計算任務的劃分

nodemanager:負責執行主節點resourcemanager分配的任務

第四種:namenode與resourcemanager高可用架構模型

檔案系統核心模組:

namenode

:集群當中的主節點,主要用於管理集群當中的各種資料,一般都是使用兩個,實現ha高可用

journalnode:元資料資訊管理程序,一般都是奇數個

datanode:從節點,用於資料的儲存

資料計算核心模組:

resourcemanager:yarn平台的主節點,主要用於接收各種任務,通過兩個,構建成高可用

nodemanager:yarn平台的從節點,主要用於處理resourcemanager分配的任務

hadoop的架構模型

1.x的版本架構模型介紹 檔案系統核心模組 namenode 集群當中的主節點,管理元資料 檔案的大小,檔案的位置,檔案的許可權 主要用於管理集群當中的各種資料 seconddarynamenode 主要能用於hadoop當中元資料資訊的輔助管理 datanode 集群當中的從節點,主要用於儲存集群...

Tomcat架構模型

我考慮我還是先發布,最起碼有點虛榮感或者說成就感,啊哈哈哈,未修改版本,後面會有重新整理,然後修訂,再去掉這句話 參考 tomcat架構解析 直接來看一下url圖把,這裡其實很多都忘記了,就先簡單介紹一下每個類的功能。接收其他計算機 客戶端 發來的請求資料並進行解析,完成相關業務處理,然後把資料處理...

Kafka 架構模型

基於producer consumer topic broker 等的乙個基本架 kafka的元件介紹 topic 訊息根據topic進行歸類 producer 傳送訊息者 consumer 訊息接受者 broker 每個kafka例項 server zookeeper 依賴集群儲存meta資訊。t...