Hadoop學習筆記之YARN

2021-09-24 01:23:29 字數 549 閱讀 7529

yarn service框架提供了一流的支援和api,可以在yarn中本地化時間執行的服務。 簡而言之(in a nutshell),它作為乙個容器編排平台,用於管理yarn上的貨櫃化服務。 它支援yarn中的docker容器和傳統的基於程序的容器。

該框架的職責包括執行配置解決方案和安裝,生命週期管理(如停止/啟動/刪除服務),上/下傳服務元件,在yarn上公升級服務,監控服務的健康狀況和準備情況等。

yarn服務框架主要包括以下元件:

乙個安靜的api伺服器,供使用者與yarn互動,通過簡單的json規範部署/管理他們的服務。

由yarn服務登錄檔支援的dns伺服器,用於通過標準dns查詢在yarn上發現服務節點。

我為什麼要嘗試yarn服務框架?

1.yarn服務框架可以輕鬆地將現有服務引入yarn。 它隱藏了應用程式管理的所有複雜的低階細節,並使使用者免於被迫編寫新**。 新服務的開發人員不必擔心yarn內部,只需要關注其服務的容器化。

2.此外,此功能的另乙個巨大成功是,現在您可以在單個平台中啟用傳統的批處理作業和長時間執行的服務! 結合這些工作負載的好處有兩方面:

Hadoop學習筆記 YARN

yarn產生背景 為什麼會產生yran?這個與mapreduce1.x的架構有關,正是因為mapreduce1.x存在許多的問題,才會產生 yarn。mapreduce1.x的架構如下 hadoop1.x時,mapreduce的架構仍然是主從架構。乙個jobtracker帶多個tasktracker...

hadoop學習筆記3 yarn

1.管理多種大資料框架spark hive等 使得不同框架之間資源共享,減少資源浪費 2.誕生原因 為了執行多種框架,比如想引入spark計算引擎,才導致了yarn的誕生 3.yarn縮寫 yet another resource negotiator 協作 使得 on yarn 如spark on...

hadoop之 yarn (簡單了解)

yarn通過兩個 守護執行緒提供核心服務 resourcemanager,管理集群所有資源的切分以及作業的排程與監控 nodemanager,執行在集群所有節點上,啟動並監控容器的執行狀況,並負責向resourcemanager匯報。在linux上,hadoop是通過cgroup技術實現contai...