深入剖析阿里巴巴雲梯YARN集群

2021-06-21 10:10:11 字數 2434 閱讀 7452

mrv1與yarn集群共享hdfs儲存的技術實現

以服務化為起點,雲梯集群已將hadoop分為儲存(hdfs)服務與計算(mrv1和yarn)服務。兩個計算集群共享著這個hdfs儲存集群,這是怎麼做到的呢?

在引入yarn之前,雲梯的hadoop是乙個基於apache hadoop 0.19.1-dc版本,並增加許多新功能的版本。另外還相容了apache hadoop 0.19、0.20、cdh3版本的客戶端。為了保持對客戶端友好,雲梯服務端公升級總會保持對原有客戶端的相容性。另外,為了訪問資料的便捷性,阿里的存 儲集群是乙個單一的大集群,引入yarn不應迫使hdfs集群拆分,但yarn是基於社群0.23系列版本,它無法直接訪問雲梯hdfs集群。因此實現 yarn集群訪問雲梯的hdfs集群是引入yarn後第乙個需要解決的技術問題。

hadoop**主要分為common、hdfs、mapred三個包。

為了儘量減少對雲梯hdfs的修改,開發人員主要做了以下工作。

圖1 雲梯hadoop**架構

新的雲梯**結構如圖1所示,相應闡述如下。

服務端

客戶端

雲梯mr服務切換為yarn要經過三個階段

通過上述修改,雲梯開發人員以較小的修改實現了yarn對雲梯hdfs的訪問。

spark on yarn的實現

雲梯版yarn集群已實現對mrv2、hive、spark、mpi、rhive、rhadoop等應用的支援。雲梯集群當前結構如圖2所示。

圖2 雲梯架構圖

其中,spark已成為yarn集群上除mapreduce應用外另乙個重要的應用。

spark是乙個分布式資料快速分析專案。它的核心技術是彈性分布式資料集(resilient distributed datasets),提供了比mapreduce豐富的模型,可以快速在記憶體中對資料集進行多次迭代,來支援複雜的資料探勘演算法和圖形計算演算法。

spark 的計算排程方式,從mesos到standalone,即自建spark計算集群。雖然standalone方式效能與穩定性都得到了提公升,但自建集群畢 竟資源較少,並需要從雲梯集群複製資料,不能滿足資料探勘與計算團隊業務需求。而spark on yarn能讓spark計算模型在雲梯yarn集群上執行,直接讀取雲梯上的資料,並充分享受雲梯yarn集群豐富的計算資源。

spark on yarn功能理論上從spark 0.6.0版本開始支援,但實際上還遠未成熟,經過資料探勘與計算團隊長時間的壓力測試,修復了一些相對關鍵的bug,保證spark on yarn的穩定性和正確性。

圖3展示了spark on yarn的作業執行機制。

圖3 spark on yarn框架

目前,資料探勘與計算團隊通過spark on yarn已實現mlr、pagerank和jmeans演算法,其中mlr已作為生產作業執行。

雲梯yarn集群維護經驗分享

雲梯yarn的維護過程中遇到許多問題,這些問題在維護yarn集群中很有可能會遇到,這裡分享兩個較典型的問題與其解決方法。

問題描述:社群的cpu隔離與排程功能,需要在每個nodemanager所在的機器建立使用者賬戶對應的linux賬戶。但阿里雲梯集群有5000多個賬 戶,是否需要在每個nodemanager機器建立這麼多linux賬戶;另外每次建立或刪除乙個hadoop使用者,也應該在每台nodemanager 機器上建立或刪除相應的linux賬戶,這將大大增加運維的負擔。

解決方案:通過修改container-executor.c檔案,防止其修改container的啟動賬戶,並使用乙個統一的普通linux賬戶(無sudo許可權)執行container。這既能保證安全,又能減少運維的工作量。

此外,雲梯開發人員還解決了一些會使resourcemanager不工作的bug,並貢獻給apache hadoop社群。

在搭建與維護雲梯yarn集群期間,雲梯開發人員遇到並解決了許多問題,分析和解決這些問題首先需要熟悉**,但**量巨大,我們如何能快速熟悉它們呢?這 需要團隊的配合,團隊中每個人負責不同模組,閱讀後輪流分享,這能加快**熟悉速度。另外,hadoop的優勢在於可以利用社群的力量,當遇到乙個問題 時,首先可以到社群尋找答案,因為很多問題在社群已得到了解決,充分利用社群,可以大大提高工作效率。

雲梯yarn集群的優勢與未來之路

當前雲梯yarn集群已經試執行,並有mrv2、hive、spark、rhive和rhadoop等應用。雲梯yarn集群的優勢在於:

未來,雲梯將會把大多業務遷移到雲梯yarn集群。針對yarn版本,雲梯將增加資源隔離與排程,增加對storm、tez等計算模型的支援,並優化yarn的效能。

作者沈洪,花名俞靈,就職於阿里巴巴集團資料平台事業部海量資料部門,目前從事yarn、mapreduce的研究、開發與集群的維護。

深入剖析阿里巴巴雲梯YARN集群

阿里巴巴作為國內使用hadoop最早的公司之一,已開啟了apache hadoop 2.0時代。阿里巴巴的hadoop集群,即雲梯集群,分為儲存與計算兩個模組,計算模組既有mrv1,也有yarn集群,它們共享乙個儲存hdfs集 群。雲梯yarn集群上既支援mapreduce,也支援spark mpi...

阿里巴巴AI Pandas

1.series 主要用於處理一維資料,一般由乙個陣列的資料構成。2.dataframe 主要用於處理二維資料。from pandas import series,dataframe series eg import pandas as pd s1 pd.series 1,2,3,4 s1 0 1 ...

「妖精」團隊 阿里巴巴

6年 這個正迅速擴張的團隊仍超乎尋常地保持著 亢奮 和 戰鬥欲 有人質疑這是 精神控制術 而阿里巴巴決定在新年將塑造團隊的種種魔力 制度化 成為其 基本法 在以 白娘子傳奇 聞名的江南杭城,坐落著兩個氣質與這座城市極不搭調的樓層。15天前,這個富有 攻擊性 的空間 迫使全球最有影響力的女人之一,eb...