雲上是時候丟掉Hadoop混合部署概念了

2021-09-20 07:52:29 字數 683 閱讀 5852

hadoop體系裡面,有個非常讓其擁躉津津樂道的概念,混合部署。其基本含義就是將多個應用和元件部署在乙個集群,共享一套資源,以獲取資源的高效利用。物理機環境沒有彈性的能力,這個混合部署概念彌補了部分彈性的需求。

先來看下產生的歷史,hadoop 1.0時代只有mapreduce/hdfs/zookeeper三大件,1.0時代只有mapreduce一種服務,沒有共享的必要。hadoop 2.0 yarn橫空出世,主要概念**於伯克利的mesos的思路,期望用同乙個資源管理器管理所有資源共享給所有服務。yarn最主要作用就是將物理機環境的所有資源全部管理起來;各種該服務的資源由yarn統一分配和管理。隨著資源管理器的發展的同時,2.0時代應用繁榮起來mapreduce/hive/spark/hue/hbase,中間為了解決長期執行資源服務管理問題,還有乙個專門的slider元件。mesos出來也更早,相當長一段時間mesos和yarn還競爭了一把;最後mesos拗不過社群的力量改道搞應用部署,又去和k8s pk上了。

總的來說,在物理機環境中,這個思路還是非常先進的,但是今天演進到雲環境是否還適用值得商榷一下,為什麼這麼說:

所以雲上最合理的是每個服務跟進自己的特點和需求,單獨申請資源,自行管理。是時候丟掉在物理機時髦的混合部署的概念了。要充分去利用雲平台本身的彈性能力。當能大部分公司,最簡單的方法就是直接申請對應的雲服務,將這些複雜的資源管理和運維的工作讓雲服務廠商負責,從而專注自己的業務。

漫畫 什麼是 「混合雲」?

什麼是私有雲呢?所謂私有雲,是雲服務商為乙個客戶單獨使用而構建的雲。私有雲提供了對資料 安全性和服務質量的最有效控制。私有雲既可以部署在企業資料中心的防火牆內,也可以將它們部署在乙個安全的主機託管場所。打個比方,私有雲就像是每一家都住在自建房裡,空間完全是自己私有的,不會被其他住戶所打擾。私有雲雖然...

混合雲備份服務 產品簡介 什麼是混合雲備份

編輯我的收藏 本頁目錄 混合雲備份服務 hybrid backup recovery,簡稱hbr 是一種高效 安全 低成本的全託管式雲備份儲存服務。您可以使用混合雲備份將企業資料中心的資料 分支機構資料,或雲上資源備份到混合雲備份的雲上備份倉庫。在本地資料中心部署hbr客戶端後,使用者可以通過專線 ...

什麼是混合雲,如何使其工作?

雲計算的名稱可用於描述it中的幾乎每一件事情。人們稱雲洗白和 混合雲 正遭受同樣的命運。雲計算通常是乙個向外擴充套件的商品伺服器群集,可提供服務 計算,儲存或兩者兼有 其中工作負載或資料可以透明在節點之間或跨節點移動。混合雲背後的理念是,組織的工作負載和資料可以在私有雲和公共雲提供商 包括多個提供商...