深入解析大資料虛擬化的架構(上) 部署架構

2021-09-03 05:06:29 字數 1664 閱讀 6069

繼《零起點部署大資料虛擬化》系列教程之後,本著「知其然,亦知其所以然」的原則,

serengeti虛擬化應用

vsphere big data extensions (bde)是vmware基於 serengeti開源技術的企業發行版。其重點是增強vsphere基礎架構對serengeti的支援,更好地部署、執行和管理大資料相關負載。

從部署角度看,bde打包了serengeti虛擬化應用,並且包括乙個vcenter網頁客戶端的外掛程式。

包括serengeti管理伺服器和

虛擬機器模板。這個應用可以很容易地部署在vmware的vcenter之上。

大資料虛擬化(bde/serengeti

)的部署結構圖

serengeti

管理伺服器

是整個serengeti的核心部件,提供hadoop集群在虛擬化環境下的部署,管理的功能。並且為不同使用者提供不同的資源使用策略。

對資源利用率要求高的客戶,可以在serengeti的幫助下,使資源在hadoop應用和其他應用之間有效的共享。而對於hadoop的performance有更高要求的客戶,則可以通過serengeti實現資源在不同應用之間完美隔離,達到在資源獨佔情況下的最優使用效果。

serengeti管理伺服器對外提供restapi,以便遠端客戶端訪問和控制hadoop集群。serengeticli和bde的ui 外掛程式都是通過restapi訪問serengeti管理伺服器的。

hadoop 集群的所有虛擬機器都是從serengeti虛擬機器模板直接或間接複製而來,其中包括乙個基本的centos作業系統,簡單的集群安裝需要的軟體。但是其中不包含hadoop的安裝包,是因為serengeti可以支援多種hadoop發行版,這些軟體的安裝是在集群的建立過程中完成的。

部署完成之後,

serengeti

管理伺服器作為乙個虛擬化應用執行在某一台虛擬主機中。並且註冊成為

vcenter

的乙個擴充套件伺服器。之後,

serengeti

會和vcenter

建立ssl

鏈結,確保資料互動的安全性和可靠性。

未完待續... 之後會討論下篇 - vsphere big data extensions/serengeti的系統架構,敬請期待!

如有任何問題,您可以發郵件至[email protected]

關於vspherebig data extensions:

作者簡介

藺永華 (

emma lin)

vmware

高階開發工程師,

staff engineer

擔任vmware大資料產品vsphere bde、serengeti開源專案的技術帶頭人,引領和參與serengeti核心架構與功能的設計和研發,經歷

serengeti

自問世以來的

6個版本的研發和發布。長期致力於通過

vsphere bde/

serengeti

使vmware

虛擬化基礎架構

成為大資料應用的最好選擇。在

vmware

之前,就職於

bea/oracle

軟體開發中心,長期從事分布式系統的開發、設計工作,擁有豐富的企業軟體開發經驗。

大資料系統架構模組解析

企業要開展大資料相關業務,首先就需要基於自身的需求,來設計搭建資料系統平台。而大資料系統平台的搭建,需要基於實際需求,來進行系統架構規劃。今天我們就從大資料平台開發的角度,來對大資料系統架構模組做乙個簡單的介紹。在實際的業務場景當中,每個公司的需求是不一樣的,因此大資料平台開發需要選擇適合自己的技術...

大資料入門 Hbase基礎架構解析

hadoop技術生態當中的hbase,其實全稱叫做hadoop database,顧名思義,所謂hbase,其實也就是hadoop的資料,而從架構的角度來說,hbase就是乙個分布式儲存系統。今天的大資料入門分享,我們來講講hbase的基礎架構。hbase的前身,其實是google 三駕馬車 之一的...

大資料平台開發 大資料系統架構模組解析

企業要開展大資料相關業務,首先就需要基於自身的需求,來設計搭建資料系統平台。而大資料系統平台的搭建,需要基於實際需求,來進行系統架構規劃。今天我們就從大資料平台開發的角度,來對大資料系統架構模組做乙個簡單的介紹。在實際的業務場景當中,每個公司的需求是不一樣的,因此大資料平台開發需要選擇適合自己的技術...