Cloudera平台參考部署架構

cloudera平台軟體體系結構

cloudera的軟體體系結構中包含了以下模組：系統部署和管理，資料儲存，資源管理，處理引擎，安全，資料管理，工具庫以及訪問介面。一些關鍵元件的角色資訊：

硬體配置

集群伺服器按照節點承擔的任務分為管理節點和工作節點。管理節點上一般部署各元件的管理角色，工作節點一般部署有各角色的儲存、容器或計算角色。根據業務型別不同，集群具體配置也有所區別：

1. 實時流處理服務集群：hadoop實時流處理效能對節點記憶體和cpu有較高要求，基於spark streaming的流處理訊息吞吐量可隨著節點數量增加而線性增長。

對於那些需要兩個以上節點來支援ha功能的，集群中分配有乙個工具節點可以承載這些角色，並同時可以部署一些其他工具角色，這些工具角色本身消耗不了多少資源：

中等規模集群

乙個中等規模的集群，集群的節點數一般在20到200左右，通常的資料儲存可以規劃到幾百tb，適用於乙個中型企業的資料平台，或者大型企業的業務部門資料平台。節點的復用程度可以降低，可以按照管理節點、主節點、工具節點和工作節點來劃分。

管理節點上就安裝cloudera manager、cloudera management service。

主節點上安裝有個cdh服務的管理節點以及ha的元件，可以如下方式部署：

工具節點可以部署以下一些角色：

工作節點的部署和小規模類似：

大規模集群

大規模集群的數量一般會在200以上，儲存容量可以是大幾百的tb甚至是pb級別，適用於大型企業搭建全公司的資料平台。和中等規模的集群相比，部署的方案相差不大，主要是一些主節點可用性的增強。

hdfs journalnode由3個增加到5個，zookeeper server和hbase master也由3個增加到5個，hive metastore的數量有1個增加到3個。

網路拓撲

單機架部署

對於乙個小規模的集群，或者乙個單個rack的集群，所有的節點都連線到相同的接入層交換機。接入層交換機配置為堆疊的方式，互為冗餘並增加了交換機吞吐。所有的節點兩個網絡卡配置為主備或者負載均衡模式，分別連入兩個交換機。在這種部署模式下，接入層交換機也充當了聚合層的角色。

多機架部署

在多機架的部署模式下，除了接入層交換機，還需要聚合層交換機，用於連線各接入層交換機，負責跨rack的資料訪問。

實際部署樣例

在機架上分配角色時，為了避免接入層交換機的故障導致集群的不可用，需要將一些高可用的角色部署到不同的接入層交換機之下（注是不同的接入層之下，而不是不同的物理rack下，很多時候，客戶會將不同物理rack下的機器接入到相同的接入層交換機下。）以下是乙個80個節點的物理部署樣例。