基本元件：
zookeeper 分布式協作框架
hdfd儲存海量資料
yarn集群資源管理 資源排程
mapreduce平行計算框架
分為：測試集群
機器數量：
5臺-10臺
機器的配置：（大資料平台的瓶頸：記憶體）hbash權威指南
1、記憶體 不低於24g 32g以上
zookeeper節點（2g） hdfs （namenode 每100萬個檔案需要1g記憶體；企業級 4g-8g-12g ；datanode 4g-6g）yarn(resourcemanager 2g-4g nodemanager 2g） 每台機器的namenode 記憶體、cpu越多越好，排程任務多; mapreduce 資源**於nodemanager
2、硬碟 4tb/ 10t 越多越好 5臺機器 20tb的儲存
3、cpu 核數 6核以上 執行乙個map任務預設1g記憶體一核cpu
4、網絡卡：萬兆 10萬 100萬 網線 光纖 影響資料讀寫和傳輸效率
生產集群 規模
小型集群 15-20臺以下
中型集群 50臺以下
大型集群 50臺以上
測試基本測試：功能測試
基準測試：效能測試 監控指標
CM CDH構建企業大資料平台系列（十）
1 防火牆是幹什麼的？為什麼要關閉防火牆？防火牆是對我們的伺服器進行的一種保護，但是有時候也會妨礙集群間的相互通訊，所以我們需要關閉防火牆。2 怎麼關閉防火牆？常見的兩種方法 1 臨時性關閉 開啟 即輸入service iptables stop start 如果要在防火牆中設定某些埠的開關，可以修...
CM CDH構建企業大資料平台系列（十一）
1 ssh是什麼？為什麼要配置ssh免密碼登入？ssh是乙個可以在應用程式中提供安全通訊的乙個協議，通過ssh可以安全地進行網路資料傳輸，它的主要原理就是利用非對稱加密體系，對所有待傳輸的資料進行加密，保證資料在傳輸時不被惡意破壞 洩露或者篡改。但是hadoop使用ssh主要不是用來進行資料傳輸的，...
CM CDH構建企業大資料平台系列（十五）
一 什麼叫構建本地yum源？構建本地yum源又叫部署本地庫，實際上就是安裝乙個映象伺服器 映象伺服器 mirror server 與主伺服器的服務內容都是一樣的，只是放在不同的地方，分擔主機的負載。簡單來說就是和照鏡子似的，能看，但不是原版的。在網上內容完全相同而且同步更新的兩個或多個伺服器，除主伺...