ambari 是什麼
ambari 跟 hadoop 等開源軟體一樣，也是 apache software foundation 中的乙個專案，並且是頂級專案。目前最新的發布版本是 2.0.1，未來不久將發布 2.1 版本。就 ambari 的作用來說，就是建立、管理、監視 hadoop 的集群，但是這裡的 hadoop 是廣義，指的是 hadoop 整個生態圈（例如 hive，hbase，sqoop，zookeeper 等），而並不僅是特指 hadoop。用一句話來說，ambari 就是為了讓 hadoop 以及相關的大資料軟體更容易使用的乙個工具。
說到這裡，大家就應該明白什麼人最需要 ambari 了。那些苦苦花費好幾天去安裝、除錯 hadoop 的初學者是最能體會到 ambari 的方便之處的。而且，ambari 現在所支援的平台元件也越來越多，例如流行的 spark，storm 等計算框架，以及資源排程平台 yarn 等，我們都能輕鬆地通過 ambari 來進行部署。
ambari 自身也是乙個分布式架構的軟體，主要由兩部分組成：ambari server 和 ambari agent。簡單來說，使用者通過 ambari server 通知 ambari agent 安裝對應的軟體；agent 會定時地傳送各個機器每個軟體模組的狀態給 ambari server，最終這些狀態資訊會呈現在 ambari 的 gui，方便使用者了解到集群的各種狀態，並進行相應的維護。詳細的操作和介紹會在後續章節介紹。
ambari 的安裝
安裝準備
關於 ambari 的安裝，目前網上能找到兩個發行版，乙個是 apache 的 ambari，另乙個是 hortonworks 的，兩者區別不大。這裡就以 apache 的 ambari 2.0.1 作為示例。本文使用三颱 redhat 6.6 作為安裝環境（目前測試驗證結果為 ambari 在 redhat 6.6 的版本上執行比較穩定），三颱機器分別為 zwshen37.example.com、zwshen38.example.com、zwshen39.example.com。zwshen37 計畫安裝為 ambari 的 server，另外兩台為 ambari agent。
安裝 ambari 最方便的方式就是使用公共的庫源（public repository）。有興趣的朋友可以自己研究一下搭建乙個本地庫（local repository）進行安裝。這個不是重點，所以不在此贅述。在進行具體的安裝之前，需要做幾個準備工作。
ssh 的無密碼登入；
ambari 的 server 會 ssh 到 agent 的機器，拷貝並執行一些命令。因此我們需要配置 ambari server 到 agent 的 ssh 無密碼登入。在這個例子裡，zwshen37 可以 ssh 無密碼登入 zwshen38 和 zwshen39。
確保 yum 可以正常工作；
通過公共庫（public repository），安裝 hadoop 這些軟體，背後其實就是應用 yum 在安裝公共庫裡面的 rpm 包。所以這裡需要您的機器都能訪問 internet。
確保 home 目錄的寫許可權。
ambari 會建立一些 os 使用者。
確保機器的 python 版本大於或等於 2.6.（redhat6.6，預設就是 2.6 的）。
以上的準備工作完成後，便可以真正的開始安裝 ambari 了。
大資料平台搭建 kafka集群的搭建
本系列文章主要闡述大資料計算平台相關框架的搭建，包括如下內容 kafka是乙個分布式 分割槽的 多副本的 多訂閱者的訊息佇列,以高吞吐量著稱，主要用於實時資料的傳輸和處理，總體架構如下 本文環境列表 直接在伺服器10.20.112.59上解壓 cd tar zxvf kafka 2.11 0.10....
大資料平台搭建 簡單說
1.安裝虛擬機器 vmware8.0 2.在虛擬機器中安裝centos 作業系統 centos7 3臺以上 3.安裝ssh 在windows平台遠端管理linux系統的工具 bvsshclient inst 4.配送ssh免密登入 5.hadoop安裝 常用命令 5.hdfs 安裝 常用命令 6.安...
環境搭建 k 大資料平台起源
因時代背景，產生新問題 關鍵技術 以什麼方式解決產生的問題 基於以上考慮，hadoop工具應運而生 hadoop 簡介 各版本的hadoop平台 人產生資料的速度越來越快，機器更快，所以需要另外的一種處理資料的方法。硬碟的容量增加了，但效能沒有跟上，解決辦法是把資料分到多塊硬碟，然後同時讀取。計算隨...