Storm集群部署

2021-08-15 10:16:25 字數 2192 閱讀 3148

storm集群部署

1、所有的集群上都要配置hosts

vi  /etc/hosts

192.168.33.201  storm1  hadoop1  zk1

192.168.33.202  storm2  hadoop2  zk2

192.168.33.203  storm3  hadoop3  zk3

2、集群部署的基礎環境準備

安裝前,zookeeper集群已經部署完畢!!!

建立工作目錄並賦權(三颱機器都要建立)

mkdir /export

mkdir /export/servers

chmod 755 -r /export

4、解壓安裝包並配置環境變數

---ln -s 原始檔 目標檔案:建立軟連線

---當我們需要在不用的目錄,用到相同的檔案時,我們不需要再每乙個需要的目錄下都放乙個必須相同的檔案。我們只要在某個固定的目錄,放上該檔案,

然後在其他的目錄下用ln 命令鏈結它就可以了。不必重複占用磁碟空間!

配置環境變數:

export storm_home=/export/servers/apache-storm-1.0.3

export path=.:sto

rmho

me/b

in:stormhome/bin:

...配置完source  /etc/profile

將profile檔案拷貝到其他兩台機器上

scp  /etc/profile  storm2:/etc/

scp  /etc/profile  storm3:/etc/

拷貝完成後都要重新整理環境變數source  /etc/profile

5、修改配置檔案

vi  /export/servers/storm/conf/storm.yaml

輸入一下內容:

6、分發安裝包

scp -r /export/servers/apache-storm-1.0.3 storm2:/export/servers

scp -r /export/servers/apache-storm-1.0.3 storm3:/export/servers

然後分別在storm2、storm3上建立軟連線

cd /export/servers/

ln -s apache-storm-1.0.3 storm

7、啟動集群(要先啟動zookeeper集群!!!)

(1)在nimbus.host所屬的機器上storm1啟動nimbus服務:

cd  /export/servers/storm/bin/

nohup  ./storm  nimbus  &

---nohup命令:不結束通話地執行命令。原程式的標準輸出被自動改向到當前目錄下的nohup.out檔案,起到了log的作用。nohup  ./storm nimbus   & 後台啟動   storm nimbus 前台啟動

(2)在nimbus.host所屬的機器上storm1啟動ui服務:

cd  /export/servers/storm/bin/

nohup  ./storm  ui  &

(3)在其他各節點上storm2和storm3啟動supervisor服務:

cd  /export/servers/storm/bin/

nohup  ./storm  supervisor  &

8、檢視集群是否部署成功

訪問http://storm1:8080/

,即可看到storm的

ui介面。

Storm集群部署

storm是乙個分布式實時計算系統,storm對於實時計算的意義就相當於hadoop對於批量計算的意義。對於實時性較高的系統storm是不錯的選擇。hadoop提供了map,reduce原語,使批處理程式變得非常地簡單和優美。同樣,storm也為實時計算提供了一些簡單優美的原語。涉及的術語說明 ni...

Storm 二 Storm集群部署

集群部署的基本流程 集群部署的基礎環境準備 storm集群部署 storm集群的常用操作命令 storm集群的程序及日誌檢視 注意 所有的集群上都需要配置hosts vi etc hosts 192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 ...

Storm集群安裝與部署

1 三颱虛擬機器 192.168.1.128 nimbus 192.168.1.131 supervisor 192.168.1.132 supervisor 2 jdk1.8 3 zookeeper3.4.10 4 storm 1.1.1 1 配置storm ps 三颱機器的配置都是這樣的 sto...