Storm集群安裝

2021-08-03 04:25:46 字數 1598 閱讀 3859

storm集群的安裝分為以下幾步:

storm發行版本解壓目錄下有乙個conf/storm.yaml檔案,用於配置storm。預設配置在這裡可以檢視。conf/storm.yaml中的配置選項將覆蓋defaults.yaml中的預設配置。以下配置選項是必須在conf/storm.yaml中進行配置的:

1) storm.zookeeper.servers: storm集群使用的zookeeper集群位址,其格式如下:

storm.zookeeper.servers:

- 「111.222.333.444″

- 「555.666.777.888″

如果zookeeper集群使用的不是預設埠,那麼還需要storm.zookeeper.port選項。

2) storm.local.dir: nimbus和supervisor程序用於儲存少量狀態,如jars、confs等的本地磁碟目錄,需要提前建立該目錄並給以足夠的訪問許可權。然後在storm.yaml中配置該目錄,如:

storm.zookeeper.servers:

storm.local.dir: "/home/admin/storm/workdir"

nimbus.host: "111.222.333.444"

4) supervisor.slots.ports: 對於每個supervisor工作節點,需要配置該工作節點可以執行的worker數量。每個worker占用乙個單獨的埠用於接收訊息,該配置選項即用於定義哪些埠是可被worker使用的。預設情況下,每個節點上可執行4個workers,分別在6700、6701、6702和6703埠,如:

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

這個指令碼檔案寫的不咋地,所以在配置時一定注意在每一項的開始時要加空格,冒號後也必須要加空格,否則storm就不認識這個配置檔案了,切記切記。

3、分發安裝包

每台機器拷貝具有相同配置的安裝包

4、使用storm指令碼啟動相應服務並檢視服務狀態

主控節點上啟動nimbus:

$ storm nimbus >/dev/null 2>&1 &

在storm各個工作節點上執行:

$ storm supervisor >/dev/null 2>&1 &

在storm主控節點上啟動ui:

$ storm ui >/dev/null 2>&1 &

5、通過web檢視storm集群的狀態

訪問nimbus.host::8080,即可看到storm的ui介面。

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

storm集群安裝

vim etc profile export storm home export servers storm export path path storm home bin 2.修改storm配置檔案 vim storm.yaml 指定storm使用的zk集群 storm.zookeeper.ser...

Storm 集群安裝

版本都在這 本人安裝的是 其他版本的自行安裝吧,估計都差不多 sudo mkdir export servers sudo chmod r 777 export mkdir export servers tar zxvf apache storm 1.0.0.tar.gz c export serv...

Storm集群安裝

一 解壓storm安裝包 二 配置環境變數 vim etc profile 在最後增加如下兩行 export storm home hd software axe apache storm 1.1.0 export path path storm home bin 三 修改storm.yaml配置 ...