storm1 2 2 集群搭建

2021-09-23 18:27:38 字數 1432 閱讀 8794

2、修改conf目錄下的storm.yaml配置檔案

#注意,storm對配置檔案的格式校驗非常嚴格,以下配置項,每行前要有乙個空格,-和:後都要有空格

#zookeeper位址,

storm.zookeeper.servers:

- "xx.xx.xx.xx"

storm.zookeeper.port: 2181

storm.zookeeper.root: "/storm"

#主節點伺服器位址,建議使用網域名稱,多個ip以逗號分隔 nimbus.seeds: ["host1", "host2", "host3"]

nimbus.seeds: ["xx.xx.xx.xx"]

#資料儲存目錄

storm.local.dir: "/home/storm/nimbus/stormdata"

#對於每個工作者計算機,您可以使用此配置配置在該計算機上執行的工作程式數。每個工作程式使用單個埠接收訊息,此設定定義哪些埠可以使用。

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

storm集群其他從節點的配置同上,主節點和從節點是由啟動命令來區分

3、啟動集群

主節點:nohup ./bin/storm nimbus > ./nimbus.out 2>&1 &

主節點ui:nohup ./bin/storm  ui > ./ui.out 2>&1 &

從節點: nohup ./bin/storm supervisor > ./supervisor.out 2>&1 &

啟動日誌分別在上述的nimbus.out、ui.out、supervisor.out檔案檢視,啟動後的執行日誌在logs目錄。

5、常用storm 命令 

提交topology程式:./bin/storm jar 包名 啟動類路徑 main方法引數

列出當前執行topology列表: ./bin/storm list

停止topology :./bin/storm  kill topology名稱

topology執行日誌,在supervisor 服務下的/logs/workers-artifacts目錄下

Storm 1 2 1 集群環境搭建

1,storm基礎介紹 storm作為大資料處理框架之一,其和spark一樣具有非常廣泛的使用,如下為storm的架構圖 在了解集群配置安裝之前需要掌握如下幾個概念 concept 拓撲 topologies 類似hadoop的mapreduce 的任務 job 區別在於 mapreduce 的乙個...

Storm1 0 3集群部署

storm集群部署 1 所有的集群上都要配置hosts vi etc hosts 192.168.33.201 storm1 hadoop1 zk1 192.168.33.202 storm2 hadoop2 zk2 192.168.33.203 storm3 hadoop3 zk3 2 集群部署的...

Storm1 0 集群部署(HA)

zookeeper集群部署 storm ha集群規劃 nimbus 192.168.175.141 active 192.168.175.142 supervisor 192.168.175.141,192.168.175.142,192.168.175.143 1.0 2.tar.gz mv ap...