apache storm集群配置記錄

2021-07-09 04:47:46 字數 530 閱讀 8543

2.安裝zookeeper集群 參考

3.安裝storm

這裡有個坑,因為我是在乙個centos的虛擬機上安裝好zookeeper和storm後,在copy虛擬機器的檔案建立另外兩個虛擬機器的,然後在修改ip和hostname,結果發現nimbus啟動後,啟動另外兩個節點的supervisor在ui裡總是只有乙個supervisor,後來發現以為是hostname的問題,原來是我在命令列用setup修改的主機名(hostname)只修改了/etc/sysconf/network裡的配置,/etc/hosts檔案裡的並沒有修改,所以三個虛擬機器的hostname對其他機器來說是一樣的,修改後改檔案,重啟network後,發現沒有解決問題,這時發現supervisor的id在只啟動一台虛擬機器的supervisor的都是一樣的,猜測應該是copy虛擬機器造成的,因為在copy之前我在未改storm.yaml檔案前先執行過一遍nimbus和supervistor,可能是生產了一下臨時檔案儲存了supervisor id等資訊,copy後執行他們的id就衝突了,於是刪除storm的目錄重新解壓,修改配置檔案,問題解決。

Apache Storm框架單機安裝與配置

到目前為止,最新版本的storm是 apache storm 1.2.2.tar.gz 2 解壓tar檔案 使用以下命令解壓tar檔案 cd opt tar zxf apache storm 1.2.2.tar.gz cd apache storm 1.2.2 mkdir data 3 開啟配置檔案...

Apache Storm 官方文件 FAQ

worker 的完整數量是由 supervisor 配置的。每個 supervisor 會分配到一定數量的 jvm slot,你在拓撲中設定的 worker number 就是以這個 slot 數量為依據進行分配的。不建議為每個拓撲在每台機器上分配超過乙個 worker。假如有乙個執行於三颱 8 核...

Apache Storm 官方文件 本地模式

本地模式是一種在本地程序中模擬 storm 集群的工作模式,對於開發和測試拓撲很有幫助。在本地模式下執行拓撲與在集群模式下執行拓撲的方式很相似。建立乙個程序內的 集群 只需要使用localcluster類即可,例如 import backtype.storm.localcluster localcl...