JStorm集群的部署

jstorm是乙個類似hadoop mapreduce的系統，不同的是jstorm是一套基於流水線的訊息處理機制，是阿里基於storm優化的版本，和storm一樣是乙個分布式實時計算的系統，從開發角度來說，jstorm所有的概念和storm都相同，所有的程式設計**一行不用改也可以直接放到jstorm執行，也可以做一些優化，jstorm比storm更穩定、更強大、更快，去掉了很多耗費資源的**，在實際生產中表現更是非常突出，所以對於使用storm計算的應用場景來說公升級到jstorm更是簡單、低成本，以下使用3臺伺服器說一下jstorm集群的部署流程

這3臺伺服器的主機名分別為：bigdata1，bigdata2，bigdata3

準備工作：

1、主機名和hosts對映一一對應，設定完好！

2、防火牆關閉，保證通訊暢通

3、zookeeper集群正常執行

4、python 2.6以上(系統一般預設都存在)

5、jdk 推薦1.8

接下來在bigdata1上操作安裝：

1、釋放storm安裝包並移動至指定目錄：

unzip jstorm-2.1.1.zip

mv jstorm-2.1.1 /bigdata/jstorm/

cd /bigdata/jstorm/jstorm-2.1.1/

現在安裝目錄是/bigdata/jstorm/jstorm-2.1.1/

2、編輯配置檔案，執行 vim conf/storm.yaml 開啟配置檔案

配置storm.zookeeper.servers為zookeeper位址

storm.zookeeper.root為jstorm在zookeeper的節點名稱

去掉nimbus.host的注釋，配置nimbus節點為bigdata1

配置storm.local.dir，表示jstorm的臨時資料存放目錄

去掉supervisor.slots.ports前面的注釋，設定supervisor節點執行worker使用的埠列表，預設為68xx，而storm是67xx

一般設定為4個就夠了，當worker太多不夠時，再增加埠進行擴充套件

配置完以上幾個配置，儲存並退出配置檔案，另外注意每一項配置必須對齊，這裡每一項前面都有乙個空格

配置成功之後，執行以下命令，將jstorm整體傳送至其他兩個節點：

scp -r /bigdata/jstorm/ bigdata2:/bigdata/

scp -r /bigdata/jstorm/ bigdata3:/bigdata/

在當前機器，一般是nimbus，也就是提交jar包的機器上執行如下命令：

mkdir ~/.jstorm
cp /bigdata/jstorm/jstorm-2.1.1/conf/storm.yaml ~/.jstorm/

建議盡量拷貝storm.yaml配置檔案過去，否則可能在啟動ui和supervisor之後出現找不到supervisor節點的情況

3、配置storm ui管理介面

mv root root.old

ln -s jstorm-ui-2.1.1 root

然後啟動tomcat伺服器： /usr/local/tomcat/apache-tomcat-8.0.30/bin/startup.sh

4、啟動nimbus和supervisor

在主節點jstorm安裝目錄下執行： nohup bin/jstorm nimbus & 執行後再次執行回車回到命令列，執行 jps 能看到nimbusserver程序，則nimbus啟動成功：

在其他兩個節點分別執行： nohup bin/jstorm supervisor & 執行之後，執行 jps 可以看到supervisor程序，則supervisor啟動成功：

現在可以看到集群狀態，到這裡storm就安裝成功並且可以使用了

JStorm集群的部署

JStorm集群的部署

centos kafka的集群部署

nginx集群部署詳解 CEPH集群部署詳解

JStorm集群的部署

JStorm集群的部署

centos kafka的集群部署

nginx集群部署詳解 CEPH集群部署詳解

相關推薦