首先在你的虛擬機器上已經安裝了zookeeper、kafka、storm工具
1、啟動zookeeper:
3、啟動kafka:
4、實時產生資料
5、建立topic_access話題
bin6、建立topic
將日誌access.log上傳到kafka並啟動producer:
nohup tail -f /usr/bigdata/sortwares/logger/access.log | bin/kafka-console-producer.sh
--broker-list
192.168.32.128:9092
--topic topic_access >>logs/producer.log 2>&1 &
啟動consumer
nohup bin/kafka-console-consumer.sh --zookeeper 192.168.32.128:2181 --topic topic_access >> logs/consumer.log 2>&1 &
7、啟動storm
storm
nohup storm nimbus >> logs/nimbus.log 2>&1 &
nohup storm supervisor >> logs/supervisor.log 2>&1 &
nohup storm ui >> logs/ui.log 2>&1 &
nohup storm logviewer >> logs/logviewer.log 2>&1 &
jps檢視
9798 nimbus
9851 supervisor
2795 core
2831 logviewer
8、找到要提交的作業，用ant編譯
9、提交到storm
storm jar dist/topology-0.0.1.jar starter.topology.nginx.nginxtopology
10、瀏覽器中輸入 localhostl8080檢視
大資料開發實戰 實時資料平台和流計算
實時資料平台的支撐技術主要包含四個方面 實時資料採集 如flume 訊息中介軟體 如kafka 流計算框架 如storm,spark,flink和beam 以及資料實時儲存 如列族儲存的hbase 實時資料平台最為核心的技術是流計算。流計算的典型特徵 1 無邊界 流計算的資料源頭是源源不斷的，就像河...
大資料開發實戰 實時資料平台和流計算
實時資料平台的支撐技術主要包含四個方面 實時資料採集 如flume 訊息中介軟體 如kafka 流計算框架 如storm,spark,flink和beam 以及資料實時儲存 如列族儲存的hbase 實時資料平台最為核心的技術是流計算。流計算的典型特徵 1 無邊界 流計算的資料源頭是源源不斷的，就像河...
大資料開發實戰 實時資料平台和流計算
實時資料平台的支撐技術主要包含四個方面 實時資料採集 如flume 訊息中介軟體 如kafka 流計算框架 如storm,spark,flink和beam 以及資料實時儲存 如列族儲存的hbase 實時資料平台最為核心的技術是流計算。流計算的典型特徵 1 無邊界 流計算的資料源頭是源源不斷的，就像河...