1、安裝zookeeper
更改flume配置為kafka
b.編輯系統變數中的path變數，增加%zookeeper_home%\bin
conf 新增檔案 zoo.cfg
# the number of milliseconds of each tick 心跳間隔 毫秒每次
ticktime=2000
# the number of ticks that the initial
# synchronization phase can take
initlimit=10
# the number of ticks that can pass between
# sending a request and getting anacknowledgement
synclimit=5
# the directory where the snapshot isstored. //映象資料位置
datadir=e:\\data\\zookeeper
#日誌位置
datalogdir=e:\\zooker\\zookeeper
# the port at which the clients willconnect 客戶端連線的埠
clientport=2181
執行zookeeper
zkserver
2、執行kafka
cd d:\kafka_2.11-1.1.0
在命令列中輸入：
.\bin\windows\kafka-server-start.bat .\config\server.properties
3、建立topic
d:\kafka_2.11-1.1.0\bin\windows\kafka-topics.bat --create --zookeeper 172.22.20.59:2181 --replication-factor 1 -partitions 1 --topic test created topic "test"
3.1、 檢視topic
d:\kafka_2.11-1.1.0\bin\windows\kafka-topics.bat --list --zookeeper 172.22.20.59:2181
4、啟動生產者
d:\kafka_2.11-1.1.0\bin\windows\kafka-console-producer.bat --broker-list 172.22.20.59:9092 --topic test
5、啟動消費訊息
d:\kafka_2.11-1.1.0\bin\windows\kafka-console-consumer.bat --zookeeper 172.22.20.59:2181 --from-beginning --topic test
輔助系統 flume
進入conf資料夾 增加配置檔案 hadoop linux1 conf vi netcat logger.conf example.conf a single node flume configuration name the components on this agent 給那三個元件取個名字 ...
flume 監控傳送數和成功數
使用flume實時收集日誌的過程中，儘管有事務機制保證資料不丟失，但仍然需要時刻關注source channel sink之間的訊息傳輸是否正常，比如，souce channel傳輸了多少訊息，channel sink又傳輸了多少，兩處的訊息量是否偏差過大等等。flume為我們提供了monitor的...
flume （日誌收集系統）
flume 日誌收集系統 flume是cloudera提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸的系統，flume支援在日誌系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。當前flume有兩個版本flume 0...