學了有一段時間的大資料了，學習新的元件，大部分安裝可以分為三步：上傳解壓，配置檔案，啟動。
分享一下我的kafka安裝包：
1、上傳解壓
2、進入到 /usr/local/soft/kafka_2.10-0.8.2.2/config 目錄下，修改server.properties檔案
3、因為kafka是去中心化的，所以我們需要在每一台節點上都要有
修改上面配置檔案中的兩個資訊：
4、scp到每個節點，並且修改broker.id
5、先每個節點啟動zookeeper
6、每個節點上啟動kafka
nohup /usr/local/soft/kafka_2.10-0.8.2.2/bin/kafka-server-start.sh /usr/local/soft/kafka_2.10-0.8.2.2/config/server.properties >>/usr/local/soft/kafka_2.10-0.8.2.2/logs/start.log 2>&1 &
7、檢視程序
8、建立topic
--replication-factor ---每乙個分割槽的副本數量
--partition --分割槽數
kafka-topics.sh --create --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --replication-factor 4 --partitions 4 --topic flume
kafka-topics.sh --create --zookeeper linux:2181,linux1:2181,linux2:2181 --replication-factor 3 --partitions 3 --topic topic
9、檢視topic描述資訊
kafka-topics.sh --describe --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --topic topic
kafka-topics.sh --describe --zookeeper linux:2181,linux1:2181,linux2:2181 --topic topic
10、獲取所有topic
kafka-topics.sh --list --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181
kafka-topics.sh --list --zookeeper linux:2181,linux1:2181,linux2:2181
11、建立控制台生產者
kafka-console-producer.sh --broker-list testmaster:9092,testnode1:9092,testnode2:9092,testnode3:9092 --topic topic
kafka-console-producer.sh --broker-list linux:9092,linux1:9092,linux2:9092 --topic topic
12、建立控制台消費者 --from-beginning 從頭消費
kafka-console-consumer.sh --zookeeper testmaster:2181,testnode1:2181,testnode2:2181,testnode3:2181 --from-beginning --topic topic
kafka-console-consumer.sh --zookeeper linux:2181,linux1:2181,linux2:2181 --from-beginning --topic topic
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --topic topic
kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic topic
kafka安裝和基本使用
2.將檔案解壓 3.進入 kafka 2.9.2 0.8.1.1 config 目錄 4.修改 server.properties檔案 引數 參考引數值 broker.id 0 port 9092 log.dirs kafka 2.9.2 0.8.1.1 logs zookeeper.connect...
kafka使用與安裝
集群安裝 1 解壓 2 修改server.properties broker.id 1 zookeeper.connect weekend05 2181,weekend06 2181,weekend07 2181 3 將zookeeper集群啟動 4 在每一台節點上啟動broker 啟動的時候 如果...
Kafka 安裝與使用
html wget kafka安裝包和一般安裝包的命名方式不一樣，我們看乙個kafka包命名 kafka 2.11 1.1.0.tgz，其中2.11是scala的版本，1.1.0才是kafka的版本。官方強烈建議scala版本和伺服器上的scala版本保持一致，避免引發一些不可預知的問題。將安裝包放...