安裝kafka前需要安裝zookeeper，參考
二、解壓安裝包
[root@hlh001 software]#tar -zxvf kafka_2.11-0.11.0.0.tgz -c /opt/module/
三、修改解壓後的名稱
[root@hlh001 module]#mv kafka_2.11-0.11.0.0/ kafka
四、在kafka檔案中建logs檔案
[root@hlh001 kafka]# mkdir logs
五、修改配置檔案
[root@hlh001 config]# vim server.properties
#全域性唯一編號，不能重複
broker.id=0
#刪除topic
功能 delete.topic.enable=true
# kafka
執行日誌存放的路徑
log.dirs=/opt/module/kafka/logs
#配置連線
zookeeper
集群位址
zookeeper.connect=hlh001:2181,hlh002:2181,hlh003:2181
六、配置環境變數
[root@hlh001 config]#vim /etc/profile
#kafkahome
export kafka_home=/opt/module/kafka
export path=$path:$kafka_home/bin
[root@hlh003 config]#
source /etc/profile
七、啟動集群
先啟動zookeeper: [root@hlh003 bin]# ./zkserver.sh start
[root@hlh001 bin]#kafka-server-start.sh ../config/server.properties &
八、檢視程序
[root@hlh003 ~]#jps
4705 kafka
4343 quorumpeermain
5050 jps
九、停止集群
[root@hlh001 bin]#kafka-server-stop.sh stop
大資料面試之Kafka
1 producer 訊息的生產者，主要是用於生產訊息的。主要是接入一些外部的資料來源，從外部獲取資料，比如說我們可以從flume獲取資料，還可以通過ftp傳入資料等，還可以通過kafka的api生產資料，通過push的方式，主動的將資料推送到kafka的topic當中去 2 topic 主題，裡面...
大資料之Kafka集群安裝及簡單使用
1.2 解壓安裝包 tar zxvf export software kafka 2.11 0.8.2.2.tgz c export servers 1.3 修改配置檔案 vi export servers kafka config server.properties 輸入以下內容 broker的全...
大資料學習之 Kafka 篇
一 簡介 一種分布式的基於發布 訂閱的訊息系統 二 場景 常用組合 常用 flume 收集資料 kafka 把收集來的資料儲存到kafka spark streaming 使用spark streaming 從kafka中取資料 運用場景 1.系統之間的解耦合 2.峰值壓力緩衝 3.非同步通訊 三 ...