大資料之Kafka集群安裝及簡單使用

1.2、解壓安裝包

tar -zxvf /export/software/kafka_2.11-0.8.2.2.tgz -c /export/servers/

1.3、修改配置檔案

vi /export/servers/kafka/config/server.properties

輸入以下內容：

#broker的全域性唯一編號，不能重複 broker.id=0 #用來監聽鏈結的埠，producer或consumer將在此埠建立連線 port=9092 #處理網路請求的執行緒數量 num.network .threads=3 #用來處理磁碟io的執行緒數量 num.io .threads=8 #傳送套接字的緩衝區大小 socket.send .buffer .bytes=102400 #接受套接字的緩衝區大小 socket.receive .buffer .bytes=102400 #請求套接字的緩衝區大小 socket.request .max .bytes=104857600 #kafka執行日誌存放的路徑 log.dirs=/root/kafkalog #topic在當前broker上的分片個數 num.partitions=2 #用來恢復和清理data下資料的執行緒數量 num.recovery .threads .per .data .dir=1 #segment檔案保留的最長時間，超時將被刪除 log.retention .hours=168 #滾動生成新的segment檔案的最大時間 log.roll .hours=168 #日誌檔案中每個segment的大小，預設為1g log.segment .bytes=1073741824 #週期性檢查檔案大小的時間 log.retention .check .interval .ms=300000 #日誌清理是否開啟 log.cleaner .enable=true #broker需要使用zookeeper儲存meta資料 zookeeper.connect=shizhan:2181,mini2:2181,mini3:2181 #zookeeper鏈結超時時間 zookeeper.connection .timeout .ms=6000 #partion buffer中，訊息的條數達到閾值，將觸發flush到磁碟 log.flush .interval .messages=10000 #訊息buffer的時間，達到閾值，將觸發flush到磁碟 log.flush .interval .ms=3000 #刪除topic需要server.properties中設定delete.topic.enable=true否則只是標記刪除 delete.topic .enable=true #此處的host.name為本機ip(重要),如果不改,則客戶端會丟擲:producer connection to localhost:9092 unsuccessful 錯誤! host.name=192.168 .112

.200

1.4、分發安裝包

scp -r /export/servers/kafka_2.11-0.8.2.2 kafka02:/export/servers

1.5、再次修改配置檔案（重要）

依次修改各伺服器上配置檔案的的broker.id，分別是0,1,2不得重複。

對應的host的ip位址更改為各個主機的ip位址

另外將產生的log檔案的輸出位址更改下

zk的位址更改為自己機器的位址

1.6、啟動集群

依次在各節點上啟動kafka

bin/kafka-server-start.sh config/server.properties

大資料之Kafka集群安裝及簡單使用

部署 kafka 大資料Kafka集群部署

大資料開發之kafka安裝

大資料面試之Kafka

大資料之Kafka集群安裝及簡單使用

部署 kafka 大資料Kafka集群部署

大資料開發之kafka安裝

大資料面試之Kafka

相關推薦