1.將kafka的tar包上傳到測試環境，解壓到/opt/software，配置環境變數
kafka_home=/opt/software/kafka_2.11-1.1.0/
path=$kafka_home/bin:$scala_home/bin:$path
export kafka_home
export scala_home
export path
broker.id = 0
listeners=plaintext://hadoop01:9092
log.dirs = /tmp/kafka-logs
zookeeper.connect=hadoop01:2181
num.partitions = 1
log.retention.hours = 168
listeners：要監聽的位址和埠
log.dirs：kafka的logsegment
zookeeper.connect：zookeeper集群資訊，包括主機名和埠號，如果配置集群，需要每個節點的資訊都加上，並用逗號隔開
num.partitions：每個topic預設的分割槽數，跟節點數相等，這裡配單機所以設為1
log.retention.hours：logsegment保留的時間，預設是七天
3.啟動測試
首先啟動zookeeper：zkserver.sh start
啟動kafka：/opt/software/kafka_2.11-1.1.0/bin/kafka-server-start.sh /opt/software/kafka_2.11-1.1.0/config/server.properties &
建立topic：/opt/software/kafka_2.11-1.1.0/bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 1 --topic singleserver
檢視已經建立的topic：/opt/software/kafka_2.11-1.1.0/bin/kafka-topics.sh --list --zookeeper hadoop01:2181
以3個節點為例，每個節點上都需要解壓kafka的壓縮包，然後配置環境變數，這裡就略過不講了，每個節點的配置檔案server.properties也是一樣的，只有broker.id需要單獨修改，因為每個節點需要有唯一的id號
配置好後啟動zookeeper集群，在每乙個節點上啟動broker即可
學習筆記 Kafka
kafka kafka把資料往磁碟上寫，但是在磁碟上存它的讀寫速度比記憶體快，這個依賴於預讀和後寫功能，但是這個預讀和後寫必須是按照順序的方式，若沒有順序的方式優化的話，不存在什麼預讀和後寫。特點 訊息持久化 能落到磁碟 通過o 1 的磁碟資料結構提供資料的持久化 高吞吐量 分布式 擴充套件能力強 ...
Kafka學習筆記
1.1簡介 apache kafka 是分布式發布 訂閱訊息系統 訊息中介軟體 它最初由 linkedin 公司開發，之後成為 apache 專案的一部分。kafka 是一種快速 可擴充套件的 設計內在就是分布式的，分割槽的和可複製的提交日誌服務。apache kafka 與傳統訊息系統相比，有以下...
kafka學習筆記
1.1 kafka的特性 controller在zookeeper註冊watch zookeeper管理kakfabroker集群。所有的kafkabroker節點一起去zookeeper上註冊乙個臨時節點,只有乙個能成功,成功註冊的節點稱之為 kafkabrokercontroller,其餘的稱之...