3、安裝kafka
wget
tar -zxvf kafka_2.8.0-0.8.0.tar.gz
配置kafka,修改檔案server.properties
vim server.properties
broker.id=0
listeners=plaintext://:9092
log.dirs=/home/***x/kafkalog
zookeeper.connect=127.0.0.1:60301,127.0.0.1:60302,127.0.0.1:60303
zookeeper.connection.timeout.ms=6000
配置kafka下zookeeper
vim zookeeper.properties
上圖中的datadir和datalogdir可以依據自己建立的資料夾路徑填寫。
啟動和關閉kafka指令碼
bin/kafka-server-start.sh -daemon config/server.properties &
（1）建立kafka指令碼
vim kafkastart.sh
（2）建立關閉kafka指令碼
vim kafkastop.sh
（3）新增指令碼執行許可權
chmod +x kafkastart.sh
chmod +x kafkastop.sh
（4）設定指令碼開機啟動自動執行
vim /etc/rc.d/rc.local
測試kafka
（1）建立主題
bin/kafka-topics.sh --create --zookeeper localhost:60301 --replication-factor 1 --partitions 1 --topic test
檢查主題是否建立成功
bin/kafka-topics.sh --list --zookeeper localhost:60301
（2）啟動producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
如上圖所示，輸入hello kafka!後，回車
然後另外開啟乙個shell終端
在此終端下啟動consumer
bin/kafka-console-consumer.sh --zookeeper localhost:60301 --topic test --from-beginning
由上圖可見，終端1生產者下所輸入的hello kafka!，在終端2下的消費者下顯現，至此kafka的單機安裝部署完成。
（6）關閉kafka
直接kill 程序
一、zookeeper安裝
1、解壓縮安裝、配置系統環境變數 zookeeper_home，path
2、單機模式
1、mv conf/zoo_sample.cfg /conf/zoo.cfg
2、vi zoo.cfg
修改datadir=/home/zachary/hadoop/hadoop-1.2.1/tmp/zookeeper，可修改clientport和增加datalogdir，在log4j.properties設定:zookeeper.log.dir=***;zookeeper.tracelog.dir=***，並修改bin/zkenv.sh: zoo_log_dir=/home/zachary/hadoop/hadoop-2.6.0/tmp/zookeeper
zoo_log4j_prop="info,rollingfile"
3、啟動zkserver.sh start|stop|status；zkcli.sh -server rd3:61300 命令列操作（zkcli.sh預設是本機和2181埠）
3、集群模式
1、mv conf/zoo_sample.cfg /conf/zoo.cfg
2、修改clientport=61300
3、vi zoo.cfg
修改datadir=/home/zachary/hadoop/hadoop-1.2.1/tmp/zookeeper
增加：rd3為ip或者為hostname 同一臺機上埠需要改變 server下面新增的配置必須頂格
server.0=rd3:61301:61302
server.1=pcm:61301:61302
server.2=cip:61301:61302
4、在datadir目錄下，建立檔案myid，寫入值0
5、scp到其它server(cip,pcm)，同時配置環境變數和建立datadir，在pcm建立myid並寫入值1，在cip建立myid並寫入值2
6、啟動，分別在各節點上執行zkserver.sh start ；zkserver.sh stop 關閉；可以用zkserver.sh status檢視狀態
7、zkcli.sh -server rd3:61300 命令列操作（zkcli.sh預設是本機和2181埠）
ls / ；create /hadoop zach；get /hadoop
3、偽集群模式：與集群模式不同出就是在同一臺機子裝多個zookeeper，配置不同的datadir和不同的埠
二、kafka安裝
修改conf/server.properties中
broker.id=0 --brokerid 集群唯一
zookeeper.connect=yeexun02:61300,yeexun03:61300,yeexun04:61300/kafka --zookeeper連線
log.dirs=/opt/mq/data/kafka --訊息日誌路徑
num.partitions=3 --乙個topic分成幾個管道
default.replication.factor=2 --副本數
port=61100 --埠
#delete.topic.enable=true --可以刪除topic
在執行指令碼kafka_run_class.sh裡面編輯 中找到log_dir="$base_dir/logs"修改即可
/opt/mq/kafka/bin/kafka-server-start.sh -daemon /opt/mq/kafka/config/server.properties
kafka搭建 快速搭建Kafka服務
搞流處理的話，無論如何是繞不過kafka的了，還好kafka是乙個概念比較好理解的架構模型。我覺得官方的這三張圖已經很好地把模型結構給闡述清楚了。發布 訂閱模型 實現訊息寫入與訊息讀取解耦。kafka相當於是乙個訊息緩衝池 2.日誌檔案順序結構 kafka的高吞吐量就是依賴順序寫入 當然還包括了一些...
redis cluster集群搭建簡單筆錄
一 安裝redis 用壓縮命令壓縮 tar zxvf redis tar.gz 壓縮完成之後進入目錄 cd redis 在redis 目錄下執行make命令 執行 執行完make後，跳過redis test 繼續執行make install 可能遇到的問題？1 執行make命令時出現故障意出現的錯誤...
kafka 單機環境kafka搭建
目錄 一 kafka搭建方法 二 kafka常用命令行 1.topic建立 2.命令列生產者 3.命令列消費者 step1 解壓kafka tar zxvf kafka 2.13 2.4.0.tgzstep2 啟動zookeeper bin zookeeper server start.sh con...