linux: centos 7.3 ~ 阿里雲 ecs 伺服器zookeeper: cdh-3.4.5
kafka: 2.12-2.1.0
一、使用者許可權： root 使用者wget二、部署路徑 ： /opt
三、環境變數配置檔案： /etc/profile
四、kafka 需要依賴 zookeeper , kafka 自身帶有 zk, 但我們這裡使用外部搭建的 zk。
五、阿里雲伺服器 公網ip、內網ip 都需要用到。因為需要實現公網訪問，並且也可以內網使用。
## 解壓
tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar -c /opt
## 重新命名
mv /opt/zookeeper-3.4.5-cdh5.3.6 /opt/zookeeper
## 環境變數配置
echo "## zookeeper 環境變數" >> /etc/profile
echo "export zk_home=/opt/zookeeper" >> /etc/profile
echo "export path=$"path":$"zk_home"/bin" >> /etc/profile
## 立即生效
source /etc/profile
################################# zookeeper 配置 ####################################
cd $zk_home
## 建立 datadir 臨時檔案儲存路徑
mkdir data
## 建立 datalogdir 事務日誌儲存路徑
mkdir logs
## 配置檔案路徑：/opt/zookeeper/conf/zoo_sample.cfg ; 這是 zk 預設提供的乙份模板,我們 copy 並命名 zoo.cfg
cd $zk_home/conf
cp zoo_sample.cfg zoo.cfg
## 編輯 配置檔案
vim zoo.cfg
------------------------- zoo.cfg 增改配置項 --------------------------
datadir=/opt/zookeeper/data
datalogdir=/opt/zookeeper/logs
clientport=2181
# server.x中的x是乙個數字，與myid檔案中的id 一致
server.1=127.0.0.1:2888:3888
------------------------- zoo.cfg 增改配置項 --------------------------
## 配置 myid , 配置路徑: datedir
echo 1 > $zk_home/data/myid
## 啟動 zk
zkserver.sh start
$ jmx enabled by default
$ using config: /opt/zookeeper/bin/../conf/zoo.cfg
$ starting zookeeper ... started
## 基本命令
zkserver.sh start stop status
wget
tar -zxvf kafka_2.12-2.2.0.tgz -c /opt
mv /opt/kafka_2.12-2.2.0.tgz /opt/kafka
mkdir -p /opt/kafka/logs # 日誌檔案儲存路徑
## kafka 配置檔案
vim /opt/kafka/server.properties
-------------------------- kafka 配置檔案增改項------------------------------
broker.id=0
port=9092
# 阿里雲 內網 ip 位址
host.name=172.19.*.*
# 阿里雲 公網 ip 位址
advertised.host.name=47.101.*.*
# 配置日誌路徑
log.dirs=/opt/kafka/logs
# zk 位址
zookeeper.connect=localhost:2181
# 真實刪除 topic
delete.topic.enable=true
-------------------------- kafka 配置檔案增改項------------------------------
## kafka 啟動方式
# 前台
./kafka-server-start.sh ../config/server.properties
# 後台
./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &
Kafka單機單節點部署
3 刪除 license notice site docs 4 進入bin目錄 cd bin 5 啟動 啟動zookeeper nohup zookeeper server start.sh config zookeeper.properties 啟動kafka nohup kafka server...
Kafka單節點多Broker部署
安裝好zookeeper並啟動服務 broker的編號，必須是唯一的，相當於主鍵 broker.id 0 每個broker監聽的埠 listeners plaintext 9090 日誌目錄，預設目錄在tmp下面，重啟後就會被清空，所以要重新指定乙個目錄 log.dirs root kafka tm...
kafka單節點單broker的安裝部署及使用
kafka單節點單broker的安裝部署及使用 配置環境變數 vi bash profile export kafka home usr soft kafka 2.13 2.4.0 export path kaf kaho me b in kafka home bin kafkah ome bin ...