測試環境elk及kafka維護文件：
es 伺服器ip及賬號密碼：
ip : 10.5.11.183, 10.5.11.184, 10.5.11.185
三颱都要操作
es安裝路徑/data/es
elk使用者啟動
su - elk
啟動命令：nohup /data/es/elasticsearch-6.8.3/bin/elasticsearch -d
啟動埠：9200
logstash
ip: 10.5.11.184
logstash 安裝路徑:/data/logstash
root使用者啟動
啟動命令：nohup /data/logstash/logstash-6.8.3/bin/logstash -f /data/logstash/logstash-6.8.3/config/logback-es.conf &
埠: 9600 9601
載入配置檔案config/logback-es.conf(配置檔案可根據需要自行更改)
檢視程序及埠: ps -ef |grep logstash
netstat -anlt |grep 9601
3. kibana
ip: 10.5.11.185
kibana安裝路徑：/user/local
配置檔案路徑：/etc/kibana
啟動使用者：root
啟動命令：systemctl enable kibana
systemctl start kibana
或者 nohup /usr/local/kibana/bin/kibana &
檢視狀態及日誌：systemctl status kibana -l
埠：5601
或者 nohup /usr/local/kibana/bin/kibana &
ps: netstat及locate工具安裝
yum install net-tools
yum -y install mlocate updated
zk啟動
ip : 10.5.11.183, 10.5.11.184, 10.5.11.185
三颱都要操作
zk安裝路徑：
cd /data/kafka/kafka_2.12-2.3.0/bin
啟動命令
./kafka-server-start.sh -daemon /data/kakfa/kafka_2.12-2.3.0/config/server.properties
（以上命令要用手敲）
若啟動失敗，檢視日誌
cd …/logs
cat server.log
啟動成功檢查：
zk埠2181，啟動後檢視zk狀態
sh zkserver.sh status
如出現下面資訊則安裝成功，其中有乙個為leader（3臺都啟動後，status狀態才正常，一台啟動直接看狀態會報錯error contacting service. it is probably not running.3臺都啟動後，錯誤消失）
[root@elk1-test bin]# zkserver.sh status
zookeeper jmx enabled by default
using config: /data/zl/zookeeper-3.4.12/bin/…/conf/zoo.cfg
mode: leader
kafka啟動及主題建立
三颱都要操作
啟動kafka集群
[root@seichung ] cd /data/kafka/kafka_2.12-2.3.0/bin
./kafka-server-start.sh -daemon /data/kakfa/kafka_2.12-2.3.0/config/server.properties
（以上命令要用手敲）
若啟動失敗，檢視日誌
cd …/logs
cat server.log
部分命令
a) 檢視當前伺服器中的所有topic
[root@testx-three local]# /data/kafka/kafka_2.12-2.3.0/bin/kafka-topics.sh --zookeeper 10.5.11.183:2181 --list
b) 建立topic
[root@testx-three local]# /data/kafka/kafka_2.12-2.3.0/bin/kafka-topics.sh --zookeeper 10.5.11.183:2181 --create --replication-factor 3 --partitions 1 --topic first1
–topic 定義topic名
–replication-factor 定義副本數
–partitions 定義分割槽數
當前可用kafka的broker為3，當想建立replication-factor為4時，報錯：
[root@testx-three local]# /data/kafka/kafka_2.12-2.3.0/bin/kafka-topics.sh --zookeeper 10.5.11.183:2181 --create --replication-factor 4 --partitions 1 --topic first2
c) 刪除topic
[root@testx-three local]# /data/kafka/kafka_2.12-2.3.0/bin/kafka-topics.sh --zookeeper 10.5.11.183:2181 --delete --topic first1
d) 檢視某個topic的詳情
[root@testx-three local]# /data/kafka/kafka_2.12-2.3.0/bin/kafka-topics.sh --zookeeper 10.5.11.183:2181 --describe --topic first1
e) 生產、消費訊息
/生產者：
[root@testx-three local]# /data/kafka/kafka_2.12-2.3.0/bin/kafka-console-producer.sh --broker-list 10.5.11.183:9092 --topic first1
/消費者：
[root@testx-three ~]# /data/kafka/kafka_2.12-2.3.0/bin/kafka-console-consumer.sh --bootstrap-server 10.5.11.183:9092 --topic first1 --from-beginning
kafka集群維護
kafka集群基本資訊實時檢視和修改 集群資訊實時檢視 topic工具 kafka topics,sh list zookeeper x.x.x.x kafka topics.sh describe zookeeper x.x.x.x topic topic name 集群資訊實時修改 topic工...
ELK 日常維護系列 1
動態修改開啟檔案數。日誌集群每天有400個索引，每個索引從最大1t到20mb不均衡分布。那麼20天的檔案控制代碼使用數量的增長曲線就如圖所示。在使用elastic 官方的安裝包進行安裝後。預設開啟檔案數是65535.對於日誌集群來說這太小了。使用一下命令了可以檢視集群的開啟檔案數分布情況 curl ...
ELK 本地搭建kafka環境
tar zxvf kafka 2.11 2.0.1.tgz kafka需要安裝zookee使用，但kafka整合zookeeper,在單機搭建時可直接使用。使用需配置kafka 2.11 1.1.0 config 下的 zookeeper.properties 配置 zookeeper.proper...