tar zxvf kafka_2.11-2.0.1.tgz
kafka需要安裝zookee使用，但kafka整合zookeeper,在單機搭建時可直接使用。使用需配置kafka_2.11-1.1.0/config 下的「zookeeper.properties」
配置「zookeeper.properties」。修改datadir和clientport。前者是快照存放位址(自己隨意配置)，後者是客戶端連線zookeeper服務的埠。
配置kafka_2.11-1.1.0/config下的「server.properties」，修改log.dirs和zookeeper.connect。前者是日誌存放資料夾，後者是zookeeper連線位址（埠和clientport保持一致）。
開啟kafka自帶zookeeper:
前台執行：
bin/zookeeper-server-start.sh config/zookeeper.properties
後台執行：
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &
開啟kafka:
前台執行：
bin/kafka-server-start.sh config/server.properties
後台執行：
nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
建立kafka主題：
bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test
顯示kafka所有主題：
bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191
建立kafka生產者：
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
建立kafka消費者：
bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginning
--zookeeper zookeeper is not a recognized option
這個是0.9之後的開啟方式
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
這個是0.9之前的開啟方式
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
如果0.9之後使用這個命令開啟會報這樣的錯誤
zookeeper is not a recognized option
kafka單機的配置與使用
zookeeper is not a recognized option option異常
error while fetching metadata with correlation id : 正確處理姿勢
ELK環境搭建
安裝elasticsearch 1.拷貝elasticsearch 5.4.0.tar.gz到你需要安裝的目錄 2.執行 sudo tar zxvf elasticsearch 5.4.0.tar.gz 3.切換非root賬戶 su suername 4.cd到解壓後的目錄 執行 bin elast...
本地搭建ELK系統
elk系統主要由三部分組成，分別是elasticsearch logstash kibana。elk系統收到推送過來的日誌後，首先由logstash解析日誌中的字段，分解成乙個乙個的關鍵字。elasticsearch將關鍵字與日誌資訊關聯起來，以一種特定的格式化方式儲存資料到硬碟。kibana提供與...
ELK環境搭建記錄
日誌主要包括系統日誌 應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊 檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷，效能安全性，從而及時採取措施糾正錯誤。通常，日誌被分散的儲存不同的裝置上。如果你管理數十上百臺伺服器，你還在使用依次登入每台機器的...