分布式日誌分析系統（三） Kafka的配置

繼之前寫的分布式日誌系統的搭建，之前提到用zipkin做日誌追蹤，後來為了提高整個日誌分析系統的效能，必須要考慮加入kafka訊息佇列來保證日誌不丟失，更好地提高系統的健壯性。

本次搭建環境是基於windows下。

進入conf目錄，將zoo_sample.cfg複製為zoo.cfg，然後開啟並修改裡面的內容；

主要修改的是：

datadir=.\zookeeper-3.4.13\data

開啟bin目錄，用管理員執行zkserver.cmd，效果如下：

如果最後出現0.0.0.0：2181，就是執行成功了；

log.dirs=.\kafka_2.11-2.0.0\logs

然後在當前壓縮完的目錄下執行命令：

.\bin\windows\kafka-server-start.bat .\config\server.properties

set classpath=.;

開啟bin/windows，然後在這裡開啟命令列（shift+右鍵），執行：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

那這樣子就是建立成功了；

接下來，開啟乙個producer

kafka-console-producer.bat --broker-list localhost:9092 --topic test

好了，接下來開啟乙個consumer

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

這裡需要注意一下，之前我找到的命令是

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

然後在producer下測試一下，看看能不能傳輸成功：

此外，後面如果需要刪除topic裡面的訊息的話，可以嘗試用下面的命令：

kafka-topics --delete --zookeeper 你的ip:2181 --topic topic名稱

Kafka分布式訊息系統

什麼是apache kafka？系統應用 使用者的活動資料 請求 資料 互動資料 執行維護資料如效能 監測 伺服器cpu 指標這些大量的資料都在無時無刻的產生，kafka 便是有著一套成熟的訊息處理方案的訊息系統，支援 高吞吐量的 分布式發布訂閱訊息 模式，它可以處理消費者規模的 中的所有動作流資料...

Kafka 分布式流式系統

傳送端 傳送端不能非同步傳送，非同步傳送在傳送失敗的情況下，就沒辦法保證訊息順序。2 即使只有乙個佇列的情況下，會有第2個問題。該機器掛了之後，能否切換到其他機器？也就是高可用問題。比如你當前的機器掛了，上面還有訊息沒有消費完。此時切換到其他機器，可用性保證了。但訊息順序就亂掉了。要想保證，一方面要...

分布式訊息系統Kafka初步

在我們大量使用分布式資料庫 分布式計算集群的時候，是否會遇到這樣的一些問題 l 我想分析一下使用者行為 pageviews 以便我能設計出更好的廣告位 l 有些資料，我覺得存資料庫浪費，直接存硬碟又怕到時候操作效率低。這個時候，我們就可以用到分布式訊息系統了。雖然上面的描述更偏向於乙個日誌系統，但確...