kafka是乙個高吞吐量的分布式訊息佇列（message queue）系統，以下是它的介紹
流**平台有三個關鍵功能：
kafka通常用於兩大類應用：
要了解kafka如何做這些事情，讓我們深入**kafka的能力。
首先是幾個概念：
下面是它的圖
一、安裝的第一步
首先、應該先上傳、解壓。然後配置相應的配置檔案，這裡只需要配置server.properties即可，啟動3臺kafka brokers，如下圖所示
啟動服務：在啟動這個服務之前，先啟動hdfs的各種節點，然後啟動zookeeper服務，再啟動kafka的服務，
建立topic並檢視：bin/kafka-topics.sh --create --zookeeper bigdata-hpsk01.huadian.com:2181/kafka --replication-factor 2 --partitions 3 --topic testtopic88
--replication-factor 副本數量 < broker 數量
檢視kafka集群中 topic數目
傳送資料到topic中
bin/kafka-console-producer.sh --broker-list hostname:9092,hostname:9093,hostname:9093 --topic testtopic88
從topic消費資料
bin/kafka-console-consumer.sh --zookeeper hostname:2181/kafka --topic testtopic88 --from-beginning
因為kafka的元資料是儲存在zookeeper中，所以可以在zookeeper中去檢視
這就說明安裝成功了，可以往kafka寫入資料了。
Kafka Kafka安裝部署
hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 1 解壓安裝包 ck hadoop102 software tar zxvf kafka 2.12 2.6.1.tgz c opt module 2 在 opt module kafka...
Kafka Kafka在Linux下安裝和測試
進入kafka官網 source download需要編譯才能使用 以下用kafka 2.10 0.9.0.0.tgz 版本 tar xzvfkafka 2.10 0.9.0.0.tgz cd kafka 2.10 0.9.0.0 目錄 bin 啟動和停止命令等。config 配置檔案 libs 類...
kafka kafka的日誌清理機制
kafka的消費者們只消費訊息，消費後並不是立即清除，那麼kafka是怎樣進行日誌清理？kafka的日誌清理機制一般分為兩種 日誌清除和日誌壓縮。這兩種機制是需要config server.properties檔案配置後才會選中，二選一。常見使用的是日誌清除，至於日誌壓縮 適合特別場景。config...