kafka 部署注意事項？啟動使用者，非root
安裝目錄許可權：除了資料目錄和日誌目錄是讀寫外，bin目錄是可執行，其他目錄應該唯讀
預設埠修改
只容許內網訪問
整合監控和管理軟體
開啟認證
kafka 如何保證訊息不丟失？
訊息可靠傳送
producer要注意配置ack的級別
acks=0 生產者只管發，不管伺服器是什麼響應
acks=1 只要集群首領節點收到訊息，就認為成功
acks=all 所有follow都收到，才認為成功
可靠消費
consumer要注意offset如何提交。因為consumer一次拉取一批訊息，如果在處理這一批訊息**錯，offset提交方式不當會丟訊息或重複消費。
要可靠消費，可以提交特定偏移量的map。
堆積時，如何而提高消費能力
consumer必須指定consumergroup id，否則沒法增加消費者。
可能需要先增加topic的partition數量，再增加消費者的數量。
消費者數量不能大於topic的partition數量，否則有消費者收不到訊息。
kafka 如何監控？
借助程序監控，zookeeper資訊監控，監控生產者，消費者等。有開源元件
kafka 怎麼判斷乙個group 的消費者掛掉了
長時間offset偏移量不變，可以預警
Kafka專案經驗
1.kafka 壓測 用 kafka 官方自帶的指令碼，對 kafka 進行壓測。kafka 壓測時，可以檢視到哪個地方出 現了瓶頸 cpu，記憶體，網路 io 一般都是網路 io 達到瓶頸。kafka consumer perf test.sh kafka producer perf test.s...
Kafka的應用場景
1 建立實時的資料管道，以可靠地在系統或應用程式之間獲取資料 2 構建實時流應用程式，以轉換或響應資料流 如圖，可以看到 1 producers 可以有很多的應用程式，將訊息資料放到kafka的集群中。2 consumers 可以有很多的應用程式，將訊息資料從kafka集群中拉取出來。3 conne...
Kafka 關於壓縮的一點經驗
就壓縮而言，對於資料儲存應該是乙個比較大的優化，而 kafka 自然也是支援這種特性的，但是這裡可能會有那麼一點坑。我們主要從 何時產生壓縮？何時會解壓縮？兩個方面來說，並針對一些可能出現的坑做一些說明。生產者為了資料在傳輸到 kafka 可以更快，那麼在生產者啟動壓縮自然是很正常的。broker端...