kafka效能非常的不錯

我們通過發出下面的疑問開場：

kafka中存在大量資料，我去把所有資料消費一遍，對效能有多大影響？；

大量生產者與消費者連線kafak,對效能有多大影響？；

kafka大量的topic,對效能有多大影響？；

kafka中有7g左右的歷史資料，本身資料在不停的流動中，不斷的新的資料流入。現在啟動三個消費程式，設定startoffset為 earlest，從歷史資料的起始點開始消費，大約耗時1小時47分，顯示消費到最新進入kafka的資料，如圖1

我看到消費資料流量顯著增加，資料流量變高，1個多小時消費完歷史資料，資料事合理的流動，沒有發生洪水式的崩潰。

我們再看看這段時間cpu 記憶體的波動：

我看到cpu波動5%，3圖中藍線事百分比，記憶體波動5g(實際小於，這塊我不做解釋)

大家知道kafka發布訊息是到topic partion中,消費是按照groupid，多生產者和消費者的時候，記錄每乙個的offset，我這邊粗暴的針對很多topic傳送資料，多個不容的group組消費，上面的圖實質上也符合這個場景，並沒有發生卡斷和異常。

上圖中kafka服務有大於100個topic每個topic有3個partion,跑的很輕鬆。

kafka的使用就是放心的用的，當有人對你說，你這消費程式不能用，會導致kafka線上服務什麼什麼問題，事實證明不會，大家也看到我展示的截圖資料量已經非常的大了。kafka給你水流不會把自己沖垮。