Kafka的使用場景

2021-09-12 09:22:16 字數 1014 閱讀 4785

kafka更好的替換傳統的訊息系統,訊息系統被用於各種場景(解耦資料生產者,快取未處理的訊息,等),與大多數訊息系統比較,kafka有更好的吞吐量,內建分割槽,副本和故障轉移,這有利於處理大規模的訊息。

根據我們的經驗,訊息往往用於較低的吞吐量,但需要低的端到端延遲,並需要提供強大的耐用性的保證。

在這一領域的kafka比得上傳統的訊息系統,如的activemq或rabbitmq的。

kafka原本的使用場景:使用者的活動追蹤,**的活動(網頁遊覽,搜尋或其他使用者的操作資訊)發布到不同的話題中心,這些訊息可實時處理,實時監測,也可載入到hadoop或離線處理資料倉儲。

每個使用者頁面檢視都會產生非常高的量。

kafka也常常用於監測資料。分布式應用程式生成的統計資料集中聚合。

使用kafka代替乙個日誌聚合的解決方案。

kafka訊息處理包含多個階段。其中原始輸入資料是從kafka主題消費的,然後彙總,豐富,或者以其他的方式處理轉化為新主題,例如,乙個推薦新聞文章,文章內容可能從「articles」主題獲取;然後進一步處理內容,得到乙個處理後的新內容,最後推薦給使用者。這種處理是基於單個主題的實時資料流。從0.10.0.0開始,輕量,但功能強大的流處理,就進行這樣的資料處理了。

除了kafka streams,還有apache storm和apache samza可選擇。

事件採集是一種應用程式的設計風格,其中狀態的變化根據時間的順序記錄下來,kafka支援這種非常大的儲存日誌資料的場景。

kafka可以作為一種分布式的外部提交日誌,日誌幫助節點之間複製資料,並作為失敗的節點來恢復資料重新同步,kafka的日誌壓縮功能很好的支援這種用法,這種用法類似於apacha bookkeeper專案。

kafka使用場景

kafka被當作傳統訊息中介軟體的替代品。訊息中介軟體的使用原因有多種 從資料生產者解耦處理,快取未處理的訊息等 與大多數訊息系統相比,kafka具有更好的吞吐量,內建的分割槽,多副本和容錯功能,這使其成為大規模訊息處理應用程式的良好解決方案。在我們的經驗中,訊息的使用通常是相對較低的吞吐量,但可能...

Kafka使用場景

下面是apache kafka的一些流行用例的描述。有關這些領域的一些概述,請參閱此部落格文章。kafka 很好地取代了乙個更傳統的訊息broker。訊息brokers 的使用基於各種原因 從資料生產者解耦 緩衝未處理的訊息等 與大多數訊息傳遞系統相比,kafka具有更好的吞吐量 內建分割槽 複製和...

Kafka的使用場景

spring cloud 實戰 乾貨 mybatis 實戰 乾貨 spring boot 實戰 乾貨 react 入門實戰 乾貨 構建中小型網際網路企業架構 乾貨 python 學習持續更新 elasticsearch 筆記 kafka storm 實戰 乾貨 監控一塊,日誌和 metrics等資料...