kafaka應用場景

2021-09-25 16:15:40 字數 915 閱讀 4562

kafka更好的替換傳統的訊息系統,訊息系統被用於各種場景(解耦資料生產者,快取未處理的訊息,等),與大多數訊息系統比較,kafka有更好的吞吐量,內建分割槽,副本和故障轉移,這有利於處理大規模的訊息。

根據我們的經驗,訊息往往用於較低的吞吐量,但需要低的端到端延遲,並需要提供強大的耐用性的保證。

在這一領域的kafka比得上傳統的訊息系統,如的activemqrabbitmq的。

每個使用者頁面檢視都會產生非常高的量。

kafka也常常用於監測資料。分布式應用程式生成的統計資料集中聚合。

許多人使用kafka作為日誌聚合解決方案的替代品。日誌聚合通常從伺服器中收集物理日誌檔案,並將它們放在**位置(可能是檔案伺服器或hdfs)進行處理。kafka抽象出檔案的細節,並將日誌或事件資料更清晰地抽象為訊息流。這允許更低延遲的處理並更容易支援多個資料來源和分布式資料消費。

kafka中訊息處理一般包含多個階段。其中原始輸入資料是從kafka主題消費的,然後彙總,豐富,或者以其他的方式處理轉化為新主題,例如,乙個推薦新聞文章,文章內容可能從「articles」主題獲取;然後進一步處理內容,得到乙個處理後的新內容,最後推薦給使用者。這種處理是基於單個主題的實時資料流。從0.10.0.0開始,輕量,但功能強大的流處理,就可以這樣進行資料處理了。

除了kafka streams,還有apache storm和apache samza可選擇。

事件採集是一種應用程式的設計風格,其中狀態的變化根據時間的順序記錄下來,kafka支援這種非常大的儲存日誌資料的場景。

kafka可以作為一種分布式的外部日誌,可幫助節點之間複製資料,並作為失敗的節點來恢復資料重新同步,kafka的日誌壓縮功能很好的支援這種用法,這種用法類似於apacha bookkeeper專案。

Redis應用場景

redis開創了一種新的資料儲存思路,使用redis,我們不用在面對功能單調的資料庫時,把精力放在如何把大象放進冰箱這樣的問題上,而是利用redis靈活多變的資料結構和資料操作,為不同的大象構建不同的冰箱。redis常用資料型別 redis最為常用的資料型別主要有以下五種 在具體描述這幾種資料型別之...

Redis應用場景

redis開創了一種新的資料儲存思路,使用redis,我們不用在面對功能單調的資料庫時,把精力放在如何把大象放進冰箱這樣的問題上,而是利用redis靈活多變的資料結構和資料操作,為不同的大象構建不同的冰箱。redis常用資料型別 redis最為常用的資料型別主要有以下五種 在具體描述這幾種資料型別之...

Redis應用場景

閱讀 31,232 次 毫無疑問,redis 開創了一種新的資料儲存思路,使用redis,我們不用在面對功能單調的資料庫時,把精力放在如何把大象放進冰箱這樣的問題上,而是利用redis靈活多變的資料結構和資料操作,為不同的大象構建不同的冰箱。希望你喜歡這個比喻。下面是一篇新鮮出爐的文章,其作者是re...