Kafka基礎 訊息佇列與消費模式

2021-10-08 22:38:58 字數 836 閱讀 2814

在資訊系統傳輸資訊中,不可能依靠某一效能來決定先後順序,應該統一按照先來後到排隊。

kafka 是乙個分布式的基於發布/訂閱模式的訊息佇列(message queue),主要應用於

大資料實時處理領域。

在傳統訊息佇列中分為兩種,一種是同步訊息佇列,即讓使用者等待流程完成:

一種叫非同步訊息佇列,即你的請求我收到了,我先給你弄著,你先去忙其他的事情吧:

訊息佇列最大的優點有兩個:解耦與削峰。同時還有很多其他優點:

訊息佇列中服務端(消費者)獲取佇列中客戶端(生產者)傳送的資訊的行為被稱為消費。

消費模式主要分為兩種:

點對點模式

佇列中的一條訊息由乙個專門的消費者進行消費,消費者受到這條訊息並確認後,佇列就會刪除這條訊息,防止重複訪問。

發布/訂閱模式

生產者將資料推送入佇列,同一條訊息會被所有消費者消費,而消費有兩種情況:

kafka選擇的是消費者拉取訊息,這樣可以保證消費者處理自己可以處理的訊息量。

訊息佇列與Kafka

2019 04 09 本篇文章系本人就當前所掌握的知識關於 訊息佇列 與 kafka 知識點的一些簡要介紹,不保證文章所述內容的絕對 完全正確性。筆者這裡所提到的 訊息系統 可不是那些社交 上用於站內交流的訊息系統。在網際網路中,但凡涉及到訊息傳遞的過程,都可以稱之為是乙個訊息系統,規模或大或小而已...

訊息佇列 訊息佇列 kafka

kafka是乙個分布式的基於發布 訂閱模式的訊息佇列,主要用於大資料實時處理領域。要理解kafka首先要有分布式的概念,要有訊息佇列的概念。分布式系統最大的優勢就是解耦和削峰,這種情況下,a系統生成了乙個訊息,b系統非同步獲取,那麼就需要乙個存放訊息的訊息佇列 mq 相比較傳統的訊息佇列,訊息被消費...

clickhouse消費kafka訊息

目錄 整體思路 知識點實施過程 一 kafka console consumer.sh 檢視topic訊息結構 二 clickhouse建立kafka引擎表 三 clickhouse建立merge引擎表 與roomchangedinfo kafka對應結構 四 建立物化檢視 這裡物化檢視起觸發器作用...