kafaka學習筆記

2022-06-18 08:57:11 字數 1381 閱讀 6119

問題:兩個模組a、b .a生產訊息,b消費訊息,當a的速度 大於b的速度,a模組產生的資料的阻塞,有剩餘,對資料得處理有一定的影響。

解決方案:新加模組c   。a發資料c,c將資料發給b。

速度定義:分布式的訊息訂閱系統。優點:高可擴充套件,高容錯,分布式。

缺點:複雜,訊息錯亂,重複訊息。

分布式,可分割槽,可複製的

使用地方:訊息系統,日誌收集系統。實時的,可以做元資料的監控,

任何脫離業務的框架都是耍流氓多了乙個元件,複雜,

訊息的路路徑長,時間長,

可靠性重複性矛盾,

上游無法知道下游的執行結果,這一點是致命的。  登陸頁面,不可以用該功能。呼叫實時的依賴執行結果的場景,最好使用呼叫而不用mq.

使用的場景,資料驅動的任務依賴。上游不關心下游的執行結果。

使用mq最好的解決的方案是實現上下級的解耦。

不適合的場景,上游實時關注下游的執行結果。

他的**:kafka.apache.org /082/docomentaton.html  kafaka當前最好使用0.8

kakaf基本術語

message :訊息 :offset,key,value,timestamp

broker:**:物理儲在的乙個程序。一台伺服器,可以部署多個,一般乙個。

topic : 他是乙個主題,是乙個訊息型別,是乙個訊息型別。

partation:乙個topic包含多個分割槽,produce傳送資料到topic的資料根據key的不同傳送到不同的partition,分割槽特點:1.kafaka時間排序,2 資料不可變動

producter:生產者,在傳送訊息之前會對訊息分配,及topic,

consumer:消費者

consumergroup:消費者組

kafka  1.0.1可以作為訊息系統,還可以作為流式資料的處理和儲存平台。支援流式的處理。可以儲存資料。可以將kafka持久到外部,從外部都進來,zhici在已有的基礎上新增了兩個功能:streams、流式的處理

connector、可以將資料持久化,

kafaka索引機制

偏移量索引檔案 偏移量到物理位置的乙個對映關係 時間戳索引檔案 根據乙個時間戳查詢偏移量資訊 kafka 中的索引檔案以稀疏索引 sparse index 的方式構造訊息的索引,它並不保證每個訊息在索引檔案中都有對應的索引項 由於kafaka都是順序寫的,所以可以找到目標訊息的最近的索引,然後再去二...

訊息系統 kafaka

broker kafka集群包含乙個或多個伺服器,這種伺服器被稱為broker producer 訊息生產者,負責發布訊息到kafka broker consumer 訊息消費者,向kafka broker讀取訊息的客戶端 每個partition會建立3個備份replica,並分配到broker集群...

Kafaka基本概念

一 kafka簡介 1 訊息系統 2 jms 3 在生產者和消耗者之間無縫整合 4 開源分布式發布訂閱訊息系統 二 kafka特徵 1 持久化儲存訊息 2 高吞吐量,百萬 秒 3 分布式 4 多客戶端支援 5 實時性,生產者生產的訊息被消費者立即可見 三 架構圖 四 關於broker 1 kafka...