KafKa的介紹以及使用場景 KafKa

2021-09-20 08:32:23 字數 721 閱讀 8925

topic(主題):在kafka中每一條訊息都所屬乙個topic下,topic之間是完全物理隔離的

partitine(分割槽):乙個topic下面可以擁有乙個到多個partitine,partitine也是物理層面的隔離

peoduker(生產者):向kafka的topic發布訊息

consumer(消費者):向topic註冊,並且接收發布到這些topic的訊息

kafka集群有良好的容災機制,比如有n臺伺服器,可以承受n-1臺伺服器故障是保證提交的訊息不會丟失

kafka會更具topic以及partition來進行訊息在本地的物理劃分

kafka依賴zookeeper實現了offset,你不用關心到你獲取了那些訊息kafka會知道並且在你下次獲取時接著給你

你可以獲取任意乙個offset的記錄

訊息可以在kafka內儲存很長的時間也可以很短,kafka基於檔案系統能儲存訊息的容量取決於硬碟空間

kafka的效能不會受到訊息的數量影響

穩定性強佇列在使用中最怕丟失資料,kafka能做到理論上的寫成功不丟失

分布式容災好

容量大相對於記憶體佇列,kafka的容量受硬碟影響

資料量不會影響到kafka的速度

kafka可以對訊息進行分組分片,並且通過offset可以做到獲取中間莫一條訊息(通過演算法很容易的到莫個時段的日誌)

kafka非常容易做到實時日誌查詢,可以從日誌尾部獲取需要顯示給使用者查詢的資料即可

kafka使用場景

kafka被當作傳統訊息中介軟體的替代品。訊息中介軟體的使用原因有多種 從資料生產者解耦處理,快取未處理的訊息等 與大多數訊息系統相比,kafka具有更好的吞吐量,內建的分割槽,多副本和容錯功能,這使其成為大規模訊息處理應用程式的良好解決方案。在我們的經驗中,訊息的使用通常是相對較低的吞吐量,但可能...

Kafka使用場景

下面是apache kafka的一些流行用例的描述。有關這些領域的一些概述,請參閱此部落格文章。kafka 很好地取代了乙個更傳統的訊息broker。訊息brokers 的使用基於各種原因 從資料生產者解耦 緩衝未處理的訊息等 與大多數訊息傳遞系統相比,kafka具有更好的吞吐量 內建分割槽 複製和...

Kafka的使用場景

spring cloud 實戰 乾貨 mybatis 實戰 乾貨 spring boot 實戰 乾貨 react 入門實戰 乾貨 構建中小型網際網路企業架構 乾貨 python 學習持續更新 elasticsearch 筆記 kafka storm 實戰 乾貨 監控一塊,日誌和 metrics等資料...