kafka訊息系統

2022-09-16 12:15:08 字數 564 閱讀 8050

kafka

1.kafka是一種分布式 基於發布/訂閱的訊息系統。

2.常用mq;mesage queue 訊息佇列

rabbitmq    activemq(這個青奧用過哦)     kafka

3.producer:負責發布訊息到kafkabroker(kafka伺服器)

broker: 訊息伺服器topic:伺服器上的訊息類別partition:topic的子元素

consumer:從kafka broker讀取訊息的客戶端

4.訊息系統:負責將資料從乙個應用傳遞到另乙個應用,應用只需關心資料,無需關心資料在多個應用之間是如何傳輸的。

分布式訊息傳遞:基於可靠的訊息佇列

訊息傳遞模式:點對點模式發布-訂閱模式1對多嗎? or多對多?

訊息系統 Kafka

kafka學習了資料庫裡面的設計,在裡面設計了topic 主題 這個東西類似於關係型資料庫的表 此時我需要獲取中國移動的資料,那就直接監聽topica即可。topic和partition像是hbase裡的table和region的概念,table只是乙個邏輯上的概念,真正儲存資料的是region,這...

訊息系統Kafka介紹

1 概述 kafka是linkedin於2010年12月份開源的訊息系統,它主要用於處理活躍的流式資料。活躍的流式資料在web 應用中非常常見,這些資料報括 的pv 使用者訪問了什麼內容,搜尋了什麼內容等。這些資料通常以日誌的形式記錄下來,然後每隔一段時間進行一次統計處理。2 設計目標 1 資料在磁...

訊息系統Kafka介紹

1 概述 kafka是linkedin於2010年12月份開源的訊息系統,它主要用於處理活躍的流式資料。活躍的流式資料在web 應用中非常常見,這些資料報括 的pv 使用者訪問了什麼內容,搜尋了什麼內容等。這些資料通常以日誌的形式記錄下來,然後每隔一段時間進行一次統計處理。2 設計目標 1 資料在磁...