訊息系統 Kafka

2021-10-23 01:43:19 字數 980 閱讀 2445

kafka學習了資料庫裡面的設計,在裡面設計了topic(主題),這個東西類似於關係型資料庫的表

此時我需要獲取中國移動的資料,那就直接監聽topica即可。

topic和partition像是hbase裡的table和region的概念,table只是乙個邏輯上的概念,真正儲存資料的是region,這些region會分布式地儲存在各個伺服器上面,對應於kafka,也是一樣,topic也是邏輯概念,而partition就是分布式儲存單元。

分割槽可以使大檔案可以分散儲存在不同的伺服器上。

kafka是乙個訊息系統,用作linkedin的活動流(activity stream)和運營資料處理管道(pipeline)的基礎。活動流資料是幾乎所有站點在對其**使用情況做報表時都要用到的資料中最常規的部分。活動資料報括頁面訪問量(page view)、被檢視內容方面的資訊以及搜尋情況等內容。這種資料通常的處理方式是先把各種活動以日誌的形式寫入某種檔案,然後周期性地對這些檔案進行統計分析。運營資料指的3是伺服器的效能資料(cpu、io使用率、請求時間、服務日誌等等資料)。運營資料的統計方法種類繁多。

一、語言不同

rabbitmq是由內在高併發的erlanng語言開發,用在實時的對可靠性要求比較高的訊息傳遞上。

kafka是採用scala語言開發,它主要用於處理活躍的流式資料,大資料量的資料處理上。如:使用者行為統計。

二、結構不同

三、brokerr與consume互動方式不同

五、使用場景

rabbitmq支援對訊息的可靠的傳遞,支援事務,不支援批量的操作;基於儲存的可靠性的要求儲存可以採用記憶體或者硬碟。

金融場景中經常使用kafka具有高的吞吐量,內部採用訊息的批量處理,zero-copy機制,資料的儲存和獲取是本地磁碟順序批量操作,具有o(1)的複雜度(與分割槽上的儲存大小無關),訊息處理的效率很高。(大資料)

kafka訊息系統

kafka 1.kafka是一種分布式 基於發布 訂閱的訊息系統。2.常用mq mesage queue 訊息佇列 rabbitmq activemq 這個青奧用過哦 kafka 3.producer 負責發布訊息到kafkabroker kafka伺服器 broker 訊息伺服器topic 伺服器...

訊息系統Kafka介紹

1 概述 kafka是linkedin於2010年12月份開源的訊息系統,它主要用於處理活躍的流式資料。活躍的流式資料在web 應用中非常常見,這些資料報括 的pv 使用者訪問了什麼內容,搜尋了什麼內容等。這些資料通常以日誌的形式記錄下來,然後每隔一段時間進行一次統計處理。2 設計目標 1 資料在磁...

訊息系統Kafka介紹

1 概述 kafka是linkedin於2010年12月份開源的訊息系統,它主要用於處理活躍的流式資料。活躍的流式資料在web 應用中非常常見,這些資料報括 的pv 使用者訪問了什麼內容,搜尋了什麼內容等。這些資料通常以日誌的形式記錄下來,然後每隔一段時間進行一次統計處理。2 設計目標 1 資料在磁...