kafka的基本介紹

2021-10-04 01:19:05 字數 1382 閱讀 8537

企業中離線業務場景實時業務場景都需要使用到kafka

kafka具備資料的計算能力和儲存能力,但是兩個能力相對(mr/spark,hdfs)較弱.

kafka角色的角色與hbase比較像,層級關係比較多。

訊息:應用之間傳送的資料,或點與點之間,點與多點之間傳遞的資料,傳遞的資訊。

訊息佇列:是一種應用間的通訊方式以佇列的形式傳遞。

訊息佇列的應用場景

應用解耦合:多應用間通過訊息佇列對同一訊息進行處理

非同步處理:多應用對訊息佇列中同一訊息進行處理

限流削峰:用於秒殺或搶購活動中,避免流量過大導致應用系統掛掉的情況;

訊息驅動的系統:有前面訊息傳遞到後,後面的才會觸發動作。

在學習mr時做的遊戲,後面的同學在沒有接收到前面同學的資訊之前是不允許操作的,這個就是訊息系統。

訊息系統的方式

1、點對點的方式

訊息佇列

傳送者 (生產者):生產資料的程式/人/物件

接收者(消費者):處理佇列內的資料的程式/人/物件

每個訊息只有乙個接收者,傳送者和接收者間沒有依賴性,接收者在成功接收訊息之後需向佇列應答成功。

2、發布-訂閱的方式

角色主題(topic):訊息得分類,分組(王者榮耀,qq飛車)

發布者(publisher):生產者

訂閱者(subscriber):消費者

每個訊息可以有多個訂閱者,發布者和訂閱者之間有時間上的依賴性,訂閱者需要提前訂閱該角色主題。

kafka:是乙個分布式的(可以多節點),分割槽的,多副本的,多訂閱者的訊息發布訂閱系統。

kafka對訊息分類使用topic

生產者:producer

消費者:consumer

伺服器:broker

Kafka 基本介紹

源自小夥伴的分享,我本身也不會使用這個東西,但是通過她的介紹,對kafka有乙個簡單的了解,基於此做乙個整理。1.什麼是kafka?kafka是乙個分布式 分割槽的 多副本的 多訂閱者,基於zookeeper協調的分布式日誌系統 也可以當做mq系統 常見可以用於web nginx日誌 訪問日誌,訊息...

Kafka基本概念介紹

kafka官方介紹 kafka是乙個分布式的流處理平台 0.10.x版本 在kafka0.8.x版本的時候,kafka主要是作為乙個分布式的 可分割槽的 具有副本數的日誌服務系統 kafka is adistributed,partitioned,replicatedcommit log servi...

(01)kafka以及訊息系統的基本介紹

1 kafka簡介 apache kafka是分布式發布 訂閱訊息系統。它最初由linkedin公司開發,用作linkedin的活動流 activity stream 和運營資料處理管道 pipeline 的基礎。之後貢獻給apache 會成為apache的乙個頂級專案。kafka是一種快速 可擴充...