Kafka學習與實戰

2021-10-21 20:20:07 字數 1457 閱讀 7686

1,阻塞佇列

kafka是乙個分布式的流**平台

應用:訊息系統、日誌收集、使用者行為追蹤、流式處理。

kafka特點:高吞吐量、訊息持久化、高可靠性、高擴充套件性。

3.kafka入門安裝啟動

我使用的kafka版本為2.12-2.30

啟動及入門請檢視部落格:kafka入門

springboot整合配置:pom引入,

#kafka配置

spring.kafka.bootstrap-servers=localhost:9092

spring.kafka.consumer.group-id=community-consumer-group

spring.kafka.consumer.enable-auto-commit=true

spring.kafka.consumer.auto-commit-interval=3000

4.kafka應用具體應用於傳送系統通知

觸發事件:

點讚後,發布通知

關注後,發布通知

處理事件

封裝事件物件

開發事件的生產者

開發事件的消費者

以事件為主體進行封裝,事件驅動。

首先建立乙個訊息實體,定義kafka從生產者到消費者的傳輸資料格式

public class event {

private string topic;//主題名稱

private int userid;//使用者id

private int entityid;//實體id

private mapdata = new hashmap<>();//用來儲存額外資料,提公升應用的擴充套件效能

建立生產者類:

將實體類轉成json格式傳輸

建立消費者類:

通過kafkalistener註解監聽topic

業務**很簡單,將event實體的資料儲存到訊息表。

當點贊狀態是已點讚時,將資料封裝好通過生產者傳送,消費者會按照上面的格式封裝好儲存在message表中,

後續在系統訊息展示介面從message表中獲取相應資料就大功告成了。

kafka學習 Kafka核心技術與實戰學習筆記

session.timout.ms決定了consumer存活性的時間間隔 heartbeat.interval.ms決定存活心跳傳送間隔。max.poll.interval.ms 它限定了consumer端應 程式兩次調 poll 法的最 時間間隔。消費者例項在kafkaconsumer.poll建...

kafka入門實戰

kafka和其他的mq的最大的區別就是構建實時資料管道和stream資料流,和可以分布式,好容錯性的儲存訊息 1.安裝jdk,略 3.解壓 tar xzf kafka 2.11 2.1.0.tgz cd kafka 2.11 2.1.0 4.啟動zookeeper 因為kafka的啟動依賴於zook...

Kafka實戰 入門

經過乙個多月的時間觀察,業務上在整合kafka後,各方面還算穩定,這裡打算抽時間給大家分享一下kafka在實際場景中的一些使用心得。本篇部落格打算先給大家入個門,讓大家對kafka有個初步的了解,知道kafka是做什麼的,下面是本篇部落格的目錄內容 下面開始今天的部落格分享內容。kafka它本質上是...