kafka 學習整理

2021-08-16 07:01:20 字數 1765 閱讀 7011

一、什麼是吞吐量:

吞吐量是指對網路、裝置、埠、虛電路或其他設施,單位時間內成功地傳送

資料的數量

二、什麼是kafka:

kafka是一種高吞吐量的分布式發布訂閱訊息系統,可以處理消費者規模的**中的所有動作流資料。

簡單大白話理解:舉個例子,生產者生產雞蛋,消費者消費雞蛋,

生產者生產乙個雞蛋,消費者就消費乙個雞蛋

幾種情況分析:

1、消費者消費雞蛋的時候噎住了(系統宕機了),生產者還在生產雞蛋,那新生產的雞蛋就丟失了。

2、生產者很強勁(大交易量的情況),生產者1秒鐘生產100個雞蛋,消費者1秒鐘只能吃50個雞蛋,那要不了一會,消費者就吃不消了(訊息堵塞,最   終導致系統超時),消費者拒絕再吃了,」雞蛋「又丟失了

解決辦法:

這個時候我們放個籃子在它們中間,生產出來的雞蛋都放到籃子裡,消費者去籃子裡拿雞蛋,這樣雞蛋就不會丟失了,都在籃子裡,而這個籃子就是」kafka「。各位現在知道kafka是幹什麼的了吧,它就是那個"籃子"。 

補充說明:

雞蛋其實就是「資料流」,系統之間的互動都是通過「資料流」來傳輸的(就是tcp、http什麼的),也稱為報文,也叫「訊息」。

訊息佇列滿了,其實就是籃子滿了,」雞蛋「 放不下了,那趕緊多放幾個籃子,其實就是kafka的擴容。 

三、kafka基礎名詞:

後面大家會看到一些關於kafka的名詞,比如topic、producer、consumer、broker,我這邊來簡單說明一下。

四、kafka常用命令:

建立kafka topic

bin/kafka-topics.sh --zookeeper localhost:8080 --create --topic test --replication-fctor 1 --partition 

檢視topic所有列表

bin/kafka-topics.sh --zookeeper localhost:8080 --list

檢視指定topic資訊

bin/kafka-topics.sh --zookeeper localhost:8080 --describe --topic test

控制台向topic生產資料

bin/kafka-console-produce --broker-list localhost:8080 --topic test

控制台消費topic資料

bin/kafka-console-consume --zookeeper localhost:8080 --topic test --from-beginning

建立乙個kafka topic

bin/kafka-topics.sh --zookeeper localhost:8080 --create --topic test --replication-factor 1 --partitions 1

注:partitions指定topic分割槽數,replication-factor指定topic每個分割槽的副本數

replication-factor副本

Kafka學習整理五 Consumer配置

property default description group.id 用來唯一標識consumer程序所在組的字串,如果設定同樣的group id,表示這些processes都是屬於同乙個consumer group zookeeper.connect 指定zookeeper的連線的字串,格式...

Kafka學習整理一 基礎概念

kafka中包含以下基礎概念 1.topic 話題 kafka中用於區分不同類別資訊的類別名稱。由producer指定 2.producer 生產者 將訊息發布到kafka特定的topic的物件 過程 3.consumers 消費者 訂閱並處理特定的topic中的訊息的物件 過程 4.broker ...

Kafka 命令整理

建立主題 4個分割槽,2個副本 bin kafka topics.sh create zookeeper localhost 2181 replication factor 2 partitions 4 topic test 查詢集群描述 bin kafka topics.sh describe z...