kafka筆記 精簡容懂

2021-07-15 12:08:52 字數 1514 閱讀 5166

kafka筆記

1/kafka是乙個分布式的訊息快取系統

2/kafka集群中的伺服器都叫做broker

3/kafka有兩類客戶端,一類叫producer(訊息生產者),一類叫做consumer(訊息消費者),客戶端和broker伺服器之間採用tcp協議連線

4/kafka中不同業務系統的訊息可以通過topic進行區分,而且每乙個訊息topic都會被分割槽,以分擔訊息讀寫的負載

5/每乙個分割槽都可以有多個副本,以防止資料的丟失

6/某乙個分割槽中的資料如果需要更新,都必須通過該分割槽所有副本中的leader來更新

7/消費者可以分組,比如有兩個消費者組a和b,共同消費乙個topic:order_info,a和b所消費的訊息不會重複

比如 order_info 中有100個訊息,每個訊息有乙個id,編號從0-99,那麼,如果a組消費0-49號,b組就消費50-99號

8/消費者在具體消費某個topic中的訊息時,可以指定起始偏移量

集群安裝

1、解壓

2、修改server.properties

broker.id=1

zookeeper.connect=weekend05:2181,weekend06:2181,weekend07:2181

3、將zookeeper集群啟動

4、在每一台節點上啟動broker

bin/kafka-server-start.sh config/server.properties
5、在kafka集群中建立乙個topic

bin/kafka

-topics.sh

--create--

zookeeper

weekend05:2181--

replication

-factor3-

-partitions1-

-topic

order

6、用乙個producer向某乙個topic中寫入訊息

bin/kafka-console

-producer

.sh --broker-list weekend:9092

--topic order

7、用乙個comsumer從某乙個topic中讀取資訊

bin/kafka-console

-consumer

.sh --zookeeper weekend05:2181

--from-beginning

--topic order

8、檢視乙個topic的分割槽及副本狀態資訊

bin/kafka

-topics.sh

--describe--

zookeeper

weekend05:2181--

topic

order

Python精簡學習筆記 一

輸出函式 print this is a string test s 哈哈哈哈 輸入函式 s input 請輸入.陣列 sz 1,2,3,a b 元組 yz 1,2,3,aaa bbb 元組只相當於唯讀序列,陣列可以改變。sz 1 1111 accept yz 1 1111 error 字典 是鍵值...

Python筆記3 精簡語法

1.coding style python則通過 縮進來組織,推薦4個空格或tab python結尾不使用任何符號 用於單行注釋,或 三個雙引號或單引號 用於多行注釋 python作為一種指令碼語言,按照 的書寫順序執行,沒有main之類的入口函式 2.變數 python中變數無需定義,但需要初始化...

Linux 常用服務搭建筆記 精簡筆記

部署dns實現解析 部署dns主從同步 部署dns快取服務 部署dns加密同步 部署dns分離解析 部署dns負載均衡 配置dhcp自動分配ip 配置dhcp分配固定ip 配置dhcp超級作用域 配置dhcp中繼伺服器 配置匿名ftp伺服器 配置本地使用者ftp伺服器 配置匿名與本地混合ftp 配置...