Kafka入門 4 kafka基準測試

2021-10-09 11:56:05 字數 619 閱讀 8918

基準測試(benchmark testing)是一種測量和評估軟體效能指標的活動。我們可以通過基準測試,了解到軟體、硬體的效能水平。主要測試負載的執行時間、傳輸速度、吞吐量、資源佔用率等。

測試步驟:

啟動kafka集群

建立乙個1個分割槽1個副本的topic: benchmark

同時執行生產者、消費者基準測試程式

觀察結果

bin/kafka-topics.sh --zookeeper node1:2181 --create --topic benchmark --partitions 1 --replication-factor 1
在生產環境中,推薦使用生產5000w訊息,這樣會效能資料會更準確些。為了方便測試,課程上演示測試500w的訊息作為基準測試。

bin/kafka-producer-perf-test.sh --topic benchmark --num-records 5000000 --throughput -1 --record-size 1000 --producer-props bootstrap.servers=node1:9092,node2:9092,node3:9092 acks=1

kafka學習筆記4 kafka消費者

消費者和消費者群組 kafka消費者分為消費者群組和消費者。每乙個kafka消費者都隸屬於乙個kafka消費者群組。每個消費者群組可以對應乙個或多個topic,每個topic內的分割槽只能對應消費者群組內的乙個消費者,當消費者比topic中的分割槽數多時,多餘的消費者不會接收topic中的資訊。這種...

4 Kafka命令列操作

1 檢視當前伺服器中的所有topic test ip101 kafka bin kafka topics.sh zookeeper ip101 2181 list 2 建立topic test ip101 kafka bin kafka topics.sh zookeeper ip101 2181 ...

4 Kafka集群啟動 關閉指令碼

說明 本指令碼基於ssh伺服器免密登入,如集群未配置ssh,參照 ssh安裝配置 bin bash brokers server1 server2 server3 kafka home usr local services kafka kafka 2.11 2.3.0 kafka name kafk...