kafka快速入門（官網）

2021-10-08 02:07:28 字數 2702 閱讀 6297

tar xvf kafka_2.12-2.5.0.tgz
2.啟動

確保先啟動zookeeper

/export/servers/zookeeper-3.4.5-cdh5.14.0/bin/zkserver.sh start
啟動kafka server

bin/kafka-server-start.sh config/server.properties
3.建立乙個topic
bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
檢視建立的topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092
4.傳送訊息

啟動生產者

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test
5.啟動消費者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
6.設定集群（偽分布式）
cp config/server.properties config/server-1.properties


cp config/server.properties config/server-2.properties
vi config/server-1.properties
broker.id=1


listeners=plaintext://:9093


log.dirs=/tmp/kafka-logs-1
vi config/server-1.properties
broker.id=2


listeners=plaintext://:9094


log.dirs=/tmp/kafka-logs-2
啟動集群

bin/kafka-server-start.sh config/server-1.properties &


bin/kafka-server-start.sh config/server-2.properties &
建立乙個包含三個副本的topic

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic
檢視集群topic狀態

bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic
發布資訊

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic my-replicated-topic
測試容錯系統

殺死leader程序

ps aux | grep server-1.properties
再次檢視topic執行狀態

bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic
再次消費之前的訊息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
7.使用kafka conection匯入匯出資料

準備資料

echo -e "foo\nbar" > test.txt
啟動兩個聯結器

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
檢視資料

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
繼續新增資料

echo another line>> test.txt
使用kafka stream處理資料

kafka官網譯文

專案中對kafka有所使用，但一直都是根據公司內部wiki提供的demo來寫的，對kafka有一定了解，但是可能不夠系統，全面 於是最近找時間瀏覽了一下官網對kafka的介紹，翻譯如下 kafka是乙個具備很強容錯能力和實時處理能力的分布式流資料平台。kafka可在以下場景中應用 基於流資料的發布訂...

官網指令碼快速安裝rabbitmq

最近有安裝一次rabbitmq公升級到3.8.5版本，這個安裝真的是省事簡單 直接用官方指令碼執行即可 啟動管理平台 sudo rabbitmq plugins enable rabbitmq management 啟停命令 sudo rabbitmq server start sudo rabbi...

如何快速搭建官網，官網定製應該注意些什麼？

阿里雲建站，企業官網定製，模板多價，格便宜，安全可靠。搭建 的費用包括網域名稱購買 伺服器空間 設計及開發費組成，除了設計及開發費是一次性收取之外，網域名稱和空間費是按年支付的，總費用在1000 100萬人民幣之間，跨度非常大。因為 不透明，你對建站行業又不了解，很可能會被坑。所以，請仔細看下面的內...