使用python操作kafka

使用python操作kafka目前比較常用的庫是kafka-python庫

pip3 install kafka-python

from kafka import kafkaproducer

producer = kafkaproducer(bootstrap_servers='192.168.0.121:9092') # 連線kafka
msg = "hello world".encode('utf-8') # 傳送內容,必須是bytes型別
producer.send('test', msg) # 傳送的topic為test
producer.close()

from kafka import kafkaconsumer

consumer = kafkaconsumer('test', bootstrap_servers=['192.168.0.121:9092'])
for msg in consumer:
recv = "%s:%d:%d: key=%s value=%s" % (msg.topic, msg.partition, msg.offset, msg.key, msg.value)
print(recv)

再次執行生產者，此時會輸出：

test:0:9: key=none value=b'hello world'

使用python連線kafka

kafka是高吞吐的訊息佇列系統，輕鬆支援每秒百萬級的寫入請求，這種特性也使得kafka在日誌處理等海量資料場景廣泛應用。kafka依賴於zookeeper執行，zookeeper充當了協調和管理kafka集群的任務，並且儲存一些meta資訊。此處，因作者能力有限，不詳細討論kafka與zookee...

Python操作Kafka爬坑

組內做大資料，需要kafka寫入資料，最近在看python正好，練練手，網上找了一圈，都是用的pykafka，經過一整圈的安裝，最終搞定，如下 coding u8 import sys import time import random import datetime import mysqldb ...

python使用kafka收發訊息

kafka是最近幾年很流行的訊息佇列中介軟體。在大資料以及後端服務領域有很廣泛的應用。廢話不多說，接下來直接上 介紹python如何向kafka傳送資料以及訂閱資料。kafka的訊息是 發布 訂閱 模式的。接下來先介紹向kakfa發布訊息。先安裝python的kafka連線模組。pip instal...