pykafka寫字典到Kafka

2021-09-24 11:11:28 字數 900 閱讀 3214

最近做專案遇到將字典資料儲存到kafka,由於在python裡面只接收位元組資料,於是我將字典轉化為json串之後再進行二進位制編碼寫入kafka,如下所示:

from scrapy.utils.serialize import scrapyjsonencoder

from pykafka import kafkaclient

from novel.items import novelitem

def producer(client : kafkaclient):

item = novelitem()

item['author'] = "哈哈"

item['category'] = "武俠"

item['content'] = "啊啊啊啊啊啊啊啊啊啊"

item['bookname'] = "無敵"

res = dict(item)

res['spider'] = "sss"

encoder = scrapyjsonencoder()

msg = encoder.encode(res).encode()

producer = topic.get_producer()

producer.produce(msg)

def comsumer(client : kafkaclient):

print("..")

if __name__ == "__main__":

client = kafkaclient(hosts="192.168.177.11:9092,192.168.177.12:9092,192.168.177.13:9092")

topic = client.topics['test']

producer(client)

Python使用點操作符讀寫字典

利用類的 dict 屬性重新封裝字典,注意這裡 dict 只能讀取字典的第一層的鍵,多層巢狀字典需要使用遞迴進行構建,如todotdict函式 class dotdict dict def init self,args,kwargs dict init self,args,kwargs self.d...

python中字典append到list後值會改變

da dac da dct test 2print dac print da 輸出 22 改動的是dac,但是da也跟著改變。字典da 是乙個object python 為提高效能,優化記憶體,dac da並沒有真正的將該字典在記憶體中再次建立,只是指向了相同的object。如下 da l for ...

字典 trie 樹 從入門到入土

今天再來認識乙個強大的資料結構。字典樹又稱單詞查詢樹,trie樹,是一種樹形結構,是一種雜湊樹的變種。典型應用是用於統計,排序和儲存大量的字串 但不僅限於字串 所以經常被搜尋引擎系統用於文字詞頻統計。它的優點是 利用字串的公共字首來減少查詢時間,最大限度地減少無謂的字串比較,查詢效率比雜湊樹高。就像...