Python 轉化成 PB 格式資料

2021-10-24 11:35:27 字數 1979 閱讀 6726

一、概述

protocol buffers 是 google 公司開發的一種輕便高效的結構化資料儲存格式,可以用於結構化資料序列化,或者說序列化。它很適合做資料儲存或 rpc 資料交換格式。可用於通訊協議、資料儲存等領域的語言無關、平台無關、可擴充套件的序列化結構資料格式。

protocol buffers 簡稱為 protobuf 或 pb,下面是使用 python 解析 pb。

二、安裝

安裝:

$ .

/configure

$ make

$ sudo make install

驗證安裝:protoc --version,顯示當前版本:libprotoc x.x.x

安裝 python 的 protobuf 庫:pip install protobuf

三、使用

3.1 編譯 proto 檔案

protobuf 語義清晰,無需類似 xml 解析器的東西(因為 protobuf 編譯器會將 .proto 檔案編譯生成對應的資料訪問類以對 protobuf 資料進行序列化、反序列化操作)。

protoc -

-python_out=./

./檔名.proto

這時會在當前目錄生成乙個與檔名同名的目錄,該目錄下會有乙個 .py 檔案。這個檔案會用作模組、解析規則去解析 pb 的源資料。

3.2 解析 pb 的資料

from test_pb import test # 從剛才編譯出來的 py 檔案中 import 解析的類

message = test(

)with

open

('test.pb'

,'rb'

)as fb:

pb_content = fb.read(

)# 如果檔案很大,則要分批讀取

# pb_content 是二進位制的pb資料,如果是檔案,則需要用 open 方法讀取資料

message.parsefromstring(pd_content)

print message

3.3 寫入資料

'''

'''from test_pb import test # 從剛才編譯出來的 py 檔案中 import 解析的類

message = test(

)message.name =

'hello world'

# 賦值

with

open

('test.pb'

,'wb'

)as fb:

# 序列化,寫入檔案

fb.write(person.serializetostring(

))

3.4 probuf 轉 dict

當 probuf 的資料報含中文時,解析後對於閱讀十分不友好。同時如果想要把 probuf 物件轉化成 dict 進行後續操作的話。可以試試第三方庫:protobuf-to-dict,這個庫可以很方便的把 probuf 的資料轉化成 dict。示例**如下:

from protobuf_to_dict import protobuf_to_dict

my_message = mymessage(

)# pb_my_message is a protobuf string

my_message.parsefromstring(pb_my_message)

protobuf_to_dict(my_message)

# 輸出:

四、錯誤

google.protobuf.message.decodeerror: truncated message.:首先要保證 pb source 為二進位制的資料,否則會出現各種非預期錯誤

Python 轉化成 PB 格式資料

protocol buffers 是 google 公司開發的一種輕便高效的結構化資料儲存格式,可以用於結構化資料序列化,或者說序列化。它很適合做資料儲存或 rpc 資料交換格式。可用於通訊協議 資料儲存等領域的語言無關 平台無關 可擴充套件的序列化結構資料格式。protocol buffers 簡...

php陣列物件轉化成json格式

任務目標 將下列陣列物件,轉化成json格式 tdclass object id 9e929826 5c81 11e5 a788 00163e000c27 lawyername 郭俊亭 lawfirm 新疆德新律師事務所 region 喀什地區 licenseareas array 0 stdcla...

python中double轉化成float32

今天在處理python資料時,發現匯入的mat檔案型別是double matlab預設型別就是double 而我需要用到的資料是float32型別。查詢資料也沒有找到合適的解決辦法。後來自己嘗試著,恰好能做到轉換的目的。所以就寫下來,與君共勉,也希望能夠的到批評指正。首先我們得明白,float 單精...