python中的encode和decode研究心得

2021-06-28 01:17:06 字數 441 閱讀 6194

最近在做nlp相關東西,需要從資料庫和文字等多個源讀取文字資料(中文),這就涉及到了文字編碼的轉換,小菜初次碰到這個問題,所以研究了一下,記錄下來。

decode的作用是將其他編碼的字串轉換成unicode編碼,如str1.decode('gb2312'),表示將gb2312編碼的字串str1轉換成unicode編碼。 

encode的作用是將unicode編碼轉換成其他編碼的字串,如str2.encode('gb2312'),表示將unicode編碼的字串str2轉換成gb2312編碼。

從停用詞檔案中讀中文詞,並且跟jieba分詞list做比較,需要對單詞decode('utf-8')

從資料庫中讀中文並且跟中文比較需要對中文encode('utf-8')

python中decode和encode的使用

python中的編碼是採用unicode編碼的,在做編譯轉換時,需要使用unicode作為中間編碼 情況一 編碼一 unicode編碼 將其他編碼的字串解碼 decode成unicode a.decode gb2312 或者 unicode.unicode a,gb2312 情況二 unicode編...

python中decode和encode的區別

coding utf 8 import sys 首先要搞清楚,字串在python內部的表示是unicode編碼,因此,在做編碼轉換時,通常需要以unicode作為中間編碼,即先將其他編碼的字串解碼 decode 成unicode,再從unicode編碼 encode 成另一種編碼。decode的作用...

python中decode和encode的區別

import sys 字串在python內部的表示是unicode編碼,因此,在做編碼轉換時,通常需要以unicode作為中間編碼,即先將其他編碼的字串解碼 decode 成unicode,再從unicode編碼 encode 成另一種編碼。decode的作用是將其他編碼的字串轉換成unicode編...