對Python unicode編碼的說明

2021-09-19 15:31:24 字數 2199 閱讀 4726

字串在python內部的表示是unicode編碼,因此,在做編碼轉換時,通常需要以unicode作為中間編碼,即先將其他編碼的字串解碼(decode)成unicode,再從unicode編碼(encode)成另一種編碼。

decode的作用是將其他編碼的字串轉換成unicode編碼,如str1.decode('gb2312'),表示將gb2312編碼的字串str1轉換成unicode編碼。

encode的作用是將unicode編碼轉換成其他編碼的字串,如str2.encode('gb2312'),表示將unicode編碼的字串str2轉換成gb2312編碼。

因此,轉碼的時候一定要先搞明白,字串str是什麼編碼,然後decode成unicode,然後再encode成其他編碼

**中字串的預設編碼與**檔案本身的編碼一致。

如:s='中文'

如果是在utf8的檔案中,該字串就是utf8編碼,如果是在gb2312的檔案中,則其編碼為gb2312。

這種情況下,要進行編碼轉換,都需 要先用decode方法將其轉換成unicode編碼,再使用encode方法將其轉換成其他編碼。通常,在沒有指定特定的編碼方式時,都是使用的系統默 認編碼建立的**檔案。

如果字串是這樣定義:s=u'中文'

則該字串的編碼就被指定為unicode了,即python的內部編碼,而與**檔案本身的編碼無關。因此,對於這種情況做編碼轉換,只需要直接使用encode方法將其轉換成指定編碼即可。

如果乙個字串已經是unicode了,再進行解碼則將出錯,因此通常要對其編碼方式是否為unicode進行判斷:

isinstance(s, unicode) #用來判斷是否為unicode

用非unicode編碼形式的str來encode會報錯

如何獲得系統的預設編碼?

#!/usr/bin/env python

#coding=utf-8

import sys

print sys.getdefaultencoding()

該段程式在英文windowsxp上輸出為:ascii

在某些ide中,字串的輸出總是出現亂碼,甚至錯誤,其實是由於ide的結果輸出控制台自身不能顯示字串的編碼,而不是程式本身的問題。

如在ulipad中執行如下**:

s=u"中文"

print s

將最後一句改為:print s.encode('gb2312')

則能正確輸出「中文」兩個字。

若最後一句改為:print s.encode('utf8')

則輸出:\xe4\xb8\xad\xe6\x96\x87,這是控制台資訊輸出視窗按照ascii編碼輸出utf8編碼的字串的結果。

unicode(str,'gb2312')與str.decode('gb2312')是一樣的,都是將gb2312編碼的str轉為unicode編碼

使用str.__class__可以檢視str的編碼形式

=python中的encode,decode方法= 

首先,要知道encode是 unicode轉換成str。decode是str轉換成unicode。 

下文中,u代表unicode型別的變數,s代表str型別的變數。 

u.encode('...')基本上總是能成功的,只要你填寫了正確的編碼。就像任何檔案都可以壓縮成zip檔案。 

s.decode('...')經常是會出錯的,因為str是什麼「編碼」取決於上下文,當你解碼的時候需要確保s是用什麼編碼的。就像,開啟zip文 

件的時候,你要確保它確實是zip檔案,而不僅僅是偽造了副檔名的zip檔案。 

u.decode(),s.encode()不建議使用,s.encode相當於s.decode().encode()首先用預設編碼(一般是 

ascii)轉換成unicode在進行encode。 

=關於#coding=utf8= 

當你在py檔案的第一行中,寫了這句話,並確實按照這個編碼儲存了文字的話,那麼這句話有以下幾個功能。 

1.使得詞法分析器能正常運作,對於注釋中的中文不報錯了。 

2.對於u"中文"這樣literal string能知道兩個引號中的內容是utf8編碼的,然後能正確轉換成unicode 

3."中文"對於這樣的literal string你會知道,這中間的內容是utf8編碼,然後就可以正確轉換成其它編碼或unicode了。 

沒有寫完,先碼那麼多字,以後再來補充,這裡不是wiki,太麻煩了。

python Unicode程式設計

ascii美國標準資訊交換碼 utf 88為utf轉換格式 無符號位元組序列,長度為1 4個位元組 utf 1616位utf轉換格式 無符號位元組序列,通常是16位長,兩個位元組 unicode可以表示超過90000個字元。ascii字串成了stringtype,而unicode字串成了unicod...

python Unicode 編碼問題

今天在用python寫分頁 傳入兩個引數 page num,page size,報錯了 我用的是python2.7 列印變數型別是unicode 所以要把unicode 轉成 int 提供兩種方法,都是先轉成字串,再轉成int page num int filter str.isdigit,page...

python unicode 編碼整理

unicode 只定義字元對應的數字,但沒有規定這些數字如何儲存起來,比如像中文的 我 字儲存時需要兩個位元組來表示,而英文本母a卻只需要乙個位元組,有些其他的字元可能需要3 4個位元組。utf 8 是對 unicode 編碼儲存的一種實現方式,同樣的還有 utf 16,utf 32。utf 8 是...