python的編碼問題總結

2021-09-08 23:10:21 字數 3985 閱讀 1395

問題一:

當python中間處理非ascii編碼時,經常會出現如下錯誤:

unicodedecodeerror: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)

0x??是超出128的數字,python在預設的情況下認為語言的編碼是ascii編碼,所以無法處理其他編碼,需要設定python的預設編碼為所需要的編碼。

乙個解決的方案是在**中新增:

import sys

reload(sys)

sys.setdefaultencoding('gb2312')

解釋:

sys.setdefaultencoding方法在python匯入site.py後就刪除了(具體**檢視site.py就可以看到)因此如果想用的話可以:

在確定sys已經匯入的情況下,使用:

reload(sys)

問題二:

you need to deal with data that doesn't fit in the ascii character set.

你需要處理不適合用ascii字符集表示的資料.

#將unicode轉換成普通的python字串:"編碼(encode)"

unicodestring = u"hello world"

utf8string = unicodestring.encode("utf-8")

asciistring = unicodestring.encode("ascii")

isostring = unicodestring.encode("iso-8859-1")

utf16string = unicodestring.encode("utf-16")

#將普通的python字串轉換成unicode: "解碼(decode)"

plainstring1 = unicode(utf8string, "utf-8")

plainstring2 = unicode(asciistring, "ascii")

plainstring3 = unicode(isostring, "iso-8859-1")

plainstring4 = unicode(utf16string, "utf-16")

assert plainstring1==plainstring2==plainstring3==plainstring4

python**檔案的編碼

py檔案預設是ascii編碼,中文在顯示時會做乙個ascii到系統預設編碼的轉換,這時就會出錯:syntaxerror: non-ascii character。需要在**檔案的第一行或第二行新增編碼指示:

# coding=gbk

print '中文'

字串的編碼

像上面那樣直接輸入的字串是按照**檔案的編碼來處理的,如果是unicode編碼,有以下三種方式:

s1 = u'中文'

s2 = unicode('中文','gbk')

s3 = s1.decode('gbk')

unicode是乙個內建函式,第二個引數指示源字串的編碼格式。

decode是任何字串具有的方法,將字串轉換成unicode格式,引數指示源字串的編碼格式。

encode也是任何字串具有的方法,將字串轉換成引數指定的格式。

系統的預設編碼

對於中文系統來說,預設的是gbk,gb2312也可以,因為它是gbk的字集。使用print輸出時,字串會被轉換成此格式,隱式轉換時,是從**文 件編碼格式轉換成gbk,預設是ascii->gbk。考慮上面第二點,如果字串編碼不是ascii,則隱式轉換會出錯,需要顯式轉換,使用 encode方法。如果指定了**檔案格式為gbk,則隱式轉換不存在問題。

# coding=gbk

s = u'中文'

print s.encode('gbk')

檔案讀寫

只是ascii或者gbk編碼格式的的檔案讀寫,比較簡單,讀寫如下:

# coding=gbk

f = open('c:/intimate.txt','r') # r 指示檔案開啟模式,即唯讀

s1 = f.read()

s2 = f.readline()

s3 = f.readlines() #讀出所有內容

f.close()

f = open('c:/intimate.txt','w') # w 寫檔案

f.write(s1)

f.writelines(s2) # 沒有writeline

f.close()

f.writelines不會輸出換行符。

unicode檔案讀寫:

# coding=gbk

import codecs

f = codecs.open('c:/intimate.txt','a','utf-8')

f.write(u'中文')

s = '中文'

f.write(s.decode('gbk'))

f.close()

f = codecs.open('c:/intimate.txt','r','utf-8')

s = f.readlines()

f.close()

for line in s:

print line.encode('gbk')

總結

首先要搞清楚,字串在python內部的表示是unicode編碼,因此,在做編碼轉換時,通常需要以unicode作為中間編碼,即先將其他編碼的字串解碼(decode)成unicode,再從unicode編碼(encode)成另一種編碼。

decode的作用是將其他編碼的字串轉換成unicode編碼,如str1.decode('gb2312'),表示將gb2312編碼的字串轉換成unicode編碼。

encode的作用是將unicode編碼轉換成其他編碼的字串,如str2.encode('gb2312'),表示將unicode編碼的字串轉換成gb2312編碼。

在某些ide中,字串的輸出總是出現亂碼,甚至錯誤,其實是由於ide的結果輸出控制台自身不能顯示字串的編碼,而不是程式本身的問題。

如在ulipad中執行如下**:

s=u"中文"

print s

將最後一句改為:print s.encode('gb2312')

則能正確輸出「中文」兩個字。

若最後一句改為:print s.encode('utf8')

則輸出:\xe4\xb8\xad\xe6\x96\x87,這是控制台資訊輸出視窗按照ascii編碼輸出utf8編碼的字串的結果。

updated at: 2008.11.05

另外,**中字串的預設編碼與**檔案本身的編碼一致,如:

s='中文'

如果是在utf8的檔案中,該字串就是utf8編碼,如果是在gb2312的檔案中,則其編碼為gb2312。 這種情況下,要進行編碼轉換,都需要先用decode方法將其轉換成unicode編碼,再使用encode方法將其轉換成其他編碼。通常,在沒有指定特 定的編碼方式時,都是使用的系統預設編碼建立的**檔案,在這篇文章中可以看到如何獲得系統的預設編碼。

如果字串是這樣定義:

s=u'中文'

則該字串的編碼就被指定為unicode了,即python的內部編碼,而與**檔案本身的編碼無關。因此,對於這種情況做編碼轉換,只需要直接使用encode方法將其轉換成指定編碼即可。

如果乙個字串已經是unicode了,再進行解碼則將出錯,因此通常要對其編碼方式是否為unicode進行判斷:

isinstance(s, unicode) #用來判斷是否為unicode

python的編碼問題總結

問題一 當python中間處理非ascii編碼時,經常會出現如下錯誤 unicodedecodeerror ascii codec can t decode byte 0x?in position 1 ordinal not in range 128 0x?是超出128的數字,python在預設的情...

python 編碼問題總結

python 編碼問題總結 2010 05 12 15 07 問題一 當python中間處理非ascii編碼時,經常會出現如下錯誤 unicodedecodeerror ascii codec can t decode byte 0x?in position 1 ordinal not in ran...

python編碼問題總結

1 python內部預設是使用unicode儲存內容的 2 python解析器讀取原始檔,預設是使用ascii編碼的,如果檔案中存在中文,則會報錯,形如 syntaxerror non ascii character xe5 in file f workspace test.py 此時可以在原始檔開...