python 編碼問題總結
2010-05-12 15:07
問題一：
當python中間處理非ascii編碼時，經常會出現如下錯誤：
unicodedecodeerror: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)
0x??是超出128的數字，python在預設的情況下認為語言的編碼是ascii編碼，所以無法處理其他編碼，需要設定python的預設編碼為所需要的編碼。
乙個解決的方案是在**中新增：
import
sysreload(sys)
sys.setdefaultencoding(
'gb2312')
解釋：sys.setdefaultencoding方法在python匯入site.py後就刪除了(具體**檢視site.py就可以看到)因此如果想用的話可以：
在確定sys已經匯入的情況下，使用：
reload(sys)
問題二：
you need to deal with data that doesn't fit in the ascii character set.
你需要處理不適合用ascii字符集表示的資料.
1 #將unicode轉換成普通的python字串:"編碼(encode)"
2 unicodestring
=u"hello world"
3 utf8string
=unicodestring
.encode
("utf-8")4
asciistring
=unicodestring
.encode
("ascii")5
isostring
=unicodestring
.encode
("iso-8859-1")6
utf16string
=unicodestring
.encode
("utf-16")7
8 9
#將普通的python字串轉換成unicode: "解碼(decode)"
10 plainstring1
=unicode
(utf8string
,"utf-8"
)11
plainstring2
=unicode
(asciistring
,"ascii"
)12
plainstring3
=unicode
(isostring
,"iso-8859-1"
)13
plainstring4
=unicode
(utf16string
,"utf-16"
)14
15 assert
plainstring1
==plainstring2
==plainstring3
==plainstring4
1 python**檔案的編碼
py檔案預設是ascii編碼，中文在顯示時會做乙個ascii到系統預設編碼的轉換，這時就會出錯：syntaxerror: non-ascii character。需要在**檔案的第一行或第二行新增編碼指示：1#
coding=gbk
2print'中文
' 2 字串的編碼
像上面那樣直接輸入的字串是按照**檔案的編碼來處理的，如果是unicode編碼，有以下三種方式：
1s1 =u
'中文'2
s2 =
unicode('中文
','gbk')
3s3
=s1.decode(
'gbk')
unicode是乙個內建函式，第二個引數指示源字串的編碼格式。
decode是任何字串具有的方法，將字串轉換成unicode格式，引數指示源字串的編碼格式。
encode也
是任何字串具有的方法，將字串轉換成引數指定的格式
。3 系統的預設編碼
對於中文系統來說，預設的是gbk，gb2312也可以，因為它是gbk的字集。使用print輸出時，字串會被轉換成此格式，隱式轉換時，是從**檔案編碼格式轉換成gbk，預設是ascii->gbk。考慮上面第二點，如果字串編碼不是ascii，則隱式轉換會出錯，需要顯式轉換，使用 encode方法。如果指定了**檔案格式為gbk，則隱式轉換不存在問題。
1#coding=gbk23
s =u'
中文'4print
s.encode(
'gbk')
檔案讀寫
只是ascii
或者gbk
編碼格式的的檔案讀寫，比較簡單，讀寫如下：
1#coding=gbk23
f =open(
'c:/intimate.txt',
'r')
#r 指示檔案開啟模式，即唯讀
4s1
=f.read()
5s2
=f.readline()
6s3
=f.readlines()
#讀出所有內容78
f.close()910
f =open(
'c:/intimate.txt',
'w')
#w 寫檔案
11f.write(s1)
12f.writelines(s2)
#沒有writeline
13f.close()
f.writelines不會輸出換行符。
unicode檔案讀寫：1#
coding=gbk
2import
codecs34
f =codecs.open(
'c:/intimate.txt',
'a',
'utf-8')
5f.write(u'中文
')6s
='中文'
7f.write(s.decode(
'gbk'))
8f.close()910
f =codecs.open(
'c:/intimate.txt',
'r',
'utf-8')
11s
=f.readlines()
12f.close()
13for
line
ins:
14print
line.encode(
'gbk')
總結
首先要搞清楚，字串在python內部的表示是unicode編碼，因此，在做編碼轉換時，通常需要以unicode作為中間編碼，即先將其他編碼的字串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。
decode的作用是將其他編碼的字串轉換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字串轉換成unicode編碼。
encode的作用是將unicode編碼轉換成其他編碼的字串，如str2.encode('gb2312')，表示將unicode編碼的字串轉換成gb2312編碼。
在某些ide中，字串的輸出總是出現亂碼，甚至錯誤，其實是由於ide的結果輸出控制台自身不能顯示字串的編碼，而不是程式本身的問題。
如在ulipad中執行如下**：
s=u"中文"
print s
將最後一句改為：print s.encode('gb2312')
則能正確輸出「中文」兩個字。
若最後一句改為：print s.encode('utf8')
則輸出：\xe4\xb8\xad\xe6\x96\x87，這是控制台資訊輸出視窗按照ascii編碼輸出utf8編碼的字串的結果。
updated at: 2008.11.05
另外，**中字串的預設編碼與**檔案本身的編碼一致，如：
s='中文'
如果是在utf8的檔案中，該字串就是utf8編碼，如果是在gb2312的檔案中，則其編碼為gb2312。 這種情況下，要進行編碼轉換，都需要先用decode方法將其轉換成unicode編碼，再使用encode方法將其轉換成其他編碼。通常，在沒有指定特定的編碼方式時，都是使用的系統預設編碼建立的**檔案，在這篇文章
中可以看到如何獲得系統的預設編碼。
如果字串是這樣定義：
s=u'中文'
則該字串的編碼就被指定為unicode了，即python的內部編碼，而與**檔案本身的編碼無關。因此，對於這種情況做編碼轉換，只需要直接使用encode方法將其轉換成指定編碼即可。
如果乙個字串已經是unicode了，再進行解碼則將出錯，因此通常要對其編碼方式是否為unicode進行判斷：
isinstance(s, unicode) #用來判斷是否為unicode
python編碼問題總結
1 python內部預設是使用unicode儲存內容的 2 python解析器讀取原始檔，預設是使用ascii編碼的，如果檔案中存在中文，則會報錯，形如 syntaxerror non ascii character xe5 in file f workspace test.py 此時可以在原始檔開...
python 編碼問題總結
1 簡而言之，python 2.x裡字串有兩種 str和unicode 前者到後者要decode，後者到前者要encode,utf 8 為例 str.decode utf 8 unicode str unicode.encode utf 8 總結 unicode就像是中間橋梁，utf 8編碼，gbk...
python編碼問題總結
最近利用python抓取一些網上的資料，遇到了編碼的問題。非常頭痛，總結一下用到的解決方案。import chardet f open file r fencoding chardet.detect f.read print fencoding fencoding輸出格式 只能判斷是否為某種編碼的概...