python2.x
中處理中文，是一件頭疼的事情。網上寫這方面的文章，測次不齊，而且都會有點錯誤，所以在這裡打算自己總結一篇文章。
我也會在以後學習中，不斷的修改此篇部落格。
這裡假設讀者已有與編碼相關的基礎知識,本文不再再次介紹，包括什麼是utf-8，什麼是unicode，它們之間有什麼關係。
str
與位元組碼
首先，我們完全不談unicode。
python 1
s = "人生苦短"
s是個字串，它本身儲存的就是位元組碼。那麼這個位元組碼是什麼格式的？
如果這段**是在直譯器上輸入的，那麼這個s的格式就是直譯器的編碼格式，對於windows的cmd而言，就是gbk。
如果將段**是儲存後才執行的，比如儲存為utf-8，那麼在直譯器載入這段程式的時候，就會將s初始化為utf-8編碼。
unicode
與str
我們知道unicode是一種編碼標準，具體的實現標準可能是utf-8，utf-16，gbk ……
python
在內部使用兩個位元組來儲存乙個unicode，使用unicode物件而不是str的好處，就是unicode方便於跨平台。
你可以用如下兩種方式定義乙個unicode:
python 1
2s1 = u"人生苦短"
s2 = unicode("人生苦短", "utf-8")
encode
與decode
在python中的編碼解碼是這樣的：
所以我們可以寫這樣的**：
python 1
2345
6789
# -*- coding:utf-8 -*-
su = "人生苦短"
# ： su是乙個utf-8格式的位元組串
u = s.decode("utf-8")
# ： s被解碼為unicode物件，賦給u
sg = u.encode("gbk")
# ： u被編碼為gbk格式的位元組串，賦給sg
print sg
# 列印sg
但是事實情況要比這個複雜，比如看如下**：
python 1
2s = "人生苦短"
s.encode('gbk')
看！str也能編碼，(事實上unicode物件也能解碼，但是意義不大)
這樣為什麼可以？看上圖的編碼流程的箭頭，你就能想到原理，當對str進行編碼時，會先用預設編碼將自己解碼為unicode，然後在將unicode編碼為你指定編碼。
這就引出了python2.x中在處理中文時，大多數出現錯誤的原因所在：python的預設編碼，defaultencoding是ascii
看這個例子：
python 1
23# -*- coding: utf-8 -*-
s = "人生苦短"
s.encode('gbk')
上面的**會報錯，錯誤資訊：unicodedecodeerror:『ascii』 codec can』t decode byte ……
因為你沒有指定defaultencoding,所以它其實在做這樣的事情:
python 1
23# -*- coding: utf-8 -*-
s = "人生苦短"
s.decode('ascii').encode('gbk')
設定defaultencoding
設定defaultencoding的**如下：
python 1
2reload(sys)
sys.setdefaultencoding('utf-8')
如果你在python中進行編碼和解碼的時候，不指定編碼方式，那麼python就會使用defaultencoding。
比如上一節例子中將str編碼為另一種格式，就會使用defaultencoding。
python 1
s.encode("utf-8") 等價於 s.decode(defaultencoding).encode("utf-8")
再比如你使用str建立unicode物件時，如果不說明這個str的編碼格式，那麼程式也會使用defaultencoding。
python 1
u = unicode("人生苦短") 等價於 u = unicode("人生苦短",defaultencoding)
預設的defaultcoding：ascii是許多錯誤的原因，所以早早的設定defaultencoding是乙個好習慣。
檔案頭宣告編碼的作用。
這要感謝這篇部落格關於python檔案頭部分知識的講解。
頂部的:# -*- coding: utf-8-*-目前看來有三個作用。
1.
如果**中有中文注釋，就需要此宣告
2.
比較高階的編輯器（比如我的emacs），會根據頭部宣告，將此作為**檔案的格式。
3.
程式會通過頭部宣告，解碼初始化 u」人生苦短」，這樣的unicode物件，（所以頭部宣告和**的儲存格式要一致）
關於requests庫
requests
是乙個很實用的python http客戶端庫，編寫爬蟲和測試伺服器響應資料時經常會用到。
其中的request物件在訪問伺服器後會返回乙個response物件，這個物件將返回的http響應位元組碼儲存到content屬性中。
但是如果你訪問另乙個屬性text時，會返回乙個unicode物件，亂碼問題就會常常發成在這裡。
因為response物件會通過另乙個屬性encoding來將位元組碼編碼成unicode，而這個encoding屬性居然是responses自己猜出來的。
官方文件：
text
content of the response, in unicode.
if response.encoding is none, encodingwill be guessed using chardet.
所以要麼你直接使用content(位元組碼)，要麼記得把encoding設定正確，比如我獲取了一段gbk編碼的網頁,就需要以下方法才能得到正確的unicode。
python 1
2345
6import requests
url = ""
response = requests.get(url)
response.encoding = 'gbk'
print response.text
不僅僅要原理，更要使用方法！
如果是早期的我寫部落格，那麼我一定會寫這樣的例子：
如果現在的檔案編碼為gbk,然後檔案頭為：# -*- coding: utf-8 -*-，再將預設編碼設定為***，那麼如下程式的結果會是……
這就類似於，當年學c的時候，用各種優先順序，結合性，指標來展示自己水平的**。
實際上這些根本就不實用，誰會在真正的工作中寫這樣的**呢？我在這裡想談談實用的處理中文的python方法。
基本設定
主動設定defaultencoding。（預設的是ascii）
**檔案的儲存格式要與檔案頭部的#coding:***一致
如果是中文，程式內部盡量使用unicode，而不用str
關於列印
你在列印str的時候，實際就是直接將位元組流傳送給shell。如果你的位元組流編碼格式與shell的編碼格式不相同，就會亂碼。
而你在列印unicode的時候，系統自動將其編碼為shell的編碼格式，是不會出現亂碼的。
程式內外要統一
如果說程式內部要保證只用unicode，那麼在從外部讀如位元組流的時候，一定要將這些位元組流轉化為unicode，在後面的**中去處理unicode，而不是str。
python 1
2345
with open("test") as f:
for i in f:
# 將讀入的utf-8位元組流進行解碼
u = i.decode('utf-8')
....
如果把連線程式內外的這段資料流比喻成通道的的話，那麼與其將通道開為位元組流，讀入後進行解碼，不如直接將通道開為unicode的。
python 1
2345
# 使用codecs直接開unicode通道
file = codecs.open("test", "r", "utf-8")
for i in file:
print type(i)
# i的型別是unicode的
所以python處理中文編碼問題的關鍵是你要清晰的明白，自己在幹什麼，打算讀入什麼格式的編碼，宣告的的這些位元組是什麼格式的，str到unicode是如何轉換的，str的一種編碼到另一種編碼又是如何進行的。還有，你不能把問題變得混亂，要自己主動去維護一種統一。
Python的issubclass注意事項
python的ctypes庫中提供了乙個介面來查詢是不是其個類的子類。issubclass 幫助文件如下 help on built in function issubclass in module builtin issubclass issubclass c,b bool return whet...
Python處理中文
用python寫了個從一堆中文微博中抽取電影票房資料的程式，處理中文編碼問題非常麻煩，有以下經驗 1，在正規表示式中的中文應該用 u x的形式，正規表示式字串還要以ur為字首 u表示unicode，r表示raw，即忽略c 形式的轉義字元 2，各種編碼都統一成utf8的時候世界終於清靜了 4，原始碼開...
python中文處理
1.多位元組問題必須要全部轉成unicode再處理，否則就會有問題，比如中文gbk編碼的 和珅 其中的珅的後半位元組和 的一樣的，所以在處理的時候會有問題，如下我們用re.split來分割 用正則分隔某個字串 def split str,patternlist unicodestr str.deco...