程式設計師永遠的痛之字元編碼的奧秘

2021-06-21 05:28:18 字數 1371 閱讀 2625

字 符編碼相信是每個程式設計師的噩夢,只要是有中文的地方,總是會遇到各種編碼的問題,並且這種問題還非常難纏,尤其在linux上,因為上面很多軟體都是針對 英語國家開發的,是不會考慮其他語種編碼問題。在遇到編碼的無數大坑之後,我決定仔細研究下編碼問題,因為這就像一道坎一直橫在你面前,每次到這裡你都會 跌到,每次爬起來之後,你都若無其事,這樣的人被稱作戰士,真正的戰士。可惜是個力量戰士,做為新時代的智力戰士,當然不能在那跌到然後又在這繼續跌到。

檔案的儲存方式:

檔案都有自己的儲存格式,比如最常見的txt,cpp,h,c,xml ,png, rmvb各種格式,還有自定義格式。這些檔案不論是什麼格式,都是儲存在計算機硬碟裡的2進製格儲存,對應不同檔案格式,有不同的軟體解析。這篇文章不談 檔案是如何儲存的,只談檔案是如何解析的。

文字檔案解析:

文字檔案對應於人類可以閱讀的文字,如何從2進製轉換為文字檔案呢?起初由於計算機在美國發明,自然大家考慮的是英語如何表示,英語字母總共26個,加 上特殊字元,128個字元,7位既乙個byte即可表示出來。這個就是大家所熟知的ascill編碼。對應關係很簡單,乙個字元對應一乙個byte。

但很快發現,其他非英語國家的文字遠遠超過ascill碼,這時候大家當然想統一字元編碼,不同國家出了自己不同的編碼方式,中國的gb2312就是自 己做出來的編碼方式,這樣下去每個國家都有自己的編碼方式,來回轉換太麻煩了。這時候出現了新的編碼方式,unicode編碼方式,想將編碼統一,所以規 定了每個字元對應的unicode碼。

1、很多檔案都是ascii編碼,如果用unicode 太浪費。

2、沒有標誌位說明該幾個位元組來解析為乙個符號。

這時候拯救世界的utf出現了,utf是unicode的一種實現,只不過更聰明了。utf16是占用兩位元組,或者四位元組,utf32是占用四位元組。utf8是很聰明的一種表示方式。

1、對於單位元組符號,位元組第一位為0,後面7位表示位元組編碼。

2、對於n位元組符號,第一位元組的前n位都設為1,第n+1位為0,其餘位為編碼位置。

對於不同的編碼,在文字的最前方有不同的標誌,unicode 通常有兩位來表示分別是ff fe, 或者feff, fffe表示big-endian 編碼feff表示litte-endian編碼。utf8是efbbbf來開頭的。可以看出來utf-8是自解釋的,所以不用帶這個標誌檔案,大多數程式 是可以識別的。但有些程式不能識別這個標誌,比如php就會直接把這個標誌當文字解析,不會忽略。相信很多遇到php輸出文字解析亂碼或者解析錯誤的同學 都遇到這樣的問題。

如何解決問題:

如果有vim那最好不過了,去掉命令:

set encoding=utf-8

set nobomb

新增命令:

set encoding=utf-8

set bomb

或者使用notepad++自帶的功能

程式設計師永遠的痛之字元編碼的奧秘

字 符編碼相信是每個程式設計師的噩夢,只要是有中文的地方,總是會遇到各種編碼的問題,並且這種問題還非常難纏,尤其在linux上,因為上面很多軟體都是針對 英語國家開發的,是不會考慮其他語種編碼問題。在遇到編碼的無數大坑之後,我決定仔細研究下編碼問題,因為這就像一道坎一直橫在你面前,每次到這裡你都會 ...

程式設計師永遠的痛之字元編碼的奧秘

字元編碼相信是每個程式設計師的噩夢,只要是有中文的地方,總是會遇到各種編碼的問題,並且這種問題還非常難纏,尤其在linux上,因為上面很多軟體都是針對 英語國家開發的,是不會考慮其他語種編碼問題。在遇到編碼的無數大坑之後,我決定仔細研究下編碼問題,因為這就像一道坎一直橫在你面前,每次到這裡你都會 跌...

程式設計師永遠的痛之字元編碼的奧秘

字 符編碼相信是每個程式設計師的噩夢,只要是有中文的地方,總是會遇到各種編碼的問題,並且這種問題還非常難纏,尤其在linux上,因為上面很多軟體都是針對 英語國家開發的,是不會考慮其他語種編碼問題。在遇到編碼的無數大坑之後,我決定仔細研究下編碼問題,因為這就像一道坎一直橫在你面前,每次到這裡你都會 ...