在textinputformat中呼叫了linerecordreader，接著又呼叫了linereader，方法readdefaultline方法中直接使用的text直接加入的從檔案中讀取的bytes，其中並沒有轉換。
如果原始的text檔案如果是中文的話，再取出來的時候就不能使用bytes.tostring(final byte b)來轉換了，因為這個方法裡面使用的utf8來解碼的。需要自己呼叫new string(byte, "gbk")來進行處理了。
看到了testtextnonutf8，text中是以byte儲存的。所以放進去bytes，再取出來bytes後，還是可以用原來的編碼轉回來的。
但是若使用text的setstring方法，會使用utf8來轉換成byte麼?
Hadoop中Text型別的長度
在hadoop權威指南中，有一段 用於檢查text型別變數的位元組長度。int firstl1 writableutils.decodevintsize b1 s1 readvint b1,s1 根據其他博文知道text型別變數用第1 4個位元組表示這個text物件中字串的位元組數，隨後跟著的就是這...
URL中文編碼與文字中文編碼的關係
寫在前面 系統環境 windows 10 軟體環境 360急速瀏覽器11.0，核心版本69 基於chromium 在使用爬蟲過程中，我們常常要對url位址進行處理 在發包時對字串進行編碼 在接收資料時，對引數進行解碼。由於現在常見的瀏覽器已經都對url中的字元進行了解碼，因此在使用瀏覽器時，位址列中...
中文編碼 1 常見中文編碼格式
為什麼要有中文編碼格式？最早的ascii碼只包括了字母 標點符號 特殊字元等127個字元。這些字元對於拉丁語系國家的人使用是足夠的，但是對於非拉丁語系國家 如中國 日本等 ascii碼就遠遠不夠了。因此就需要編碼來表示大量的漢字字元。常用的幾種中文編碼格式 1 unicode編碼 unicode編碼...