參考文章：
問題：搜狗預料庫的資料型別（編碼格式為 gb18030）：
這種文字檔案不是標準的xml檔案，沒有根節點。因此要新增根節點使該文字檔案符合xml檔案的規範（① 可以用xml樹操作對
象，② 可以用mysql載入xml資料），當資料量極大時不能用windoms開啟記事本手動新增。
方法有多種：
① 直接linux命令 pass
② 程式語言 操作檔案 並將其儲存至多個檔案 eg：python
③ 基於簡單的windows 操作命令：
1、在要修改的檔案目錄下 新建乙個文字檔案head.txt寫入
# 後面需要跟乙個 回車
2、在要修改的檔案目錄下 新建乙個文字檔案end.txt寫入
# 前面接乙個 回車
3、用copy命令合併文字 ------- 文字目錄下執行
copy /b head.txt + ./news_sohusite_xml_full.xml + end.txt canbeimport.xml
需要新增的標頭檔案 需要修改的檔名 需要新增的尾檔案 修改後的檔名
注意：由於搜狗與料庫的編碼特性，樣做執行時會出現bug，問題是因為有的url**現了無法解析的&，所以在
加的同時，別忘了把出現的&替換成&；這樣就能正常解析了。
NLP中文短文字處理記錄（一）
nlp短文字處理 nlp之文字清洗 nlp一些常用詞 待讀文章 第二天學習 寫 前要想好資料該用什麼格式輸出，最好在紙上畫出來，然後想如何能實現 read csv 讀取含中文的csv檔案時，encoding utf 8 或 gb18030 會遇到有的行無法讀出，增加引數error bad lines...
shell文字處理
最於檔案的操作以前都是用高階程式語言來操作的。今天恰好需要將乙個目錄中的檔案資訊儲存到sqlite3資料庫中 我用linux中的工具和shell來作為自己畢業設計做原型開發 下面記錄一下這裡用到的部分知識，以作備忘。用ls命令來說明 1.關於shell中的管道和重定向問題。這個知識基礎，這裡不再說了...
WML 文字處理
wml使用xml文件字符集，目前支援unicode 2.0，和hdml不同，wml的所有標籤，屬性和規定的可接收值必須小寫，card的名字和變數也是區分大小寫的。和hdml一樣，對於連續的空字元，只顯示乙個空格。標籤內屬性的值必須用 或者 括起來，屬性名，和值之間不能有空格。對於不成對出現的標籤，必...