linux下檔案特殊字元處理

在windows下編輯的檔案，放到linux下執行經常會出現各種莫名其妙的問題，用vim開啟檢視檔案，會看到一些特殊字元，常見的有

1. ^m

該字元出現在一行文字的結尾，出現的原因是windows使用cr(回車\r)lf(換行\t)兩個字元來作為一行文字的結束符號，而linux下是使用lf單個字元作為單行文字結束，因此在windows下編輯過的文字中如果使用過回車來換行，在linux下就會出現^m字元，可以用如下命令來消除：

sed -i 's/\r//g' filename

-i 表示在原始檔案中直接修改，重定向則可以用：

sed 's/\r//g' oldfilename > newfilename

2. bom

該字元是由於在windows下編輯的檔案，採用utf作為編碼格式儲存時，編輯器會在檔案開頭新增乙個bom標記(byte order mark)來標識utf編碼所採用的位元組序，使用如下命令可以看到檔案頭的bom字元：

cat filename | head -1 | sed -n l

而我們經常採用的utf-8採用單位元組編碼，因此不存在位元組序的問題，而bom在linux中處理又會存在各種問題，因此可以採用如下命令去除檔案中的bom標記：

sed -i 's/^\xef\xbb\xbf//;' filename