文字處理學習筆記5

2021-09-12 05:22:01 字數 1512 閱讀 7276

環境如下:

python-2.5.2

工作中經常遇到類似csv格式的檔案檔案,

為了處理起來方便,一般要匯入到資料庫中

mysql匯入工具**:

使用方法如下:

csvloader -h

csvloader -f bsc.csv bts.csv

csvloader -d dir1 dir2

csvloader -f bsc.csv bts.csv -s ,

csvloader -d dir1 dir2 -s ,

csvloader -s , -f bsc.csv bts.csv

csvloader -s , -d dir1 dir2

options include:

-h [help] - 列印幫助

-s [separtor] - 使用的分割符,預設 tab

-f [filename] - 檔名,可以指定多個

-d [dirname] - 資料夾,可以指定多個

注意:檔案必須是 utf-8 編碼

順便寫了個bat檔案:

csvloader.bat

@echo off

python csvloader.py %*

(winxp sp2,mysql 5.0下使用通過,mysql資料庫使用utf8編碼,csv檔案使用utf8編碼)

測試文字:a_object.txt

oid,city,type,pid

7,邢台市,103,7

8,廊坊市,103,8

1,滄州市,103,1

3,高邑縣,104,4

4,河間市,104,1

2,趙縣,104,4

oracle匯入工具:

(winxp sp2,oracle 11下使用通過,oracle資料庫使用gbk編碼,csv檔案使用gbk編碼)

注意一下,小工具拿到檔案後,

會以檔名作為表名,開始造表(create),

字段全部為字串,各個字段長度會根據

第一批讀入的資料進行計算(第一批讀1m,可以調,防大檔案用的),

還要注意一下

mysql版本與oracle版本有點區別,

mysql版本有自動刪除表功能,先試著刪除一遍,才會建表,匯入資料;

oracle版本沒有加刪除表功能,只有建表匯入資料過程。

(mysql一般只在自己本本上使用,所以匯入,改改檔案再匯入方便,無需去手動刪除表,

oracle一般會在伺服器上導資料用,怕刪掉不該刪除的東西,所以未加這個功能)

再有mysql版用utf8編碼,oracle版用的gbk編碼,這個跟資料庫的設定有關

utf8編碼與gbk編碼轉換,可參考使用文字學習筆記3的批量轉換工具

當然,檔案不多也可以用文字編輯器手動另存轉換。賈盧

慘御雛皿

隕褶苷嫌

盯鍘

shell學習筆記 文字處理

regexp grep c 只輸出匹配行的計數。i 不區分大小寫 只適用於單字元 h 查詢多檔案時不顯示檔名。l 查詢多檔案時只輸出包含匹配字元的檔名。n 顯示匹配行及行號。s 不顯示不存在或無匹配文字的錯誤資訊。v 顯示不包含匹配文字的所有行。upper a z lower a z digit 0...

python學習筆記 文字處理

python2.6 開始,新增了一種格式化字串的函式 str.format 它增強了字串格式化的功能。基本語法是通過 和 來代替以前的 format 函式可以接受不限個引數,位置可以不按順序。lista sfs sds 3 3,4 5,4 2,6 8,7 sql insert into daily ...

Python學習筆記 文字處理 1

以下是部分資料 4.45925637575900 8.22541838354701 0 0.0432761720122110 6.30740040001402 0 6.99716180262699 9.31339338579386 0 4.75483224215432 9.2603778424028...