Sybase IQ如何將大檔案資料迅速載入到資料庫

2021-09-22 07:27:36 字數 3283 閱讀 4370

試想一下,如果乙個檔案5g、10g甚至更大。如何將它迅速地載入到資料庫指定的表呢?我們看看sybase iq是如何迅速地將表的資料載入到資料庫的。

資料檔案格式:

1440,2011-01-09 00:00:00,1,珠海,1,c網,8612345678222,221943,1,12175,1,12,14426467,1191632,9,

1440,2011-01-09 00:00:00,1,珠海,1,c網,8612345678222,968852,1,82077,1,7,2430696,134921,5,

1440,2011-01-09 00:00:00,1,珠海,1,c網,8612345678222,936862,3,10847,1,5,4585323,362630,5,

1440,2011-01-09 00:00:00,1,珠海,1,c網,8612345678222,308796,2,5614,2,12,14401931,1202200,11,

1440,2011-01-09 00:00:00,1,珠海,2,固網,861234567000,11058523,6,984391,3,19,12789576,1113565,19,

據以「,」分割。並以「,」結尾。

commit

;lock

table iqloadtest in write mode wait '

00:05:00';

settemporary

option conversion_error=

'off';

settemporary

option escape_character='on

';settemporary

option load_memory_mb=

256;

set temporary option timestamp_format='yyyy-mm-dd hh:mm:ss';--解決時間格式問題

load

table

iqloadtest

(

col1 ',

',

col2 ',

',

col3 ',

',

col4 ',

',

col5 ',

',

col6 ',

',

col7 ',

',

col8 ',

',

col9 ',

',

col10 ',

',

col11 ',

',

col12 ',

',

col13 ',

',

col14 ',

',

col15

',\x0a

',--最後乙個字段順便過濾掉換行符0a

filler(1)--在此例子中加了此條語句最後一行資料不被載入)

from

'/home/test/test.load

'escapes

offquotes

offignore

constraint

all0

message

log'

/home/test/iqmsg.log

'row

log'

/home/test/iqrow.log

'only

logall

notify

50000

with

checkpointon;

commit;

結論:如果行結束符後面帶了分隔符的話必須用此種方式。否則無法載入。

如果行結束符後面不帶分隔符的話可以用filler(1)這種方式

iqload 會遇到的問題。

1、 odbc 與 jdbc 的預設設定不一樣。 jdbc 需要加上 

set temporary option escape_character='on';

2、當資料中存在null時的解決方法

commit

;lock

table iqloadtest in write mode wait '

00:05:00';

settemporary

option conversion_error=

'off';

settemporary

option escape_character='on

';settemporary

option load_memory_mb=

256;

settemporary

option timestamp_format=

'yyyy-mm-dd hh:mm:ss';

load

table

iqloadtest

(

欄位1

'分隔符

'null('

null

'),

欄位2

'分隔符

'null('

null'),

col15

'分隔符\x0a

'null('

null

'),

filler(

1)--

在此例子中加了此條語句最後一行資料不被載入)

from

'/home/test/test.load

'escapes

offquotes

offignore

constraint

all0

message

log'

/home/test/iqmsg.log

'row

log'

/home/test/iqrow.log

'only

logall

notify

50000

with

checkpointon;

commit;

Sybase IQ如何將大檔案資料迅速載入到資料庫

試想一下,如果乙個檔案5g 10g甚至更大。如何將它迅速地載入到資料庫指定的表呢?我們看看sybase iq是如何迅速地將表的資料載入到資料庫的。資料檔案格式 1440,2011 01 09 00 00 00,1,珠海,1,c網,8612345678222,221943,1,12175,1,12,1...

Sybase IQ如何將大檔案資料迅速載入到資料庫

試想一下,如果乙個檔案5g 10g甚至更大。如何將它迅速地載入到資料庫指定的表呢?我們看看sybase iq是如何迅速地將表的資料載入到資料庫的。資料檔案格式 1440,2011 01 09 00 00 00,1,珠海,1,c網,8612345678222,221943,1,12175,1,12,1...

linux下如何將大檔案分為多個小檔案

1 將檔案按照儲存大小拆分 如下命令,將954m大小的檔案httpd.log,按照500mb每個檔案大小進行拆分。拆分後,變為xaa和xab兩個檔案,每個檔案大小為477m。rw r r 1 root root 477m mar 25 12 38 xab 2 將拆分後的檔案按照某個tag命名 如下命...