mysql資料倉儲 infobright 資料匯入

2021-09-25 00:12:57 字數 1439 閱讀 1660

infobright 是 採用列儲存引擎, 不需要索引、主鍵,效能很高, 億級別資料 第一次查單挑資料耗時 1.6 秒。

load data infile "/opt/sm_1.log" into table user_register fields terminated by '\t'
不過資料量大的情況下,難免有部分資料有問題,以防匯入出錯,先設定 忽略錯誤條數 或 忽略百分比

/** when the number of rows rejected reaches 10, abort process **/

set @bh_reject_file_path = '/tmp/reject_file';

set @bh_abort_on_count = 10;

# bh_abort_on_count 設定為 -1 的話,表示永不忽略。

也可以設定 bh_abort_on_threshold 選項,該選項表示有最多多少百分比的資料允許被忽略,因此該選項的值是小數格式,例如 bh_abort_on_threshold = 0.03(表示3%)

split -l 30000000 sm_tmp.log sm_last_month_login_
以上是按 3千萬 行乙個檔案切割,新檔案名字為 sm_last_month_login_ + aa,ab,ac 以此類推

字串不要被 "" 包圍

select * from user_register into outfile "/tmp/sm.log"  fields terminated by '\t' enclosed by 『null』 escaped by 『\\』 ;
字串兩邊加 引號 「」

select * from user_register into outfile "/tmp/sm.log"  fields terminated by '\t' enclosed by 『「』 escaped by 『\\』 ;
ib loader 匯入模式容錯性差,我 匯入幾個 5g 的資料,有些檔案能匯入,有些始終匯入不了,也不報錯,卡在那不動了。

後來 換成 mysql 匯入模式 成功了

-- 使用ib loader來匯入csv格式的變數定長文字 

set @bh_dataformat = 'txt_variable';

-- 二進位制檔案

set @bh_dataformat = 'binary';

-- 使用mysql loader

set @bh_dataformat = 'mysql';

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...

資料倉儲和資料倉儲分層

資料倉儲 data warehouse 可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。1 問題簡單化,將乙個複雜的問題分...