C 大檔案大資料量匯入sql資料庫

2021-08-25 07:42:28 字數 505 閱讀 6144

最近,需要做個功能,從大檔案【7百萬+行】中匯入資料到資料庫。由於資料檔案和db不在同台伺服器上,因此不太方便用bulk insert 這種超**語句。怎麼辦呢,呼叫儲存過程一條一條導 or 拼湊insert語句一次匯入多條?前者肯定不現實的,後則經測試效果也極其不佳【每次匯入2w條,大致需要45分鐘+】。怎麼辦啊,my god?看看system.data.sqlclient有沒有什麼超級**的東東,呵呵,不小心,竟然又看到bulk了,嘿嘿,只不過是sqlbulkcopy而已,太興奮了,抓緊看msdn。很快就有了下面的實現方法:

try.txt", datetime.today.adddays(diffday).tostring("yyyy-mm-dd")); //"userinfo-2010-07-19.txt";

執行之後,日誌是這樣的:匯入完畢 beg:16:42:42 end16:46:04 [row]5452484

不到4秒5百萬+,比以前的30分鐘+,快了多少倍啊!

keywor:大檔案,大資料量,匯入sql資料庫

imp匯入大資料量檔案

在使用exp imp將資料轉移時,由於現場的資料可能是海量,在使用exp匯出的時候,exp會匯出建表語句和表的內容,建表中有乙個引數initial,這個引數表示表的初始化的大小,預設是64k,而exp時,會根據表的大小動態的改變這個值,那麼在匯入的時候,會先建立這個表,而假如是海量資料,那麼建立表就...

sqlldr 匯入大資料量資料

最近在處理一些資料,資料量比較大的資料,記錄下使用方法和過程,以備日後檢視 如果使用insert插入超過1000條時間就有點長了 5 6分鐘 使用plsql的text import 匯入8萬條耐心等一會也可以忍受,但是我們要處理的是500萬條資料,嘗試了幾種方法,最後選擇了sqlldr 首先會有乙個...

大資料量mysql檔案匯入程式

phymyadmin data importer www.ebugs.org 用來快速mysql的大資料備份 使用前請首先按照 注釋修改要匯入的sql檔名 資料庫主機名 資料庫使用者名稱 密碼 資料庫名 同時將資料庫檔案和本文本一起ftp導 目錄,然後以web方式訪問此檔案即可 file name ...