mysql大批量插入資料四種方法

2021-09-25 02:02:10 字數 2017 閱讀 8579

方法一:迴圈插入

這個也是最普通的方式,如果資料量不是很大,可以使用,但是每次都要消耗連線資料庫的資源。

大致思維如下

(我這裡寫偽**,具體編寫可以結合自己的業務邏輯或者框架語法編寫)

for($i=1;$i<=100;$i++)foreach($arr as $key => $value)while($i <= 100)

方法二:減少連線資源,拼接一條sql

偽**如下

//這裡假設arr的key和資料庫字段同步,其實大多數框架中在php運算元據庫的時候都是這麼設計的

$arr_keys = array_keys($arr);

$sql = 'insert into tablename (' . implode(',' ,$arr_keys) . ') values';

$arr_values = array_values($arr);

$sql .= " ('" . implode("','" ,$arr_values) . "'),";

$sql = substr($sql ,0 ,-1);//拼接之後大概就是 insert into tablename ('username','password') values

('***','***'),('***','***'),('***','***'),('***','***'),('***','***'),('***','***')

.......

//querysql

這樣寫正常插入一萬條基本問題不大,除非資料很長,應付普通的批量插入夠用了,比如:批量生成卡號,批量生成隨機碼等等。。。

方法三:使用儲存過程

這個我手裡正好再用這個就把sql付出來,具體業務邏輯大家自己組合一下就可以。

delimiter $$$create procedure zqtest()

begin

declare i int default 0;set i=0;

start transaction;while i<80000 do

//your insert sql set i=i+1;

end while;

commit;

end$$$

delimiter;call zqtest();

這個也只是個測試**,具體引數大家自行定義

我這裡是一次插入8萬條,雖然不多但是,每一條資料量都很大,有很多varchar4000 和text欄位

耗時 6.524s

方法四:使用mysql local_infile

這個我目前正在使用,所以順便把pdo的**也復上來,以便大家參考

//設定pdo開啟mysql_attr_local_infile

/*[email protected]

public function pdo_local_info ()

//偽**如下

public function test()

$sql = "load data local infile '" . $myfile . "' into table ";

$sql .= "tablename (" . implode(',' ,$arr_keys) . ")";

$pdo = $this->pdo_local_info ();

$res = $pdo->exec($sql);

if (!$res)

@unlink($my_file);

}}

這個同樣每一條資料量都很大,有很多varchar4000 和text欄位 

耗時 2.160s

以上滿足基本需求,100萬資料問題不大,要不資料實在太大也涉及分庫分表了,或者使用佇列插入了。

MySQL大批量插入資料

1.對於myisam型別的表,可以通過以下方式快速的匯入大量的資料。alter table tblname disable keys loading the data alter table tblname enable keys 這兩個命令用來開啟或者關閉myisam表非唯一索引的更新。在匯入大量...

mysql大批量資料插入優化

目前在專案中發現一張700萬的表,插入10萬條資料通過mybatis的批量插入大概需要3分鐘左右,耗時太長。現在通過mysql的load data local infile 命令進行優化插入。最後測試10萬條資料批量插入大概在3秒左右的時間。定義命令執行語句 public inte ce fastb...

MySQL插入大批量測試資料

執行sql drop procedure if exists proc initdata 如果存在此儲存過程則刪掉 delimiter create procedure proc initdata begin declare i int default 1 while i 10000000 do 這...