Mysql插入很慢,找到了稍微快點的方法

2021-08-29 17:55:07 字數 2103 閱讀 2971

假定我們的表結構如下

**如下

create table example (

example_id int not null,

name varchar( 50 ) not null,

value varchar( 50 ) not null,

other_value varchar( 50 ) not null

)通常情況下單條插入的sql語句我們會這麼寫:

**如下

insert into example

(example_id, name, value, other_value)

values

(100, 'name 1', 'value 1', 'other 1');

mysql允許我們在一條sql語句中批量插入資料,如下sql語句:

**如下

insert into example

(example_id, name, value, other_value)

values

(100, 'name 1', 'value 1', 'other 1'),

(101, 'name 2', 'value 2', 'other 2'),

(102, 'name 3', 'value 3', 'other 3'),

(103, 'name 4', 'value 4', 'other 4');

如果我們插入列的順序和表中列的順序一致的話,還可以省去列名的定義,如下sql

**如下

insert into example

values

(100, 'name 1', 'value 1', 'other 1'),

(101, 'name 2', 'value 2', 'other 2'),

(102, 'name 3', 'value 3', 'other 3'),

(103, 'name 4', 'value 4', 'other 4');

上面看上去沒什麼問題,下面我來使用sql語句優化的小技巧,下面會分別進行測試,目標是插入乙個空的資料表200w條資料

第一種方法:使用insert into 插入,**如下:

**如下

$params = array('value'=>'50');

set_time_limit(0);

echo date("h:i:s");

for($i=0;$i<2000000;$i++);

echo date("h:i:s");

最後顯示為:23:25:05 01:32:05 也就是花了2個小時多!

第二種方法:使用事務提交,批量插入資料庫(每隔10w條提交下)最後顯示消耗的時間為:22:56:13 23:04:00 ,一共8分13秒 ,**如下:

**如下

echo date("h:i:s");

$connect_mysql->query('begin');

$params = array('value'=>'50');

for($i=0;$i<2000000;$i++)

}$connect_mysql->query('commit');

echo date("h:i:s");

第三種方法:使用優化sql語句:將sql語句進行拼接,使用 insert into table () values (),(),(),()然後再一次性插入,如果字串太長,

則需要配置下mysql,在mysql 命令列中執行 :set global max_allowed_packet = 2*1024*1024*10;消耗時間為:11:24:06 11:25:06;

插入200w條測試資料僅僅用了1分鐘!**如下:

**如下

$sql= "insert into twenty_million (value) values";

for($i=0;$i<2000000;$i++);

$sql = substr($sql,0,strlen($sql)-1);

$connect_mysql->query($sql);

最後總結下,在插入大批量資料時,第一種方法無疑是最差勁的,而第二種方法在實際應用中就比較廣泛,第三種方法在插入測試資料或者其他低要求時比較合適,速度確實快。

解決MySQL刪除和插入資料很慢的問題

helm3 k8s 資源物件管理工具 部落格專欄 公司開發人員在測試環境中執行一條 insert 語句時,需要花費 10 幾秒才可以執行成功。檢視測試環境資料庫效能 資料量 死鎖等資訊,均為發現異常。最後通過修改日誌寫入方式解決此問題。1.修改辦法 修改 etc my.cnf檔案,將 innodb ...

找到了乙個apache解析網域名稱到目錄的方法

apache如何將乙個網域名稱自動定位到目錄,這個問題困擾了很久,試了很多方法,不是很理想。今天終於知道了乙個辦法,效果還在測試中 以下是摘錄的內容 首先,你的擁有乙個有泛網域名稱解析的頂級網域名稱,例如 domain.com其次,在 httpd.conf 中開啟 mod rewrite之後,在 h...

mysql插入第一 mysql插入語句的方法

mysql插入語句的方法 mysql中常用的三種插入資料的語句 insert into表示插入資料,資料庫會檢查主鍵 primarykey 如果出現重複會報錯 replace into表示插入替換資料,需求表中有primarykey,或者unique索引的話,如果資料庫已經存在資料,則用新資料替換,...