提示MySQL插入速度的方法

2021-08-26 04:05:32 字數 2338 閱讀 3438

最近專案要求挺多,對insert語句的速度要能達到每秒1w以上,於是要從mysql原理分析!

插入乙個記錄需要的時間由下列因素組成,其中的數字表示大約比例:

連線:(3)  

傳送查詢給伺服器:(2)  

分析查詢:(2)  

插入記錄:(1x記錄大小)  

插入索引:(1x索引)  

關閉:(1)  

這不考慮開啟表的初始開銷,每個併發執行的查詢開啟。表的大小以logn (b樹)的速度減慢索引的插入。

加快插入的一些方法:

· 如果同時從同乙個客戶端插入很多行,使用含多個value的insert語句同時插入幾行。這比使用單行insert語句快(在某些情況下快幾倍)。如果你正向乙個非空表新增資料,可以調節bulk_insert_buffer_size變數,使資料插入更快。參見5.3.3節,「伺服器系統變數」。

· 如果你從不同的客戶端插入很多行,能通過insert delayed語句加快速度。參見13.2.4節,「insert語法」。

· 用myisam,如果在表中沒有刪除的行,能在select語句正在執行的同時插入行。

· 當從乙個文字檔案裝載乙個表時,使用load data infile。這通常比使用很多insert語句快20倍。參見13.2.5節,「load data infile語法」。

· 當表有很多索引時,有可能要多做些工作使得load data infile更快些。使用下列過程:

有選擇地用create table建立表。  

執行flush tables語句或命令mysqladmin flush-tables。  

使用myisamchk --keys-used=0 -rq /path/to/db/tbl_name。這將從表中取消所有索引的使用。  

用load data infile把資料插入到表中,因為不更新任何索引,因此很快。  

如果只想在以後讀取表,使用myisampack壓縮它。參見15.1.3.3節,「壓縮表特性」。  

用myisamchk -r -q /path/to/db/tbl_name重新建立索引。這將在寫入磁碟前在記憶體中建立索引樹,並且它更快,因為避免了大量磁碟搜尋。結果索引樹也被完美地平衡。  

執行flush tables語句或mysqladmin flush-tables命令。  

請注意如果插入乙個空myisam表,load data infile也可以執行前面的優化;主要不同處是可以讓myisamchk為建立索引分配更多的臨時記憶體,比執行load data infile語句時為伺服器重新建立索引分配得要多。

也可以使用alter table tbl_name disable keys代替myisamchk --keys-used=0 -rq /path/to/db/tbl_name,使用alter table tbl_name enable keys代替myisamchk -r -q /path/to/db/tbl_name。使用這種方式,還可以跳過flush tables。

· 鎖定表可以加速用多個語句執行的insert操作:

lock tables a write;  

insert into a values (1,23),(2,34),(4,33);  

insert into a values (8,26),(6,29);  

unlock tables;  

這樣效能會提高,因為索引快取區僅在所有insert語句完成後重新整理到磁碟上一次。一般有多少insert語句即有多少索引快取區重新整理。如果能用乙個語句插入所有的行,就不需要鎖定。

對於事務表,應使用begin和commit代替lock tables來加快插入。

鎖定也將降低多連線測試的整體時間,儘管因為它們等候鎖定最大等待時間將上公升。例如:

connection 1 does 1000 inserts

connections 2, 3, and 4 do 1 insert

connection 5 does 1000 inserts

如果不使用鎖定,2、3和4將在1和5前完成。如果使用鎖定,2、3和4將可能不在1或5前完成,但是整體時間應該快大約40%。

insert、update和delete操作在mysql中是很快的,通過為在一行中多於大約5次連續不斷地插入或更新的操作加鎖,可以獲得更好的整體效能。如果在一行中進行多次插入,可以執行lock tables,隨後立即執行unlock tables(大約每1000行)以允許其它的執行緒訪問表。這也會獲得好的效能。

insert裝載資料比load data infile要慢得多,即使是使用上述的策略。

· 為了對load data infile和insert在myisam表得到更快的速度,通過增加key_buffer_size系統變數來擴大 鍵高速緩衝區。參見7.5.2節,「調節伺服器引數」。

提高MySQL插入記錄的速度

在myisam engine下 1.盡量使用insert into table name values 這樣形式插入資料,避免使用inset into table name values inset into table name values inset into table name value...

提高mysql插入資料的速度

需要在mysql中插入2000萬條記錄,用insert語句插入速度很有限,每秒鐘幾百條,放在hadoop集群上跑也是這個速度,可能是資料庫的問題了,網上看到sql server和oracle的insert速度也不是很快。比較簡單的優化方法如下 1 在一條insert語句中插入多條記錄 insert ...

mysql如何優化插入記錄速度

插入記錄時,影響插入速度的主要是索引 唯一性校驗 一次插入記錄條數等。根據這些情況,可以分別進行優化,本節將介紹優化插入記錄速度的幾種方法。一.對於myisam引擎表常見的優化方法如下 1.禁用索引。對於非空表插入記錄時,mysql會根據表的索引對插入記錄建立索引。如果插入大量資料,建立索引會降低插...