mysql技巧 提高插入資料 新增記錄 的速度

2022-09-26 21:21:20 字數 540 閱讀 2363

問題描述:

普通台式電腦,採集資料,1000萬資料量。

採集回來的資料插入表中的時候很慢,每條約100毫秒。

解決方法:

1、加大mysql配置中的bulk_insert_buffer_size,這個引數預設為8m

bulk_insert程式設計客棧_buf

2、改寫所有insert語句為insert delayed

這個insert delayed不同之處在於:立即返回結果,後台進行處理插入。

還有乙個技巧是在一跳insert中插入多條資料,類似insert into tablename values('***','***'),('yyy','yyy'),(程式設計客棧'qxqtuzzz','zzz')...;但是在我採集程式中改sql比較麻煩,故未採用

我們小編提醒:

說實話一般主要用於資料的採集入庫操作,成熟的cms不建議修改,dedecms是由於本人的系統設計問題,建議使用商業版或自行建立索引等,現在大資料首選帝國cms或phpcms。

本文位址: /shujuku/mysql/117385.html

提高mysql插入資料的速度

需要在mysql中插入2000萬條記錄,用insert語句插入速度很有限,每秒鐘幾百條,放在hadoop集群上跑也是這個速度,可能是資料庫的問題了,網上看到sql server和oracle的insert速度也不是很快。比較簡單的優化方法如下 1 在一條insert語句中插入多條記錄 insert ...

mysql新增語句 Mysql中插入資料語句

在mysql中insert into insert into set insert ignore into replace into都是插入資料的語句。insert into 的 sql語法 新增一行資料 如果資料時字元型,需要加上單 雙引號 insert into table name field...

mysql 提高mysql語句效率的技巧

一 大批量插入資料 1.大批量資料插入空表,可將表設定成為myisam,並通過disable keys將唯一索引關閉 2.大批量資料插入非空innodb表,可採取如下措施提高效率 1 匯入資料時按照主鍵順序排列 2 匯入資料前使用set unique checks 0,關閉唯一性校驗,匯入後恢復 3...