mysql千萬級資料分頁查詢效能優化

2022-07-01 22:03:10 字數 2494 閱讀 9406

1.   直接用limit start, count分頁語句, 也是我程式中用的方法:

select * from product limit start, count

當起始頁較小時,查詢沒有效能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執行時間(每頁取20條), 如下:

select * from product limit 10, 20   0.016秒

select * from product limit 100, 20 0.016秒

select * from product limit 1000, 20 0.047秒

select * from product limit 10000, 20 0.094秒

我們已經看出隨著起始記錄的增加,時間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關係的,那麼我們把起始記錄改為40w看下(也就是記錄的一般左右)                                    

select * from product limit 400000, 20   3.229秒

再看我們取最後一頁記錄的時間

select * from product limit 866613, 20   37.44秒

難怪搜尋引擎抓取我們頁面的時候經常會報超時,像這種分頁最大的頁碼頁顯然這種時間是無法忍受的。

從中我們也能總結出兩件事情:

1)limit語句的查詢時間與起始記錄的位置成正比

2)mysql的limit語句是很方便,但是對記錄很多的表並不適合直接使用。

2.   對limit分頁問題的效能優化方法

利用表的覆蓋索引來加速分頁查詢

我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那麼這種情況會查詢很快。

在我們的例子中,我們知道id欄位是主鍵,自然就包含了預設的主鍵索引。現在讓我們看看利用覆蓋索引的查詢效果如何:

這次我們之間查詢最後一頁的資料(利用覆蓋索引,只包含id列),如下:

select id from product limit 866613, 20 0.2秒

相對於查詢了所有列的37.44秒,提公升了大概100多倍的速度

那麼如果我們也要查詢所有列,有兩種方法,一種是id>=的形式,另一種就是利用join,看下實際情況:

select * from product where id > =(select id from product limit 866613, 1) limit 20

查詢時間為0.2秒,簡直是乙個質的飛躍啊,哈哈

另一種寫法

select * from product a join (select id from product limit 866613, 20) b on a.id = b.id

查詢時間也很短,贊!

其實兩者用的都是乙個原理嘛,所以效果也差不多

mysql的分頁查詢十分簡單,但是當資料量大的時候一般的分頁就吃不消了。

傳統分頁查詢:select c1,c2,cn… from table limit n,m

mysql的limit工作原理就是先讀取前面n條記錄,然後拋棄前n條,讀後面m條想要的,所以n越大,偏移量越大,效能就越差。

1、盡量給出查詢的大致範圍

select c1,c2,cn... from table where id>=20000 limit 10;

2、子查詢法

select c1,c2,cn... from table where id>=(select id from table limit 20000,1)limit 10;

3、高效能mysql一書中提到的唯讀索引方法

優化前sql:

select c1,c2,cn... from member order by last_active limit 50,5

優化後sql:

select c1, c2, cn .. .

from member

inner join (select member_id from member order by last_active limit 50, 5)

using (member_id)

分別在於,優化前的sql需要更多i/o浪費,因為先讀索引,再讀資料,然後拋棄無需的行。而優化後的sql(子查詢那條)唯讀索引(cover index)就可以了,然後通過member_id讀取需要的列。

4、第一步用用程式讀取出id,然後再用in方法讀取所需記錄

程式讀id:

select id from table limit 20000, 10;

select c1, c2, cn .. . from table where id in (id1, id2, idn.. .)

MySQL處理千萬級資料查詢 分頁

mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是乙個基本的新聞系統的簡單模型。現在往裡面填充資料,填...

MySQL處理千萬級資料查詢 分頁

mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是乙個基本的新聞系統的簡單模型。現在往裡面填充資料,填...

MySQL處理千萬級資料查詢 分頁

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是...