MySQL單錶百萬資料記錄分頁效能優化

2021-07-22 21:50:45 字數 2230 閱讀 7842

先讓我們熟悉下基本的sql語句,來檢視下我們將要測試表的基本資訊

use infomation_schema

select * from tables where table_schema = 『dbname』 and table_name = 『product』

查詢結果:

從上圖中我們可以看到表的基本資訊:

錶行數:866633

平均每行的資料長度:5133位元組

單錶大小:4448700632位元組

關於行和表大小的單位都是位元組,我們經過計算可以知道

平均行長度:大約5k

單錶總大小:4.1g

表中字段各種型別都有varchar、datetime、text等,id欄位為主鍵

select * from product limit start, count

當起始頁較小時,查詢沒有效能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執行時間(每頁取20條), 如下:

select

*from

product

limit10,

200.016秒

select

*from

product

limit

100,

200.016秒

select

*from

product

limit

1000,20

0.047秒

select

*from

product

limit

10000,20

0.094秒

我們已經看出隨著起始記錄的增加,時間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關係的,那麼我們把起始記錄改為40w看下(也就是記錄的一般左右)

select * from product limit 400000, 20   3.229秒

再看我們取最後一頁記錄的時間

select * from product limit 866613, 20   37.44秒

難怪搜尋引擎抓取我們頁面的時候經常會報超時,像這種分頁最大的頁碼頁顯然這種時間是無法忍受的。

從中我們也能總結出兩件事情:

1)limit語句的查詢時間與起始記錄的位置成正比

2)mysql的limit語句是很方便,但是對記錄很多的表並不適合直接使用。

利用表的覆蓋索引來加速分頁查詢

我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那麼這種情況會查詢很快。

因為利用索引查詢有優化演算法,且資料就在查詢索引上面,不用再去找相關的資料位址了,這樣節省了很多時間。另外mysql中也有相關的索引快取,在併發高的時候利用快取就效果更好了。

在我們的例子中,我們知道id欄位是主鍵,自然就包含了預設的主鍵索引。現在讓我們看看利用覆蓋索引的查詢效果如何:

這次我們之間查詢最後一頁的資料(利用覆蓋索引,只包含id列),如下:

select id from product limit 866613, 20 0.2秒

相對於查詢了所有列的37.44秒,提公升了大概100多倍的速度

那麼如果我們也要查詢所有列,有兩種方法,一種是id>=的形式,另一種就是利用join,看下實際情況:

select * from product where id > =(select id from product limit 866613, 1) limit 20

查詢時間為0.2秒,簡直是乙個質的飛躍啊,哈哈

另一種寫法

select * from product a join (select id from product limit 866613, 20) b on a.id = b.id

查詢時間也很短,贊!

其實兩者用的都是乙個原理嘛,所以效果也差不多。

MySQL單錶百萬資料記錄分頁效能優化

自己的乙個 由於單錶的資料記錄高達了一百萬條,造成資料訪問很慢,google分析的後台經常報告超時,尤其是頁碼大的頁面更是慢的不行。先讓我們熟悉下基本的sql語句,來檢視下我們將要測試表的基本資訊 use infomation schema select from tables where tabl...

MySQL單錶百萬資料記錄分頁效能優化

自己的乙個 由於單錶的資料記錄高達了一百萬條,造成資料訪問很慢,google分析的後台經常報告超時,尤其是頁碼大的頁面更是慢的不行。先讓我們熟悉下基本的sql語句,來檢視下我們將要測試表的基本資訊 use infomation schema select from tables where tabl...

MySQL單錶百萬資料記錄分頁效能優化

原文 自己的乙個 由於單錶的資料記錄高達了一百萬條,造成資料訪問很慢,google分析的後台經常報告超時,尤其是頁碼大的頁面更是慢的不行。先讓我們熟悉下基本的sql語句,來檢視下我們將要測試表的基本資訊 use infomation schema select from tables where t...