MySQL大資料量分頁查詢方法及其優化

2021-09-07 17:17:06 字數 3553 閱讀 3721

1、直接使用資料庫提供的sql語句

語句樣式: mysql中,可用如下方法: select * from 表名稱 limit m,n

適應場景: 適用於資料量較少的情況(元組百/千級)

原因/缺點: 全表掃瞄,速度會很慢,且有的資料庫結果集返回不穩定(如某次返回1,2,3,另外的一次返回2,1,3),limit限制的是從結果集的m位置處取出n條輸出,其餘拋棄。

//

是用limit函式

//取前5條資料

select * from table_name limit 0,5

//或者

select * from table_name limit 5

//查詢第11到第15條資料

select * from table_name limit 10,5

limit關鍵字的用法:limit [offset,] rows

offset指定要返回的第一行的偏移量,rows第二個指定返回行的最大數目。初始行的偏移量是0(不是1)

2、建立主鍵或唯一索引, 利用索引(假設每頁10條)

語句樣式:可用如下方法:select * from 表名稱 where id_pk > (pagenum*10) limit m

適應場景:適用於資料量多的情況(元組數上萬)

原因:索引掃瞄,速度會很快。有朋友提出:因為資料查詢出來並不是按照pk_id排序的,所以會有漏掉資料的情況,只能方法3

3、基於索引再排序

語句樣式:可用如下方法: select * from 表名稱 where id_pk > (pagenum*10) order by id_pk asc limit m

適應場景: 適用於資料量多的情況(元組數上萬),最好order by後的列物件是主鍵或唯一索引,使得order by操作能利用索引被消除但結果集是穩定的

原因:索引掃瞄,速度會很快。

4、基於索引使用prepare(第乙個問號表示pagenum,第二個?表示每頁元組數)

語句樣式:mysql中,可用如下方法: prepare stmt_name from select * from 表名稱 where id_pk > (?* ?) order by id_pk asc limit m

適應場景:大資料量

原因:索引掃瞄,速度會很快。prepare語句又比一般的查詢語句快一點。

5、利用mysql支援order操作可以利用索引快速定位部分元組,避免全表掃瞄

比如: 讀第1000到1019行元組(pk是主鍵/唯一鍵).

select * from your_table where pk>=1000 order by pk asc limit 0,20

6、利用"子查詢/連線+索引"快速定位元組的位置,然後再讀取元組。

道理同方法5。如(id是主鍵/唯一鍵,$page、$pagesize是變數):

利用子查詢示例:

select * from your_table where id <= 

(select id from your_table order by id desc limit ($page-1)*$pagesize order by id desc limit $pagesize

利用連線示例:

select * from your_table as t1 

join (select id from your_table order by id desc limit ($page-1)*$pagesize as t2 

where t1.id <= t2.id order by t1.id desc limit $pagesize;

mysql大資料量使用limit分頁,隨著頁碼的增大,查詢效率越低下。

1、直接用limit start, count分頁語句:

select * from product limit start, count

當起始頁較小時,查詢沒有效能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執行時間(每頁取20條), 如下:

select * from product limit 10, 20

0.016秒

select * from product limit 100, 20

0.016秒

select * from product limit 1000, 20

0.047秒

select * from product limit 10000, 20

0.094秒

//我們已經看出隨著起始記錄的增加,時間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關係的,那麼我們把起始記錄改為40w看下(也就是記錄的一般左右)

select * from product limit 400000, 20

3.229秒

//再看我們取最後一頁記錄的時間

select * from product limit 866613, 20

37.44秒

//像這種分頁最大的頁碼頁顯然這種時間是無法忍受的。

從中我們也能總結出兩件事情:

(1)limit語句的查詢時間與起始記錄的位置成正比

(2)mysql的limit語句是很方便,但是對記錄很多的表並不適合直接使用。

2、對limit分頁問題的效能優化方法

利用表的覆蓋索引來加速分頁查詢:我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那麼這種情況會查詢很快。

因為利用索引查詢有優化演算法,且資料就在查詢索引上面,不用再去找相關的資料位址了,這樣節省了很多時間。另外mysql中也有相關的索引快取,在併發高的時候利用快取就效果更好了。

在我們的例子中,我們知道id欄位是主鍵,自然就包含了預設的主鍵索引。現在讓我們看看利用覆蓋索引的查詢效果如何:

//

這次我們之間查詢最後一頁的資料(利用覆蓋索引,只包含id列),如下:

select id from product limit 866613, 20

0.2秒

//相對於查詢了所有列的37.44秒,提公升了大概100多倍的速度

//那麼如果我們也要查詢所有列,有兩種方法,

//一種是id>=的形式,

//另一種就是利用join,看下實際情況:

select * from product where id > =(select id from product limit 866613, 1) limit 20

//查詢時間為0.2秒!

//另一種寫法

select * from product a join (select id from product limit 866613, 20) b on a.id =b.id

//查詢時間也很短!

mysql大資料量分頁查詢優化

參考文章 mysql的分頁查詢十分簡單,但是當資料量大的時候一般的分頁就吃不消了。傳統分頁查詢 select c1,c2,cn from table limit n,m mysql的limit工作原理就是先讀取前面n條記錄,然後拋棄前n條,讀後面m條想要的,所以n越大,偏移量越大,效能就越差。1 盡...

mysql大資料量分頁查詢優化

參考文章 mysql的分頁查詢十分簡單,但是當資料量大的時候一般的分頁就吃不消了。傳統分頁查詢 select c1,c2,cn from table limit n,m mysql的limit工作原理就是先讀取前面n條記錄,然後拋棄前n條,讀後面m條想要的,所以n越大,偏移量越大,效能就越差。1 盡...

MySQL大資料量分頁查詢方法及其優化

第乙個問號表示pagenum,第二個?表示每頁元組數 比如 讀第1000到1019行元組 pk是主鍵 唯一鍵 select from your table where pk 1000 order by pk asc limit 0,20 比如 id是主鍵 唯一鍵,藍色字型時變數 利用子查詢示例 se...