什麼原因才導致 select 效率低下的

2021-10-18 23:58:40 字數 3529 閱讀 8294

面試官:「小陳,說一下你常用的sql優化方式吧。」

陳小哈:「那很多啊,比如不要用select *,查詢效率低。巴拉巴拉…」

面試官:「為什麼不要用select * ?它在哪些情況下效率低呢?」

陳小哈:「select * 它好像比寫指定列名多一次全表查詢吧,還多查了一些無用的字段。」

面試官:「嗯…」

陳小哈:「emmm~ 沒了」

陳小哈:「…??(幾個意思)」

面試官:「嗯…好,那你還有什麼要問我的麼?」

陳小哈:「我問你個錘子,把老子簡歷還我!」

無論在工作還是面試中,關於sql中不要用「select *」,都是大家聽爛了的問題,雖說聽爛了,但普遍理解還是在很淺的層面,並沒有多少人去追根究底,**其原理。

廢話不多說,本文帶你深入了解一下"select * "效率低的原因及場景。

本文很幹!請自備茶水,沒時間看記得先收藏 – 來自一位被技術經理毒打多年的程式設計師的忠告

目錄一、效率低的原因

不需要的列會增加資料傳輸時間和網路開銷

對於無用的大字段,如 varchar、blob、text,會增加 io 操作

失去mysql優化器「覆蓋索引」策略優化的可能性

二、索引知識延申

● 聯合索引 (a,b,c)

● 聯合索引的優勢

1) 減少開銷

2)覆蓋索引

3)效率高

● 索引是建的越多越好嗎

三、心得體會

4 - 1. 【強制】在表查詢中,一律不要使用 * 作為查詢的字段列表,需要哪些字段必須明確寫明。

說明:增加查詢分析器解析成本。

增減字段容易與 resultmap 配置不一致。

無用字段增加網路 消耗,尤其是 text 型別的字段。

開發手冊中比較概括的提到了幾點原因,讓我們深入一些看看:

增大網路開銷;* 有時會誤帶上如log、iconmd5之類的無用且大文字字段,資料傳輸size會幾何增漲。如果db和應用程式不在同一臺機器,這種開銷非常明顯

即使 mysql 伺服器和客戶端是在同一臺機器上,使用的協議還是 tcp,通訊也是需要額外的時間。

對於無用的大字段,如 varchar、blob、text,會增加 io 操作

準確來說,長度超過 728 位元組的時候,會先把超出的資料序列化到另外乙個地方,因此讀取這條記錄會增加一次 io 操作。(mysql innodb)

失去mysql優化器「覆蓋索引」策略優化的可能性

select * 杜絕了覆蓋索引的可能性,而基於mysql優化器的「覆蓋索引」策略又是速度極快,效率極高,業界極為推薦的查詢優化方式。

例如,有乙個表為t(a,b,c,d,e,f),其中,a為主鍵,b列有索引。

那麼,在磁碟上有兩棵 b+ 樹,即聚集索引和輔助索引(包括單列索引、聯合索引),分別儲存(a,b,c,d,e,f)和(a,b),如果查詢條件中where條件可以通過b列的索引過濾掉一部分記錄,查詢就會先走輔助索引,如果使用者只需要a列和b列的資料,直接通過輔助索引就可以知道使用者查詢的資料。

如果使用者使用select *,獲取了不需要的資料,則首先通過輔助索引過濾資料,然後再通過聚集索引獲取所有的列,這就多了一次b+樹查詢,速度必然會慢很多。

取自博《我去,為什麼最左字首原則失效了?》

由於輔助索引的資料比聚集索引少很多,很多情況下,通過輔助索引進行覆蓋索引(通過索引就能獲取使用者需要的所有列),都不需要讀磁碟,直接從記憶體取,而聚集索引很可能資料在磁碟(外存)中(取決於buffer pool的大小和命中率),這種情況下,乙個是記憶體讀,乙個是磁碟讀,速度差異就很顯著了,幾乎是數量級的差異。

二、索引知識延申

上面提到了輔助索引,在mysql中輔助索引包括單列索引、聯合索引(多列聯合),單列索引就不再贅述了,這裡提一下聯合索引的作用

聯合索引 (a,b,c)

聯合索引 (a,b,c) 實際建立了 (a)、(a,b)、(a,b,c) 三個索引

我們可以將組合索引想成書的一級目錄、二級目錄、**目錄,如index(a,b,c),相當於a是一級目錄,b是一級目錄下的二級目錄,c是二級目錄下的**目錄。要使用某一目錄,必須先使用其上級目錄,一級目錄除外。

如下:

聯合索引的優勢

1) 減少開銷

建乙個聯合索引 (a,b,c) ,實際相當於建了 (a)、(a,b)、(a,b,c) 三個索引。每多乙個索引,都會增加寫操作的開銷和磁碟空間的開銷。對於大量資料的表,使用聯合索引會大大的減少開銷!

2)覆蓋索引

對聯合索引 (a,b,c),如果有如下 sql 的,

select a,b,c from table where a=『xx』 and b = 『xx』;

那麼 mysql 可以直接通過遍歷索引取得資料,而無需回表,這減少了很多的隨機 io 操作。減少 io 操作,特別是隨機 io 其實是 dba 主要的優化策略。所以,在真正的實際應用中,覆蓋索引是主要的提公升效能的優化手段之一。

3)效率高

索引列多,通過聯合索引篩選出的資料越少。比如有 1000w 條資料的表,有如下sql:

select col1,col2,col3 from table where col1=1 and col2=2 and col3=3;

假設:假設每個條件可以篩選出 10% 的資料。

a. 如果只有單列索引,那麼通過該索引能篩選出 1000w10%=100w 條資料,然後再回表從 100w 條資料中找到符合 col2=2 and col3= 3 的資料,然後再排序,再分頁,以此類推(遞迴);

b. 如果是(col1,col2,col3)聯合索引,通過三列索引篩選出 1000w10% 10% *10%=1w,效率提公升可想而知!

索引是建的越多越好嗎

答案自然是否定的

資料量小的表不需要建立索引,建立會增加額外的索引開銷

不經常引用的列不要建立索引,因為不常用,即使建立了索引也沒有多大意義

經常頻繁更新的列不要建立索引,因為肯定會影響插入或更新的效率

資料重複且分布平均的字段,因此他建立索引就沒有太大的效果(例如性別字段,只有男女,不適合建立索引)

資料變更需要維護索引,意味著索引越多維護成本越高。

更多的索引也需要更多的儲存空間

三、心得體會

相信能看到這裡這老鐵要麼是對mysql有著一腔熱血的,要麼就是喜歡滾滑鼠的。來了就是緣分,如果從本文學到了東西,請不要吝嗇手中的贊哦,拒絕白嫖~

有朋友問我,你對sql規範那麼上心,平時你寫**不會用select * 吧?

咋可能啊,天天用。。**裡也在用(一臉羞愧),其實我們的專案普遍很小,資料量也上不去,效能上還沒有遇到瓶頸,所以比較放縱。

順便吹波牛b,謝謝各位。

什麼原因導致晶元短路 什麼原因導致熔噴布出現沙眼

由於疫情的原因,國內很多企業選擇跨界到熔噴布行業,但 隔行如隔山 在原有的行業做得風生水起,生產熔噴布卻頻頻受挫,遇到問題不知所措。特別是做出的熔噴布有沙眼 結晶,令熔噴布生產商十分頭疼。今天,天乙堂小錢 在這裡 熔噴布有沙眼怎麼回事,以及解決方法,希望在熔噴工藝上能幫到大家。熔噴布生產加工工藝的控...

什麼原因導致晶元短路 廚房牆磚裂是什麼原因導致的

一 廚房牆磚裂是什麼原因導致的 1 陽角處碰角磨邊時操作不謹慎。在廚房牆面上,有陽角處的瓷磚鋪貼,可能是在陰陽角拐角處鏈結的地方,45度角時不夠謹慎,從而破壞了瓷磚的胚釉結合層,在牆面瓷磚鋪貼的邊緣,出現龜裂的情況,後期也容易出現瓷磚開裂掉磚的情況。陽角處瓷磚45度碰角貼得太緊,瓷磚與瓷磚之間沒有足...

是什麼原因導致404頁面的出現呢

什麼是404頁面 概括的來講,就是當你開啟乙個 的內頁,這個頁面不存在或者出現問題時,所跳轉的當前頁面稱之為404頁面。404頁面的作用 它的作用主要目的就是提高使用者粘度 站長不想讓使用者看到錯誤頁面時,就直接右上角x號了,而是通過404頁面將使用者轉移到其他頁面去,這樣就增加了使用者的體驗度,相...