技術分享 InnoDB 排序索引的構建

2021-09-26 02:55:03 字數 3858 閱讀 5234

翻譯:管長龍

從 mysql 5.7 開始,開發人員改變了 innodb 構建二級索引的方式,採用自下而上的方法,而不是早期版本中自上而下的方法了。在這篇文章中,我們將通過乙個示例來說明如何構建 innodb 索引。最後,我將解釋如何通過為 innodb_fill_factor 設定更合適的值。

在有資料的表上構建索引,innodb 中有以下幾個階段:

1.讀取階段(從聚簇索引讀取並構建二級索引條目) 2.合併排序階段 3.插入階段(將排序記錄插入二級索引)

在 5.6 版本之前,mysql 通過一次插入一條記錄來構建二級索引。這是一種「自上而下」的方法。搜尋插入位置從樹的根部(頂部)開始並達到葉頁(底部)。該記錄插入游標指向的葉頁上。在查詢插入位置和進行業面拆分和合併方面開銷很大。從mysql 5.7開始,新增索引期間的插入階段使用「排序索引構建」,也稱為「批量索引載入」。在這種方法中,索引是「自下而上」構建的。即葉頁(底部)首先構建,然後非葉級別直到根(頂部)。

在這些情況下使用排序的索引構建:

對於最後兩個用例,alter 會建立乙個中間表。中間表索引(主要和次要)使用「排序索引構建」構建。

在 0 級別建立頁,還要為此頁建立乙個游標

使用 0 級別處的游標插入頁面,直到填滿

頁面填滿後,建立乙個兄弟頁(不要插入到兄弟頁)

為當前的整頁建立節點指標(子頁中的最小鍵,子頁碼),並將節點指標插入上一級(父頁)

在較高階別,檢查游標是否已定位。如果沒有,請為該級別建立父頁和游標

在父頁插入節點指標

如果父頁已填滿,請重複步驟 3, 4, 5, 6

現在插入兄弟頁並使游標指向兄弟頁

在所有插入的末尾,每個級別的游標指向最右邊的頁。提交所有游標(意味著提交修改頁面的迷你事務,釋放所有鎖存器)

為簡單起見,上述演算法跳過了有關壓縮頁和 blob(外部儲存的 blob)處理的細節。

為簡單起見,假設子頁和非子頁中允許的最大記錄數為 3

create table t1 (a int primary key, b int, c blob);

insert into t1 values (1, 11, 'hello111');

insert into t1 values (2, 22, 'hello222');

insert into t1 values (3, 33, 'hello333');

insert into t1 values (4, 44, 'hello444');

insert into t1 values (5, 55, 'hello555');

insert into t1 values (6, 66, 'hello666');

insert into t1 values (7, 77, 'hello777');

insert into t1 values (8, 88, 'hello888');

insert into t1 values (9, 99, 'hello999');

insert into t1 values (10, 1010, 'hello101010');

alter table t1 add index k1(b);

innodb 將主鍵字段追加到二級索引。二級索引 k1 的記錄格式為(b, a)。在排序階段完成後,記錄為:

(11,1), (22,2), (33,3), (44,4), (55,5), (66,6), (77,7), (88,8), (99,9), (1010, 10)

讓我們從記錄 (11,1) 開始。

在 0 級別(葉級別)建立頁

建立乙個到頁的游標

所有插入都將轉到此頁面,直到它填滿了

箭頭顯示游標當前指向的位置。它目前位於第 5 頁,下乙個插入將轉到此頁面。

還有兩個空閒插槽,因此插入記錄 (22,2) 和 (33,3) 非常簡單

對於下一條記錄 (44,4),頁碼 5 已滿(前面提到的假設最大記錄數為 3)。這就是步驟。

建立乙個兄弟頁,頁碼 6

不要插入兄弟頁

在游標處提交頁面,即迷你事務提交,釋放鎖存器等

作為提交的一部分,建立節點指標並將其插入到 【當前級別 + 1】 的父頁面中(即在 1 級別)

節點指標的格式 (子頁面中的最小鍵,子頁碼) 。第 5 頁的最小鍵是 (11,1) 。在父級別插入記錄 ((11,1),5)。

1 級別的父頁尚不存在,mysql 建立頁碼 7 和指向頁碼 7 的游標。

將 ((11,1),5) 插入第 7 頁

現在,返回到 0 級並建立從第 5 頁到第 6 頁的鏈結,反之亦然

0 級別的游標現在指向兄弟頁,頁碼為 6

將 (44,4) 插入第 6 頁

下乙個插入 - (55,5) 和 (66,6) - 很簡單,它們轉到第 6 頁。

插入記錄 (77,7) 類似於 (44,4),除了父頁面 (頁面編號 7) 已經存在並且它有兩個以上記錄的空間。首先將節點指標 ((44,4),8) 插入第 7 頁,然後將 (77,7) 記錄到同級 8 頁中。

插入記錄 (88,8) 和 (99,9) 很簡單,因為第 8 頁有兩個空閒插槽。

下乙個插入 (1010,10) 。將節點指標 ((77,7),8) 插入 1級別的父頁(頁碼 7)。

mysql 在 0 級建立同級頁碼 9。將記錄 (1010,10) 插入第 9 頁並將游標更改為此頁面。

以此類推。在上面的示例中,資料庫在 0 級別提交到第 9 頁,在 1 級別提交到第 7 頁。

我們現在有了乙個完整的 b+-tree 索引,它是自下至上構建的!

全域性變數 innodb_fill_factor 用於設定插入 b-tree 頁中的空間量。預設值為 100,表示使用整個業面(不包括頁首)。聚簇索引具有 innodb_fill_factor=100 的免除項。 在這種情況下,聚簇索引也空間的 1 /16 保持空閒。即 6.25% 的空間用於未來的 dml。

值 80 意味著 mysql 使用了 80% 的頁空間填充,預留 20% 於未來的更新。

如果 innodb_fill_factor=100 則沒有剩餘空間供未來插入二級索引。如果在新增索引後,期望表上有更多的 dml,則可能導致業面拆分並再次合併。在這種情況下,建議使用 80-90 之間的值。此變數還會影響使用 optimize table 和 alter table drop column, algoithm=inplace 重新建立的索引。

也不應該設定太低的值,例如低於 50。因為索引會占用浪費更多的磁碟空間,值較低時,索引中的頁數較多,索引統計資訊的取樣可能不是最佳的。優化器可以選擇具有次優統計資訊的錯誤查詢計畫。

沒有頁面拆分(不包括壓縮表)和合併

沒有重複搜尋插入位置

插入不會被重做記錄(頁分配除外),因此重做日誌子系統的壓力較小

alter 正在進行時,插入效能降低bug#82940,但在後續版本中計畫修復。

innodb的索引機制

1 innodb將資料和索引儲存在一起 2 innodb索引是基於b tree的clustered index,b tree中的每個結點儲存key row data innodb中的第二個索引儲存,在搜尋時,先通過key找到pk,再通過pk搜尋b tree的結點,從中找到row data 3 由於聚...

InnoDB的索引模型

在 mysql 中,索引是在儲存引擎層實現的,儲存引擎沒有統一的索引標準,所以在不同儲存引擎中索引的工作方式並不一樣。即使多個儲存引擎支援同一種型別的索引,其底層的實現也可能不同。而在mysql 資料庫中,innodb 儲存引擎的使用最為廣泛,所以我們來了解一下innodb 的索引模型。innodb...

Myisam索引和Innodb索引的區別

首先你要知道 無論是myisam和innodb引擎,如果在建表的時候沒有顯示的定義一行主鍵列的話,他內部都會自動建立乙個隱藏的主鍵索引 主鍵索引以外的索引假設稱為次索引 首先myisam和innodb兩個都是預設採用的btree索引,可以腦補一顆二叉樹 myisam引擎的資料在物理磁碟上是按照順序儲...