海量資料處理專題（七） 資料庫索引及優化

索引是對資料庫表中一列或多列的值進行排序的一種結構，使用索引可快速訪問資料庫表中的特定資訊。

什麼是索引

資料庫索引好比是一本書前面的目錄，能加快資料庫的查詢速度。

例如這樣乙個查詢：select * from table1 where id=44。如果沒有索引，必須遍歷整個表，直到id等於44的這一行被找到為止;有了索引之後(必須是在id這一列上建立的索引)，直接在索引裡面找 44(也就是在id這一列找)，就可以得知這一行的位置，也就是找到了這一行。可見，索引是用來定位的。

索引分為聚簇索引和非聚簇索引兩種，聚簇索引 是按照資料存放的物理位置為順序的，而非聚簇索引就不一樣了;聚簇索引能提高多行檢索的速度，而非聚簇索引對於單行的檢索很快。

概述建立索引的目的是加快對錶中記錄的查詢或排序。

為表設定索引要付出代價的：一是增加了資料庫的儲存空間，二是在插入和修改資料時要花費較多的時間(因為索引也要隨之變動)。

b樹索引-sql server索引方式

為什麼要建立索引

建立索引可以大大提高系統的效能。

第一，通過建立唯一性索引，可以保證資料庫表中每一行資料的唯一性。

第二，可以大大加快資料的檢索速度，這也是建立索引的最主要的原因。

第三，可以加速表和表之間的連線，特別是在實現資料的參考完整性方面特別有意義。

第四，在使用分組和排序子句進行資料檢索時，同樣可以顯著減少查詢中分組和排序的時間。

第五，通過使用索引，可以在查詢的過程中，使用優化隱藏器，提高系統的效能。

第一，建立索引和維護索引要耗費時間，這種時間隨著資料量的增加而增加。

第二，索引需要佔物理空間，除了資料表佔資料空間之外，每乙個索引還要佔一定的物理空間，如果要建立聚簇索引，那麼需要的空間就會更大。

第三，當對表中的資料進行增加、刪除和修改的時候，索引也要動態的維護，這樣就降低了資料的維護速度。

索引是建立在資料庫表中的某些列的上面。在建立索引的時候，應該考慮在哪些列上可以建立索引，在哪些列上不能建立索引。一般來說，應該在這些列上建立索引：

在經常需要搜尋的列上，可以加快搜尋的速度;

在作為主鍵的列上，強制該列的唯一性和組織表中資料的排列結構;

在經常用在連線的列上，這些列主要是一些外來鍵，可以加快連線的速度;在經常需要根據範圍進行搜尋的列上建立索引，因為索引已經排序，其指定的範圍是連續的;

在經常需要排序的列上建立索引，因為索引已經排序，這樣查詢可以利用索引的排序，加快排序查詢時間;

在經常使用在where子句中的列上面建立索引，加快條件的判斷速度。

同樣，對於有些列不應該建立索引。一般來說，不應該建立索引的的這些列具有下列特點：

第一，對於那些在查詢中很少使用或者參考的列不應該建立索引。這是因為，既然這些列很少使用到，因此有索引或者無索引，並不能提高查詢速度。相反，由於增加了索引，反而降低了系統的維護速度和增大了空間需求。

第二，對於那些只有很少資料值的列也不應該增加索引。這是因為，由於這些列的取值很少，例如人事表的性別列，在查詢的結果中，結果集的資料行佔了表中資料行的很大比例，即需要在表中搜尋的資料行的比例很大。增加索引，並不能明顯加快檢索速度。

第三，對於那些定義為text, image和bit資料型別的列不應該增加索引。這是因為，這些列的資料量要麼相當大，要麼取值很少,不利於使用索引。

第四，當修改效能遠遠大於檢索效能時，不應該建立索引。這是因為，修改效能和檢索效能是互相矛盾的。當增加索引時，會提高檢索效能，但是會降低修改效能。當減少索引時，會提高修改效能，降低檢索效能。因此，當修改操作遠遠多於檢索操作時，不應該建立索引。

此外，除了資料庫索引之外，在lamp結果如此流行的今天，資料庫(尤其是mysql)效能優化也是海量資料處理的乙個熱點。下面就結合自己的經驗，聊一聊mysql資料庫優化的幾個方面。

首先，在資料庫設計的時候，要能夠充分的利用索引帶來的效能提公升，至於如何建立索引，建立什麼樣的索引，在哪些欄位上建立索引，上面已經講的很清楚了，這裡不在贅述。另外就是設計資料庫的原則就是盡可能少的進行資料庫寫操作(插入，更新，刪除等)，查詢越簡單越好。如下：

資料庫設計

其次，配置快取是必不可少的，配置快取可以有效的降低資料庫查詢讀取次數，從而緩解資料庫伺服器壓力，達到優化的目的，一定程度上來講，這算是乙個「圍魏救趙」的辦法。可配置的快取包括索引快取(key_buffer)，排序快取(sort_buffer)，查詢快取(query_buffer)，表描述符快取(table_cache)，如下圖：

配置快取

第三，切表，切表也是一種比較流行的資料庫優化方法。分表包括兩種方式：橫向分表和縱向分表，其中，縱向分表比較有使用意義，但是分表會造成查詢的負擔，因此在資料庫設計之初，要想好：

分表第四，日誌分析，在資料庫執行了較長一段時間以後，會積累大量的log日誌，其實這裡面的蘊涵的有用的資訊量還是很大的。通過分析日誌，可以找到系統效能的瓶頸，從而進一步尋找優化方案。

效能分析

以上講的都是單機mysql的效能優化的一些經驗，但是隨著資訊大**，單機的資料庫伺服器已經不能滿足我們的需求，於是，多多節點，分布式資料庫網路出現了，其一般的結構如下：

分布式資料庫結構

這種分布式集群的技術關鍵就是「同步複製」。。。未完待續~~~

海量資料處理專題（七） 資料庫索引及優化

索引是對資料庫表中一列或多列的值進行排序的一種結構，使用索引可快速訪問資料庫表中的特定資訊。資料庫索引好比是一本書前面的目錄，能加快資料庫的查詢速度。例如這樣乙個查詢 select from table1 where id 44。如果沒有索引，必須遍歷整個表，直到id等於44的這一行被找到為止 有了...

海量資料處理之資料庫索引

一，什麼是索引 資料庫索引好比是一本書前面的目錄，能加快資料庫的查詢速度。例如這樣乙個查詢 select from table1 where id 44。如果沒有索引，必須遍歷整個表，直到id等於44的這一行被找到為止 有了索引之後 必須是在id這一列上建立的索引 直接在索引裡面找44 也就是在id...

海量資料處理 倒排索引

在資訊大 的今天，有了搜尋引擎的幫助，使得我們能夠快速，便捷的找到所求。提到搜尋引擎，就不得不說vsm模型，說到vsm，就不得不聊倒排索引。可以毫不誇張的講，倒排索引是搜尋引擎的基石。vsm全稱是vector space model 向量空間模型 是ir information retrieval資...