sql中的大資料量資料提速

2021-05-22 17:53:04 字數 400 閱讀 9055

最近做個專案接近千萬條資料,對資料的讀取速度,要求比較高。對此作了乙個簡單的總結。

1.sql語句書寫的我們應該注意,盡量少使用in、or、和虛擬表。

(也有高人說,盡量多使用臨時表能夠減少磁碟的i/o操作,這個還有待驗證)

2.建立索引,通常我們會把,聚集索引建立在使用多,但出現少的字段上。(例如:時間) 

3.建立組合索引,組合索引的建立之後,我們在查詢條件上的條件書寫順序要,跟我們建索引的字段順序一樣。

4.使用具有包含列的索引。(引文:

當查詢中的所有列都作為鍵列或非鍵列包含在索引中時,帶有包含性非鍵列的索引可以顯著提高查詢效能。這樣可以實現效能提公升,因為查詢優化器可以在索引中找到所有列值;不訪問表或聚集索引資料,從而減少磁碟 i/o 操作。

5.對資料,按類別進行分割槽。

sql中的大資料量資料提速(二)

資料庫優化 使用索引優化儲存過程 現有資料庫中有乙個儲存過程的查詢時間為25s,最大的乙個表的資料記錄在70 80萬條記錄,感覺還有潛力可以挖掘。經過一系列的優化最後,這個儲存過程的執行時間為3s 4s。下面就講講此次優化的過程。首先是要講一下,這次主要使用到了索引這乙個工具。先說一下索引。一 聚集...

大資料量演算法

給40億個不重複的unsigned int的整數,沒排過序的,然後再給乙個數,如何快速判斷這個數是否在那40億個數當中 位圖思想解法 include stdio.h include stdlib.h include memory.h define max num 4294967295 int mai...

大資料量處理

看看這個,異曲同工,永遠不超時 該程式是針對非常龐大的資料庫開發的,沒有用迴圈 用途 對過萬條資料的資料庫字段內容批量替換 資料庫連線 dim beeyee dbname,connstr,conn,intsn1 dim content,num,intsn,intidno,strcodea,strco...