大資料 資料庫優化

2022-08-26 20:03:10 字數 349 閱讀 5956

1.保證需求功能實現的前提下,減少對資料庫的訪問次數(可以用快取儲存查詢資料,減少訪問次數)。

2.使用搜尋引數,儘量減少對資料庫表的訪問行數,最少化結果集。

3.能夠分開的操作盡量分開處理,提高每次的響應速度

4.使用sql時,盡量把使用的索引放在選擇的首列。

5.演算法的結構盡量簡單

6.在查詢時,不要過多的使用萬用字元,如select * from table,要用到幾列就選擇幾列如:selectcol1,col2 from t1

7.在可能的情況下盡量限制盡量結果集行數如:select top 300 col1,col2,col3 from t1,因為某些情況下使用者是不需要那麼多的資料的。

資料庫 大資料

spark 百萬級的資料,無論側重oltp還是olap,當然就是mysql了。過億級的資料,側重oltp可以繼續mysql,側重olap,就要分場景考慮了。實時計算場景 強調實時性,常用於實時性要求較高的地方,可以選擇storm 批處理計算場景 強調批處理,常用於資料探勘 分析,可以選擇hadoop...

資料庫優化 資料庫設計優化

一 索引優化 1.首先索引不是越多越好,要視情況而定。因為索引會降低insert和update的效率 insert和update有時可能會重建索引。2.乙個表的索參數量最好不要超過6個,擇優而建。3.專案上線後,根據使用者的查詢條件字段稍微調整資料庫中的字段索引。二 分表 1.縱切 根據表字段來且分...

資料庫引擎優化顧問優化資料庫

現在一直在做的專案,資料量相對也不小,開始的時候沒有覺得,因為是剛開始,資料量還很小,在程式使用過程中速度還挺快,但是隨著資料量的不停的增長,發現程式越來越慢,甚至出現了超時的問題,因此要對程式和資料庫進行優化,前期專案比較緊,沒有針對大資料量業務進行分析設計,所以索引等相關優化沒有做到位,通過後期...