任何拋開業務談大資料量的sql優化都是瞎扯

2022-01-20 12:54:35 字數 302 閱讀 8522

面試人員告訴我,比如說我們的機票業務,我們只把北上廣熱門城市的放在快取中,實時重新整理即可。其他的每次去查詢資料庫即可,不必一次把所有的資料全部連線出來放到記憶體中。

我只能呵呵了,沒有業務讓我去優化乙個sql,這不是扯淡麼。

關於這種大資料量優化問題,讓我理解最深刻就是分表做法。因為我們公司有個業務需要實時上傳資料,每天小百萬資料,而且還要做查詢。於是分表來做,每天生成一張表,然後把前一天的表新增索引,查詢的時候可以根據日期來獲取表名。盡量少查詢當天資料,因為沒有索引比較慢。新增索引的話因為實時插入資料,索引的維護代價比較大,所以選擇第二天新增前一天表的索引。

sql中的大資料量資料提速

最近做個專案接近千萬條資料,對資料的讀取速度,要求比較高。對此作了乙個簡單的總結。1.sql語句書寫的我們應該注意,盡量少使用in or 和虛擬表。也有高人說,盡量多使用臨時表能夠減少磁碟的i o操作,這個還有待驗證 2.建立索引,通常我們會把,聚集索引建立在使用多,但出現少的字段上。例如 時間 3...

SQL大資料量分頁效能優化

目前在進行web api唯讀介面的改造,在改造過程中,發現改在後響應時間和之前區別不是很大,通過測試結果顯示在sql的分頁功能處找到原因,並對其進行優化,優化方案如下。測試內容 此次執行時間對比採用平台資金記錄最多的使用者 user id 36062 測試次數未5次 為避免索引快取每次測試前更改 l...

SQL 大資料量的優化例子討論

今天在itput上看了一篇文章,是討論乙個語句的優化 優化的語句 請問以下語句如何優化 create table aa 001 ip varchar2 28 name varchar2 10 password varchar2 30 select from aa 001 where ip in 1 ...