有哪些方式加速大資料查詢速度

2021-09-26 15:32:10 字數 398 閱讀 6414

一般的大資料都是躺在磁碟上,一般是通過key的partition找到對應region,然後再找每個小分片檔案,總之會比較慢。

1. 一般會在記憶體中有一些資料,然後還有一些是快取,然後再是查小檔案,而且小檔案是有序的

2. 對於列式儲存,分不同的rowkey進行**,不同的列簇也是存在不同檔案的,這樣能做到

參考hbase的查詢方式:

hbase寫很快,讀相對慢一些,尤其是沒有命中記憶體和快取的

如果是還在快取中的資料,讀是很快的,

如果是memstore中(剛寫的,還沒到一定量要寫檔案,寫了檔案之後就清記憶體了),也會很快

否則,相對就慢了,但是第一次從檔案讀了之後,放在cache中;

3. 多步查詢之間,中間資料不落磁碟,都放在記憶體中   這是很多mpp查詢做的。

提高mysql資料查詢速度

1,建立索引 2,盡量避免在 where 子句中使用 或 操作符,否則將引擎放棄使用索引而進行全表掃瞄。3,盡量避免在 where 子句中使用 or 來連線條件,否則將導致引擎放棄使用索引而進行全表掃瞄,如 select id from t where num 10 or num 20 可以這樣查詢...

django shell 方式資料查詢

一。table.objects.get 方法是從資料庫的取得乙個匹配的結果,返回乙個物件,如果記錄不存在的話,它會報錯。而且該方法為完全匹配查詢。若通過該方法進行模糊查詢,會報 doesnotexist event matching query does not exist.的異常。舉例 1.完全匹...

大資料查詢優化方案

1 儲存過程 2 建索引 3 分割槽 把資料分成幾個區存放,搜尋的結果合併。做表分割槽,縮小查詢範圍 按乙個有效字段分割槽,比如按月份 4 表空間 5 我們以前大資料量的解決方案是 把資料分批查出來,一次性查出來是沒有什麼好的解決辦法。6 like 必定掃全表 7 硬體 公升級伺服器,有這麼多資料的...