海量資料讀取方案

2022-09-04 15:09:33 字數 316 閱讀 6543

很久之前面試的時候,遇到這樣乙個問題,從乙個庫表中讀取海量資料的方案是什麼,記不得當時怎麼回答的了,但是應該不是很好的答案。

簡單記錄下方案:

第一點:做分庫分表分割槽

第二點:讀寫分離也是一定的

第三點:冷熱備份,歷史資料備份走,甚至直接清空(特殊情況支援,例如車輛心跳狀態,這種更新很快的資料,歷史資料基本無用了)

第四點:一般這樣量大的資料,不會直接從db裡面讀,這樣效能很差,會同步至es,hbase,然後直接讀取

第五點:索引,即便是同步es,還是需要從db讀取,所以索引的建立,可以提高檢索效能

後面繼續補充吧

海量資料的處理方案

關鍵字 企業海量資料 儲存難題如何解決 企業海量資料 儲存難題如何解決 web2.0的廣泛應用及社交網路的繁榮使得企業資料面臨空前的海量管理難題。ibm發現,到2020年,每個消費個人的 資訊足跡 將從目前的每年 1tb增長到2020年的超過16tb。這使得企業資訊架構不得不全力適應這一新的變化,然...

海量資料解決方案

首先做使用者量估算需求,假如我們做的是學術社群,那麼這個使用者量不會很大,可能我們不需要考慮這個,對於使用者量的級別,我們暫時把使用者量級別定 為三種,百萬級別 m 和千萬界別 s 以及億萬級別 q 並考慮使用者登入驗證以及查詢常用的操作,對m和s進行擴充以及了解。眾所周知,在這個情況下,對於使用者...

ORACLE海量資料轉移方案

海量資料轉移方案 資料傳輸轉移是系統部署經常涉及到的問題,如何實現海量資料高效轉移傳輸呢?下面以郵政內部資源視覺化系統部署過程為例,講解這裡面的實現方法。一 使用傳輸表空間 限制 a 只能傳輸資料,不能傳輸使用者的儲存過程 函式 物理化檢視等。b 表空間必須自包含。該錶空間或者說該組表空間 中的物件...