DDIA讀書筆記 3 資料儲存與檢索

2021-10-14 12:10:25 字數 558 閱讀 9999

構建和維護sstables:

如何避免資料庫崩潰時,在記憶體中的記憶體表資料丟失?

lsm儲存引擎(log-structured merge-tree):基於合併和壓縮進序檔案原理的儲存引擎

lsm補充

lucene中,從詞條到posting list的對映關係儲存在類sstable的排序檔案中,這些檔案在後台合併

效能優化方法:

可靠性:

優化b樹:

lsm樹的缺點

聚集索引和非聚集索引

多列索引

全文搜尋和模糊索引

記憶體資料庫

olap產品:teradata、sap haha等,基於hadoop的sql專案如hive,spark sql、facebook presto、apache tajo和apache drill等

星型與雪花型olap模式

資料倉儲表通常非常寬

、壓縮和排序有助於加速讀取,但導致寫入困難

DDIA讀書筆記 第五章 資料同步

通常主節點負責寫入,從節點負責讀取,主節點的資訊需要同步給從節點。主從同步按照同步方式可以分為同步同步,非同步同步,半同步同步。同步同步需要等待從節點返回確認資訊,才可以進行下一次同步,非同步同步則不需要。半同步同步則是部分節點同步同步,部分節點非同步同步,在吞吐量和一致性方面做了乙個折中。基於語句...

(DDIA)資料儲存與檢索(一)

乙個資料庫最基本的要具有兩個功能 當你給它一些資料的時候它可以幫你儲存資料,之後當你需要這些資料時,他可以返回給你所需要的資料。你 應用程式開發人員 向資料庫提供固定格式的資料,稍後你就可以再次請求獲取這些資料。在本章中,我們將從資料庫的角度討論以下問題 資料庫如何儲存我們所給出的資料,以及當我們需...

讀書筆記3

1.資料治理的本質 資料治理的本質是組織對資料的可用性 完整性和安全性的整體管理。可用性指資料可用 可信且有質量保證,不會因為分析結果的準確性造成偏差,從業者可以放心地根據資料結果做業務決策 完整性分為兩個方面,一方面指資料需覆蓋各類資料應用的需要,另一方面指不會因為資料治理沒有到位而造成資料資產的...