行式儲存和列示儲存的區別

2021-08-10 02:22:49 字數 1644 閱讀 7296

列式儲存(columnar or column-based)是相對於傳統關係型資料庫的行式儲存(row-basedstorage)來說的。簡單來說兩者的區別就是如何組織表(翻譯不好,直接抄原文了):

ø  row-based storage stores atable in a sequence of rows.

ø  column-based storage storesa table in a sequence of columns.

下面來看乙個例子:

從上圖可以很清楚地看到,行式儲存下一張表的資料都是放在一起的,但列式儲存下都被分開儲存了。所以它們就有了如下這些優缺點:

行式儲存

列式儲存優點

ø  資料被儲存在一起

ø  insert/update容易

ø  查詢時只有涉及到的列會被讀取

ø  投影(projection)很高效

ø  任何列都能作為索引缺點

ø  選擇(selection)時即使只涉及某幾列,所有資料也都會被讀取

ø  選擇完成時,被選擇的列要重新組裝

ø  insert/update比較麻煩

注:關係型資料庫理論回顧 - 選擇(selection)和投影(projection)

剛才其實跳過了資料裡提到的另一種技術:通過字典表壓縮資料。為了方面後面的講解,這部分也順帶提一下了。

下面中才是那張表本來的樣子。經過字典表進行資料壓縮後,表中的字串才都變成數字了。正因為每個字串在字典表裡只出現一次了,所以達到了壓縮的目的(有點像規範化和非規範化normalize和denomalize)

下面就是最牛的圖了,通過一條查詢的執行過程說明列式儲存(以及資料壓縮)的優點:

關鍵步驟如下:

1.     去字典表裡找到字串對應數字(只進行一次字串比較)。

2.     用數字去列表裡匹配,匹配上的位置設為1。

3.     把不同列的匹配結果進行位運算得到符合所有條件的記錄下標。

4.     使用這個下標組裝出最終的結果集。

傳統的(oracle)行儲存和(hbase)列儲存的區別

1、資料是按行儲存的 

2、沒有索引的查詢使用大量i/o 

3、建立索引和物化檢視需要花費大量時間和資源 

4、面對查詢的需求,資料庫必須被大量膨脹才能滿足效能需求

1、資料按列儲存–每一列單獨存放 

2、資料即是索引 

3、只訪問查詢涉及的列–大量降低系統io 

4、每一列由乙個線索來處理–查詢的併發處理 

5、資料型別一致,資料特徵相似–高效壓縮

列式儲存和行式儲存的區別

列式儲存 columnar or column based 是相對於傳統關係型資料庫的行式儲存 row basedstorage 來說的。簡單來說兩者的區別就是如何組織表 翻譯不好,直接抄原文了 row based storage stores atable in a sequence of row...

列式儲存和行式儲存

行式儲存資料庫和列式儲存資料庫,隨著業務深入,技能增長,經常會碰到,今天來理解一下。列式儲存 clolumn based 和行式儲存 row based 都是相對於對方的,他們的區別是在磁碟的儲存方式不同,所以在讀寫資料時,方式不同,以至於他們的適用場景也都不同。列式儲存資料庫主要包括 hbase,...

行儲存和列儲存的區別

列儲存不同於傳統的關係型資料庫,其資料在表中是按行儲存的,列方式所帶來的重要好處之一就是,由於查詢中的選擇規則是通過列來定義的,因此整個資料庫是自動索引化的。按列儲存每個欄位的資料聚集儲存,在查詢只需要少數幾個欄位的時候,能大大減少讀取的資料量,乙個欄位的資料聚集儲存,那就更容易為這種聚集儲存設計更...