小記 hbase資料庫介紹及儲存方式

2022-08-01 05:12:10 字數 1014 閱讀 8195

1、

hbase

基本介紹

hbase是乙個分布式的,面向列的開源資料庫。

hbase

的儲存是基於

hadoop

的。因為

hadoop

實現了乙個分布式檔案系統(

hdfs

),基於

hadoop

意味著hbase

與生俱來的超強的擴充套件性和吞吐量,

hbase

採用的是

key、

value

的儲存方式。意味著即使隨著資料量增大,也幾乎不會導致查詢的效能下降。

2、hbase儲存方式

hbase將資料按列簇分別儲存,而並非簡單的列式儲存;首先了解幾個概念:行式儲存、列式儲存、列簇式儲存。

a.行式儲存行式儲存在獲取一行資料時很高效,但是如果某個查詢只需要讀取表中指定列對應的數,那麼行式儲存會先取出一行行的資料,再在每一行資料中擷取待查詢目標列。因此會導致大量的記憶體占用

b.列式儲存:列式儲存理論上會將一列資料儲存在一起,不同列的資料分別接種儲存。eg:kudu 、 parquet on hdfs;

列式儲存查詢與行式儲存,恰恰相反,對於只查詢某些列資料的請求非常高效,但是對於獲取一行的請求就比較差;

因為同一列的資料通常都具有相同的資料型別,因此列式儲存具有天然的高壓縮特性

c.列簇式儲存:列簇式儲存介於行式儲存和列式儲存之間;如果一張表只設定乙個列簇,這個列簇包含所有的列,hbase中乙個列簇的資料是儲存在一起的,因此這種設計模式就等同於行式儲存;如果一張表的每一列都屬於乙個唯一的列簇,那麼就相當於列式儲存。

資料庫 儲存引擎介紹

mysql最大的特點是支援外掛程式式的儲存引擎。常用的儲存引擎有 innodb myisam memory引擎。一般預設的為innodb儲存引擎。種類myisam innodb memory 鎖機制表鎖 行鎖表鎖 b 樹索引 支援支援 支援雜湊索引 不支援不支援 支援外來鍵 不支援支援 不支援事務 ...

資料庫介紹及安裝

通常,我們儲存資料,直接用本地檔案即可。但是,本地檔案不利於存放海量資料,也不利於用程式對檔案的資料進行查詢與管理。那麼為了解決這些弊端,才有資料庫的出現,那麼資料庫也是每個程式設計師必須掌握的技術。資料庫 database 簡稱db,實際上就是乙個檔案集合,是乙個儲存資料的倉庫,本質就是乙個檔案系...

clickhouse 列式儲存資料庫介紹

clickhouse介紹 俄羅斯最大的搜尋公司yandex,在clickhouse的配置檔案中我們也會看到yandex的影子。相對行式資料庫,像mysql oracle sqlserver等都是行式儲存,是把同一行的資料放到相鄰同一資料塊種,而列式儲存是把同一列的資料放到相鄰同一資料塊種,這樣在進行...