HBase持久化儲存

2022-09-23 20:21:07 字數 988 閱讀 3098

hbase持久化儲存:hbase天生就能支援海量資料的儲存,能夠以更友好、更方便的方式支援表的分割槽,並且hbase還支援多個region server同時寫入,能夠較為方便的擴充套件系統的併發寫入能力。

搜尋引擎技術,能夠解決採用業務拆分及分庫分表策略後,系統無法進行多表關聯查詢,以及查詢時必須帶路由字段的問題。搜尋引擎能夠很好的支援複雜條件的組合查詢,通過搜尋引擎構建的一張大表,能夠彌補一部分資料庫拆分所帶來的問題。

hbase以google bigtable為原型,設計實現了高可靠性、高可擴充套件性、實時讀/寫的列儲存資料。他的本質實際上是一張稀疏的大表,用來儲存粗粒度的結構化資料,並且能夠通過簡單的增加節點來實現系統的線性擴充套件。

hbase執行在分布式檔案系統hdfs之上,利用它可以在廉價的pc server上搭建大規模結構化儲存集群。hbase的資料以表的形式進行組織,每個表由行列組成。與傳統的關係型資料庫不同的是,hbase每個列屬於乙個特定的列族,通過行和列來確定乙個儲存單元,而儲存單元又可分為多個版本,通過時間戳來標識。

hbase集群中通常包含兩種角色,hmaster和hregionserver。當表隨著記錄條數的增加而不斷變大後,將會**成乙個個region,每個region可以有(startkey,endkey)來表示,他可以包含乙個startkey到endkey的半閉區間。乙個hregionserver可以管理多個region,並由hmaster來負責hregionserver的排程及集群狀態的監管。由於region可分散並由不同的hregionserver來管理,因此,理論上再大的表都可以通過集群來處理。

與傳統的關係型資料庫相比,hbase有更好的伸縮能力,更適合海量資料的儲存和處理。由於多個region server的存在,使得hbase能夠多個節點同時寫入,顯著提高了寫入的效能,並且是可擴充套件的。

但是,hbase本身能夠支援的查詢維度有限,難以支援複雜查詢,如group by、order by、join等。這些特點使得它的應用場景收到了限制。當然,可以用搜尋引擎來構建索引,在一定程度上解決了hbase複雜條件組合查詢的問題。

ActiveMQ持久化儲存

size medium activemq的訊息可以儲存在不同的儲存中,預設是kahadb,leveldb,mysql,oracle size size large 1 配置資料庫連線 size c m apache activemq 5.14.1 confactivemq.xml新增資料庫連線資料。...

docker 儲存持久化

docker容器不適合存放資料,重要的資料要用外部卷儲存,容器可以掛載真實機目錄或者共享儲存為卷 儲存卷對映 docker run itd v 真實機目錄 容器目錄 映象 標籤可以做一台nfs伺服器host01共享 var webroot目錄 docker01伺服器把host01的共享目錄掛載到 m...

redis持久化儲存

redis提供了rdb和aof兩種持久化儲存方案 rdb持久化是指在指定的時間間隔內將記憶體中的資料集快照寫入磁碟。也是預設的持久化方式,這種方式是就是將記憶體中資料以快照的方式寫入到二進位制檔案中,預設的檔名為dump.rdb 對於rdb來說,提供了三種機制 s e bgs e 自動化 該命令會阻...