再談 HBase 八大應用場景

2021-08-31 11:55:23 字數 838 閱讀 9372

hbase是乙個分布式儲存、資料庫引擎,可以支援千萬的qps、pb級別的儲存,這些都已經在生產環境驗證,並且在廣大的公司已經驗證。特別是阿里、小公尺、京東、滴滴內部都有數千、上萬台的hbase集群。選擇乙個技術的首要條件是對齊大公司,大公司會投入大量的人力去維護、改進、貢獻社群。

技術總是不斷向前發展的,如今都在提newsql,其實newsql在筆者看來是nosql之上的乙個封裝,乙個子場景。nosql中的大表,典型就是提供了kv1v2……vn,其中每個v可以是1b,也可以是100mb。可以說是乙個元的存在,就類似於數字世界的01,可以任意組合。在以hbase為代表的nosql中,hbase可以組合出任意的場景,newsql可以是之上加了sql層或者更近一層新增事務的子場景。

在雲上,對於引擎最為核心的就是儲存計算分離,儲存可以按需計費,起碼得彈性伸縮。計算則按節點儲存提供。如果完全按照qps計費,要麼費用高得嚇人,要麼難以滿足更多的場景,比如儲存10m,到底算一次qps,還是多少次。 由於hbase天生就是儲存計算分離,天然比較適配雲上的架構,可以說到了雲上,hbase更加具有優勢。

時序資料:hbase之上有opentsdb模組,可以滿足時序類場景的需求

時空資料:主要是軌跡、氣象網格之類,滴滴打車的軌跡資料主要存在hbase之中,另外在技術所有大一點的資料量的車聯網企業,資料都是存在hbase之中

訊息/訂單:在電信領域、銀行領域,不少的訂單查詢底層的儲存,另外不少通訊、訊息同步的應用構建在hbase之上

newsql:之上有phoenix的外掛程式,可以滿足二級索引、sql的需求,對接傳統資料需要sql非事務的需求

更多的場景需要不斷挖掘

以上再次回顧hbase的場景,做了乙個簡單的分類,後續會有一些針對一些場景的實際案例

再談全域性網HBase八大應用場景

時序資料 hbase之上有opentsdb模組,可以滿足時序類場景的需求 推薦畫像 特別是使用者的畫像,是乙個比較大的稀疏矩陣,螞蟻的風控就是構建在hbase之上 時空資料 主要是軌跡 氣象網格之類,滴滴打車的軌跡資料主要存在hbase之中,另外在技術所有大一點的資料量的車聯網企業,資料都是存在hb...

再談全域性網HBase八大應用場景

摘要 hbase概述 hbase是乙個分布式儲存 資料庫引擎,可以支援千萬的qps pb級別的儲存,這些都已經在生產環境驗證,並且在廣大的公司已經驗證。特別是阿里 小公尺 京東 滴滴內部都有數千 上萬台的hbase集群。選擇乙個技術的首要條件是對齊大公司,大公司會投入大量的人力去維護 改進 貢獻社群...

再談全域性網HBase八大應用場景

hbase是乙個分布式儲存 資料庫引擎,可以支援千萬的qps pb級別的儲存,這些都已經在生產環境驗證,並且在廣大的公司已經驗證。特別是阿里 小公尺 京東 滴滴內部都有數千 上萬台的hbase集群。選擇乙個技術的首要條件是對齊大公司,大公司會投入大量的人力去維護 改進 貢獻社群。技術總是不斷向前發展...