Mysql 與 HBase技術選型

2021-09-24 02:55:30 字數 1840 閱讀 5006

參考部落格:

如果你正在設計乙個系統,這個系統致力於解決大資料的問題,或者是需要融入到其他hadoop專案中,那麼請選擇hbase

如果你能夠將資料儲存在**裡,並且資料量不大,也不做相應的資料分析,那麼請選擇mysql

hbase是被設計用來處理大規模資料的,在高併發的場景下有獨特的優勢

儲存少於100gb的資料,用hbase是沒有優勢的

相比mysql,hbase架構特點1. 完全分布式,可擴充套件 2. 底層使用hdfs, 儲存與計算分離

能力差異:hbase擴充套件性好,容錯恢復  mysql 運維簡單,讀效能好

mysql  側重讀,存在空間碎片

hbase 側重寫,儲存無碎片,資料匯入能力強

mysql的 sql功能豐富,事務能力強

hbase 既能通過api進行更加靈活,效能更好的訪問,又可通過phonenix使用標準sql訪問。只支援單行事務

4.1  ttl功能      適用於無需永久儲存的資料。如日誌,監控,軌跡,瀏覽記錄,費用詳單

可提公升效能,易於開發

4.2    動態列:1. 無須定義,直接插入新字段  2. 單表字段可達百萬個  3. 空字段不占用儲存空間

適用於表結構經常調整,字段非常多的資料。 使用者畫像,安全分控

需要維護人或裝置  的大量緯度,且需要頻繁變更欄位來準確衡量各維度的資料價值

4.3    多版本:1. 資料更新後,舊資料依然可訪問  2. 舊版本數量可設定,超過數量自動刪除多餘版本

適用維護最近n次變更值得資料,如瀏覽記錄,軌跡記錄,登陸記錄,交易記錄

經常用於實時推薦,安全風控,營銷圈人等場景

4.4    多列蔟    1. 某些列物理上存放在一起,乙個檔案  2. 提高壓縮率  3. 減少非相關列查詢時效能影響

經常用於搜尋,人臉識別,多**等場景

4.5    mob      1. 適用於儲存中等大小得資料(100kb——100mb)   

大於10mb儲存到hdfs

2. 與多列蔟特性相配合,常用於搜尋,人臉識別,多**等場景

時序資料:hbase之上有opentsdb模組,可以滿足時序類場景的需求

時空資料:主要是軌跡、氣象網格之類,滴滴打車的軌跡資料主要存在hbase之中,另外在技術所有大一點的資料量的車聯網企業,資料都是存在hbase之中

訊息/訂單:在電信領域、銀行領域,不少的訂單查詢底層的儲存,另外不少通訊、訊息同步的應用構建在hbase之上

newsql:之上有phoenix的外掛程式,可以滿足二級索引、sql的需求,對接傳統資料需要sql非事務的需求

技術選型與設計

作為乙個畢業不到一年的程式設計小白,前段時間參與了乙個準實時資料處理的專案 在這個專案中我獨自負責sql轉化中介軟體開發的任務 在接到這個任務的時候,即是興奮又是忐忑 興奮是自己能獨自負責一塊重要的東西,忐忑的是自己負責的是這次專案的核心部分,怕自己能力尚淺 事實證明,這兩樣我都說對了 開工第一天,...

技術選型 spring boot

參考部落格 官網 7天學會spring cloud教程 講解清晰的文章 服務註冊於發現!spring cloud教程之使用spring boot建立乙個應用 使用spring cloud實現分布式配置管理 spring cloud實現服務註冊及發現 綜合使用spring cloud技術實現微服務應用...

技術選型 spring boot

參考部落格 官網 7天學會spring cloud教程 講解清晰的文章 服務註冊於發現!spring cloud教程之使用spring boot建立乙個應用 使用spring cloud實現分布式配置管理 spring cloud實現服務註冊及發現 綜合使用spring cloud技術實現微服務應用...