Hbase的應用場景

2021-09-26 03:47:07 字數 717 閱讀 9310

首先,要確認有足夠多的資料存入hbase。

hbase是乙個高可靠性、高效能、列儲存、可伸縮、實時讀寫的分布式資料庫系統。

如 果有幾億或者幾十億條記錄要存入hbase,那麼hbase就是乙個正確的選擇;否則如果你僅有幾百萬條甚至更少的資料,那麼hbase當然不是正確的選 擇,這種情況下應當選擇傳統的關係型資料庫,因為如果這麼少的資料存入hbase,就會導致資料堆積在一兩個節點上,而hbase集群內部的其他節點都處 於空閒狀態。

雖然hbase是一種絕佳的工具,但我們一定要記住,它並非銀彈。hbase並不擅長傳統的事務處理程式或關聯分析,它也不能完全替代mapreduce過程中使用到的hdfs

什麼情況下用hbase

如果你的應用程式中,資料表每一行的結構是有差別的,那就可以考慮使用hbase,比如在標準化建模的過程中使用它;如果你需要經常追加字段,且大部分欄位是null值的,那可以考慮hbase;如果你的資料(包括元資料、訊息、二進位制資料等)都有著同乙個主鍵,那就可以使用hbase;如果你需要通過鍵來訪問和修改資料,使用hbase吧。

應用場景

交通方面:

船舶gps資訊,全長江的船舶gps資訊,每天有1千萬左右的資料儲存。

金融方面:

消費資訊,貸款資訊,信用卡還款資訊等

電商:**的交易資訊等,物流資訊,瀏覽資訊等

移動:通話資訊等,都是基於hbase的儲存。

HBase篇 1 設計與應用場景

每日五分鐘搞定大資料 系列,hbase第一篇 講完了zookeeper,接下來我們來說下google三駕馬車之一bigtable的開源實現 hbase,要講得內容如下 1.寫密集型應用,每天寫入量巨大,而相對讀數量較小的應用2.不需要複雜查詢條件來查詢資料的應用使用rowkey,單條記錄或者小範圍的...

再談 HBase 八大應用場景

hbase是乙個分布式儲存 資料庫引擎,可以支援千萬的qps pb級別的儲存,這些都已經在生產環境驗證,並且在廣大的公司已經驗證。特別是阿里 小公尺 京東 滴滴內部都有數千 上萬台的hbase集群。選擇乙個技術的首要條件是對齊大公司,大公司會投入大量的人力去維護 改進 貢獻社群。技術總是不斷向前發展...

Hbase和Hive的特點和應用場景

一 hbase是什麼?hbase是乙個架構在hdfs檔案系統上的列式儲存,是開源的,分布式,面向列的資料庫。適合於非結構化資料儲存的資料庫。hbase是乙個高可靠 高效能 面向列 可伸縮的分布式儲存系統,可以在廉價的pc server搭建大規模結構化儲存集群。1 hbase位於hadoop生態系統的...