HBASE 拋棄 ROOT 的原因

2021-10-24 06:45:13 字數 618 閱讀 1084

-root-的作用

》hbase是基於hdfs是要儲存海量資料的

》資料量巨大,資料本身的結構再複雜一些,那麼會產生大量的table

》table一多,元資料就會增多

》元資料如果過多,那麼元資料都儲存在乙個檔案中由乙個節點來管理就會導致查詢效率變低

》元資料分布式儲存(.meta.檔案可以有好多個)

》因為元資料是分布式儲存的,所以來了請求之後去找哪乙個.meta.檔案呢?

》利用-root-儲存.meta.檔案的位置

hbase0.96開始為什麼捨棄了-root-?

》hbase是基於hdfs儲存的,所以.meta.檔案也是儲存在hdfs上的

》在hdfs中,乙個block預設大小是128m

》.meta.檔案落地到hdfs上也是以block形式來儲存的

》.meta.檔案中儲存的是元資料

》元資料中儲存的是空間名、表名、列族名等

》一條元資料一般不會超過150b

》乙個block中可以儲存90w條元資料 -> 90w個表

》實際開發中,乙個專案無論多複雜,表的個數一般不會超過百張

》此時發現,.met.檔案好像沒有必要進行分布式的儲存和管理 -> 捨棄-root-

hive和hbase整合的原因和原理

為什麼要進行hive和hbase的整合?hive是高延遲 結構化和面向分析的 hbase是低延遲 非結構化和面向程式設計的。hive整合hbase就是為了使用hbase的一些特性。或者說是中和它們的特性。hive與hbase的整合功能的實現是利用兩者本身對外的api介面互相進行通訊,相互通訊主要是依...

不能拋棄的analyze

本文基於 oracle10g 現在收集統計資訊有兩種方法,一是使用 analyze 命令,另外就是使用 dbms stats 包,oracle 推薦使用 dbms stats 來代替analyze 還需要使用 analyze 收集統計資訊的有 1 行遷移 行連線 資訊。可以檢視 v dba tabl...

HBase讀取資料卡住長時間不返回的原因分析

這些天做hbase,但是遇到hbase連線上之後讀取資料的時候,一直卡在那兒,程式既不報錯也不結束,讓我好生糾結,困擾我一整天。現在問題終於解決,現在寫了一段demo 具體如下 public static void main string args throws ioexception catch ...