胖魚頭 HBase處理邏輯

2021-06-27 20:38:22 字數 561 閱讀 8464

可以定義全域性的拆分策略,引數為hbase.regionserver.region.split.policy,也可以在建立和修改表時指定。

hregion由乙個或多個hstore組成,每個hstore對應乙個columnfamily。

hstore由乙個memstore與一系列storefile組成

hbase compaction主要作用為合併檔案,清除已刪除、過期、多餘版本的資料,提高讀寫資料的效率。

flush是針對乙個region整體執行操作,而compaction操作是針對region上的乙個store而言,因此,從邏輯上看,flush操作粒度較大。

storefile以hfile格式儲存在hdfs上。

hfile的塊(block)大小預設為64kb。

在hdfs中,檔案的預設塊(block)大小為128mb,這是hfile預設塊大小的2048倍。因此hbase儲存檔案的塊與hadoop的塊之間沒有匹配關係,兩種塊型別之間沒有相關性。hbase把它的檔案透明地儲存到檔案系統中,而hdfs也使用塊來切分檔案僅僅是乙個巧合,並且hdfs不知道hbase儲存的是什麼,它只能看到二進位制檔案。

HBase基礎 HBase邏輯結構

邏輯上,hbase的資料模型和關係型資料庫類似,資料儲存在一張表中,有行有列。注意,這個結構為邏輯結構,並非真正的儲存格式。是用來理解hbase。personal info office info row key name city phone telephone address row key1 ...

RunLoop處理邏輯

如圖是從蘋果官方文件擷取下來的runloop處理邏輯流程圖,runloop處理邏輯過程為 1.通知observer即將進入loop 2.通知observer 即將處理timer 3.通知observer將要處理source0 4.處理source0 5.如果有source1,跳到第9步 6.通知ob...

業務邏輯處理

功能的實現,都是依靠業務邏輯來完成的,記得看過不能完成業務邏輯的程式設計師都不會成長的,確實是的,最近在完成業務邏輯的時候,程式的業務判斷有很多的,所以開始接觸,設計模式,看到來一些設計模式,看結合專案,確實是可以根據設計模式來改寫的,so,懂得設計模式可以快速的,寫好的 的。關於函式同步和非同步之...