Hbase 儲存結構

2021-10-20 12:57:13 字數 2069 閱讀 9539

store:region中更小的儲存單元

memstore:store中儲存資料的記憶體區域

storefile:每個store中記憶體重新整理出來的檔案就是storefile

2、邏輯結構

3、物理結構

4、儲存架構

整個hbase 中所有的資料都是按照rowkey順序排列的

查詢資料時可以根據rowkey字首匹配查詢rowkey是整個hbase的唯一索引資料型別:hbase底層儲存型別都是位元組

資料結構:kv結構,每一列在底層儲存都是乙個kv

value:值

從節點會有多台

思考:我有一張表,我有很多資料,我要寫入這張表,我怎麼讓這張表變成分布式的?

往表中寫資料,會根據一定的規則,寫入某乙個分割槽

hbase中:

如果一張表有五個分割槽

分割槽規則:根據rowkey所屬的範圍概念

hdfs

hbase

資料檔案表拆分

分塊:block

分割槽:region

規則128m乙個block

範圍

機器datanode

regionoserver

塊有副本

分割槽沒有副本

region與表的關係

region與regionserver的關係

store是表中列的劃分,store就是列族這張表中的每個rowkey對應的資料有乙個列族,對應的region中就有乙個store

不同列族的資料儲存在不同的store中,相同列族的資料儲存在一起

put 'ns:tbname'

,'rowkey'

,cf:col,value

監控邏輯結構

分割槽:region

datanode所在的機器

hdfs上儲存的結構

table:在hdfs上對應乙個 目錄

region:在hdfs上對應乙個目錄

store:在hdfs上對應乙個目錄,就是列族

storefile:hdfs上的檔案

第二步:客戶端會請求這個region所在的regionserver,提交寫請求第三步:regionserver根據我們的請求來寫入region,根據列族來判斷寫入哪個store第四步:將這個資料讀寫store中的memstore

HBase筆記 儲存結構

從hbase的架構圖上可以看出,hbase中的儲存包括hmaster hregionserver hregion store memstore storefile hfile hlog等,本篇文章統一介紹他們的作用即儲存結構。以下是網路上流傳的hbase儲存架構圖 hbase中的每張表都通過行鍵按照...

HBase筆記 儲存結構

從hbase的架構圖上可以看出,hbase中的儲存包括hmaster hregionserver hregion store memstore storefile hfile hlog等,本篇文章統一介紹他們的作用即儲存結構。以下是網路上流傳的hbase儲存架構圖 hbase中的每張表都通過行鍵按照...

hbase儲存結構及客戶端訪問hbase表的過程

要說明客戶端訪問 操作hbase表,先簡要說明hbase表的儲存結構。hbase最初有乙個表,則乙個表對應乙個region,隨著表增大,乙個region會分為多個region,即乙個表對應了多個region。region是hbase儲存的最小單位,不能分割,即乙個region內的資料只能存在乙個伺服...