HBase基礎知識

2021-09-01 00:11:05 字數 2318 閱讀 2708

hbase官網:

學習**:

hbase是乙個建立在hadoop檔案系統之上的分布式的、面向列的開源資料庫,源於google的一篇**《bigtable:乙個結構化資料的分布式儲存系統》。hbase是google bigtable的開源實現,它利用hadoop hdfs作為其檔案儲存系統,利用hadoop mapreduce來處理hbase中的海量資料,利用zookeeper作為協同服務。 

hbase是乙個資料模型,類似於谷歌的大表設計,可以提供快速隨機訪問海量結構化資料。它利用了hadoop的檔案系統(hdfs)提供的容錯能力。它是hadoop的生態系統,提供對資料的隨機實時讀/寫訪問,是hadoop檔案系統的一部分。人們可以直接或通過hbase的儲存hdfs資料。使用hbase在hdfs讀取消費/隨機訪問資料。 hbase在hadoop的檔案系統之上,並提供了讀寫訪問。

hbase是乙個面向列的資料庫,在表中它由行排序。表模式定義只能列族,也就是鍵值對。乙個表有多個列族以及每乙個列族可以有任意數量的列。後續列的值連續地儲存在磁碟上。表中的每個單元格值都具有時間戳。總之,在乙個hbase:

表是行的集合。

行是列族的集合。

列族是列的集合。

列是鍵值對的集合。

hbase以表的形式儲存資料。表有行和列組成。列劃分為若干個列族/列簇(column family)。 

1、row key (行鍵)

與nosql資料庫們一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式: 

(1) 通過單個row key訪問 

(2) 通過row key的range 

(3) 全表掃瞄 

row key行鍵 (row key)可以是任意字串(最大長度是 64kb,實際應用中長度一般為 10-100bytes),在hbase內部,row key儲存為位元組陣列。 

儲存時,資料按照row key的字典序(byte order)排序儲存。設計key時,要充分排序儲存這個特性,將經常一起讀取的行儲存放到一起。(位置相關性) 

(注意: 字典序對int排序的結果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行鍵必須用0作左填充。)

行的一次讀寫是原子操作 (不論一次讀寫多少列)。這個設計決策能夠使使用者很容易的理解程式在對同乙個行進行併發更新操作時的行為。 

2、 column family (列族)

hbase表中的每個列,都歸屬與某個列族。列族是表的schema的一部分(而列不是),必須在使用表之前定義。列名都以列族作為字首。例如courses:history , courses:math 都屬於 courses 這個列族。 

訪問控制、磁碟和記憶體的使用統計都是在列族層面進行的。實際應用中,列族上的控制許可權能幫助我們管理不同型別的應用:我們允許一些應用可以新增新的基本資料、一些應用可以讀取基本資料並建立繼承的列族、一些應用則只允許瀏覽資料(甚至可能因為隱私的原因不能瀏覽所有資料)。 

3、cell (單元 )

hbase中通過row和columns確定的為乙個存貯單元稱為cell。由 唯一確定的單元。cell中的資料是沒有型別的,全部是位元組碼形式存貯。 

4、timestamp(時間戳)

每個cell都儲存著同乙份資料的多個版本。版本通過時間戳來索引。時間戳的型別是 64位整型。時間戳可以由hbase(在資料寫入時自動 )賦值,此時時間戳是精確到毫秒的當前系統時間。時間戳也可以由客戶顯式賦值。如果應用程式要避免資料版本衝突,就必須自己生成具有唯一性的時間戳。每個 cell中,不同版本的資料按照時間倒序排序,即最新的資料排在最前面。 

為了避免資料存在過多版本造成的的管理 (包括存貯和索引)負擔,hbase提供了兩種資料版本**方式。一是儲存資料的最後n個版本,二是儲存最近一段時間內的版本(比如最近七天)。使用者可以針對每個列族進行設定。 

hbase

rdbms

hbase無模式,它不具有固定列模式的概念;僅定義列族。

rdbms有它的模式,描述表的整體結構的約束。

它專門建立為寬表。 hbase是橫向擴充套件。

這些都是細而專為小表。很難形成規模。

沒有任何事務存在於hbase。

rdbms是事務性的。

它反規範化的資料。

它具有規範化的資料。

它用於半結構以及結構化資料是非常好的。

用於結構化資料非常好。

HBase基礎知識

hbase的主要客戶端介面是由org.apache.hadoop.hbase.client包中的htable類提供的,通過該類,使用者可以完成向hbase儲存和檢索資料,以及刪除無效資料之類的操作。所有修改資料的操作都保證了行級別的原子性,寫操作中涉及的列的數目不會影響該行資料的原子性,行原子性會同...

HBase基礎知識

hdfs myha01 hbase hbase.cluster.distributed true hbase.zookeeper.quorum hadoop02 2181,hadoop03 2181,hadoop04 2181 htable表 table htabledescriptor列族 col...

HBase基礎知識

1.hbase簡介 hbase hadoop database,是乙個高可靠性 高效能 面向列 可伸縮的分布式儲存系統,利用hbase技術可在廉價pc server上搭建起大規模結構化儲存集群。hbase利用hadoop hdfs作為其檔案儲存系統,利用hadoop mapreduce來處理hbas...