HBase分布式資料庫

2021-09-02 22:46:29 字數 1539 閱讀 8804

hbase是乙個分布式的、面向列的開源資料庫,該技術**於changetal所撰寫的google**"bigtable:乙個結構化資料的分布式儲存系統"

高可靠性、高效能、面向列、可伸縮

hbase-hadoop database

hdfs為hbase提供高可靠底層儲存支援

mapreduce為hbase提供高效能計算能力

zookeeper為hbase提供穩定服務和failover機制

hbase-0.20.6 -> hbase-0.89

很大的版本跳躍,原因:

不在跟hadoop步伐一致

更接近1.0,基本實現bigtable功能

更多參見:

執行環境jdk

ssh服務-免密碼登入

網域名稱系統dns /etc/hosts

網路時間協議ntp

作業系統linux centos-6.5

hadoop版本hadoop-2.5.2

安裝zookeeper

zookeeper是hbase集群的「協調器」,負責解決hmaster的單點問題,確保事先安裝好乙個zookeeper集群

單機模式

是hbase預設的執行模式,使用本地檔案系統,而不是hdfs,所有的服務和zookeeper都執行在乙個jvm中。

分布式模式

偽分布式模式

偽分布式是把所有程序執行在一台機器上,但不是乙個jvm上

完全分布式模式

就是把整個服務分布在各個節點上。

無論採用哪種都需要使用hdfs,操作之前確認hdfs正常執行。

解壓並安裝hbase hbase-0.98.9-hadoop2-bin.tar.gz

配置hbase

修改環境變數 hbase-env.sh

修改配置檔案hbase-site.xml

hbase.cluster.distributed true

hbase.rootdir hdfs://hadoop0:9000/hbase

hbase.zookeeper.quorum hadoop0,hadoop1,hadoop2

設定regionservers hadoop1 hadoop2

設定環境變數

export hbase_home=/home/zkpk/hbase-0.98.9-hadoop2

export path=hba

seho

me/b

in

:hbase_home/bin:

hbaseh

​ome

/bin

:path

#export hadoop_classpath=$hbase_home/lib/*

執行 source ~/.bash_profile

將hbase安裝檔案複製到hadoop1、hadoop2節點

scp –r /home/zkpk/hbase-0.98.9-hadoop1 hadoop1:~/

啟動並驗證hbase

分布式資料庫HBase簡介

hbase 是乙個面向列的分布式資料庫。hbase 不是乙個關係型資料庫,其設計目標是用來解決關係型資料庫在處理海量資料時的理論和實現上的侷限性。傳統關係型資料庫在上世紀七十年代為交易系統設計,以滿足資料一致性 acid 為目標,並沒有考慮資料規模擴大時的擴充套件性,以及單點系統失效時的可靠性。雖然...

分布式資料庫HBase簡介

hbase 是乙個面向列的分布式資料庫。hbase 不是乙個關係型資料庫,其設計目標是用來解決關係型資料庫在處理海量資料時的理論和實現上的侷限性。傳統關係型資料庫在上世紀七十年代為交易系統設計,以滿足資料一致性 acid 為目標,並沒有考慮資料規模擴大時的擴充套件性,以及單點系統失效時的可靠性。雖然...

初步了解分布式資料庫HBase

hbase是乙個高可靠 高效能 面向列 可伸縮的分布式資料庫,它是谷歌bigtable的開源實現,主要用來儲存非結構化和半結構化的鬆散資料。hbase的目標是處理非常龐大的表,可以通過水平拓展的方式,利用廉價計算機集群處理超過10億行資料和數百萬列元素組成的資料表。hbase利用 hadoop ma...