Hadoop分布式 之 Hbase集群搭建

2021-08-02 16:48:06 字數 1834 閱讀 5206

hbase是apache hadoop中的乙個子專案,是乙個hbase是乙個開源的、分布式的、多版本的、面向列的、非關係(nosql)的、可伸縮性分布式資料儲存模型,hbase依託於hadoop的hdfs作為最基本儲存基礎單元。hbase的伺服器體系結構遵從簡單的主從伺服器架構,它由hregion server群和hmaster server構成。hmaster server負責管理所有的hregion server,而hbase中的所有server都是通過zookeeper進行的分布式資訊共享與任務協調的工作。hmaster server本身並不儲存hbase中的任何資料,hbase邏輯上的表可能會被劃分成多個region,然後儲存到hregionserver群中,hregionserver響應使用者i/o請求,向hdfs檔案系統中讀寫資料。hbase master server中儲存的是從資料到hregion server的對映。

下面一幅圖是hbase在hadoop ecosystem中的位置

上圖描述了hadoop ecosystem中的各層系統,其中hbase位於結構化儲存層,hadoop hdfs為hbase提供了高可靠性的底層儲存支援,hadoop mapreduce為hbase提供了高效能的計算能力,zookeeper為hbase提供了穩定服務和failover機制。 此外,pig和hive還為hbase提供了高層語言支援,使得在hbase上進行資料統計處理變的非常簡單。 sqoop則為hbase提供了方便的rdbms資料匯入功能,使得傳統資料庫資料向hbase中遷移變的非常方便。

使用tar解壓hbase

1

2

3

cd /usr/local

tar -zxvf hbase-1.2.1-bin.tar.gz

mv /home/hbase

使用vi /etc/profile設定環境變數

配置工作具體如下:

如果有多個master,需要執行vi conf/backup-masters,加入備份master節點,這裡可以參考:

啟動hbase前要確保,hadoop,zookeeper已經啟動,進入$hbase_home/bin目錄下,輸入命令start-hbase.sh

執行jps檢視系統程序

其他節點

啟動日誌會輸出到/home/hbase/logs/hbase-root-master-master.log中,可以檢視排除異常

啟動完成後,執行如下命令可以進入到hbase shell介面,使用命令status檢查集群節點狀態

這裡可以使用 hbase shell命令執行資料庫操作,具體參考 

另外也可以直接開啟**:在web中檢視集群狀態,其中192.168.137.122是master所在節點的ip,16010為hbase預設埠(老版本中為60010)

本次安裝測試中主要出現了一下幾個錯誤:

HBASE完全分布式

1.將hbase通過xftp傳入red hat 2.tar zxvf hbase c usr local 解壓到目錄下 3.cd usr local hbase conf 到conf修改hbase env.sh,hbase site.xml 4.vi hbase env.sh 4.1.set nu ...

hadoop完全分布式之scp

1 轉殖虛擬機器之後目前有兩個虛擬機器 2 由於之前未配置jdk hadoop就將centos01拷貝出centos02。之後再進行配置時影響不了其它的轉殖出來的虛擬機器。因此可以將cetos01中的相關檔案拷貝到centos中。可以使用scp指令。基本語法 scp r 使用者名稱 主機名 檔案位址...

hadoop分布式安裝

工欲善其事,必先利其器。在資料橫行的時代,我們的大神hadoop 出來了,作為分布式處理資料 不但快,而且一般用配置不高的電腦業可以做集群。那麼,現在就開始安裝我們的hadoop 進入hadoop之旅 檔案,這裡就去 apache 的命令進行解壓 tar zxvf hadoop x.tar.gz 好...