上傳 hbase-1.2.3-bin.tar.gz 到node01
cd /tools
tar -zxvf hbase-1.2.3-bin.tar.gz -c /ren
配置環境變數
vi /etc/profile
export hbase_home=/ren/hbase-1.2.3
export path=$path:$hbase_home/bin
一.hbase
cd /ren/hbase-1.2.3/conf
1.修改 j**a的安裝目錄
vi hbase-env.sh
export j**a_home=/usr/jdk1.8.0_111
export hbase_classpath=/ren/hadoop-2.7.3/etc/hadoop
export hbase_manages_zk=false 不用hbase自帶zk,使用自己的zk集群
2.#設定備用的master
vi /ren/hbase-1.2.3/conf/backup-masters
加入node02
3.#配置hbase-site.xml
vi habse-site.xml
修改hbase.rootdir
hdfs://ren/hbase
hbase.master
node02:16010
hbase.zookeeper.quorum
node01,node02,node03
hbase.cluster.distributed
true
4.設定hregionserver
vi regionservers
加入node02
node03
5.複製hdfs-site.xml到$/conf
二.啟動
1.同步
scp -r /ren/hbase-1.2.3 root@node02:/ren/
scp -r /ren/hbase-1.2.3 root@node03:/ren/
scp /etc/profile root@node02:/etc/
scp /etc/profile root@node03:/etc/
source /etc/profile
2.啟動
start-hbase.sh
jps在node01即master上顯示
在node02和node03上顯示
或者通過瀏覽器輸入
3.停止
stop-hbase.sh
hadoop spark集群自動化部署實現
1.環境與安裝包 centos 6.7 jdk 8u45 linux x64.tar.gz zookeeper 3.4.5.tar.gz hadoop 2.7.2.tar.gz spark 2.0.0 bin hadoop2.7.tgz 2.部署前準備 1.虛擬機器安裝centos系統 安裝完後配置...
hadoop spark相關概念
1.啟動hdfs模組此時 50070就可以訪問了,載入磁碟 start dfs.shnamenode secodarynamenodedatanode2.hadoop1.x原理說明 3.hadoop2.x yarn啟動啟動資源管理器，此時 8088就可以訪問了,載入磁碟 start yarn.shr...
Hadoop Spark 常見問題 二
spark 1.rdd?資料集拆分 資料儲存在記憶體或者磁碟 多分割槽 失效自動重構 轉換操作構造 2.rdd倆種依賴？窄依賴 父rdd中的分割槽最多只能被乙個子rdd的乙個分割槽使用 和寬依賴 子rdd依賴於所有父rdd 3.spark 角色？1.driver main函式在裡面 2.sparco...