HBase基於HDFS的偽分布式配置

2021-06-07 10:09:05 字數 1117 閱讀 3094

目前正在做hadoop的專案,這周進度推進到hbase的偽分布式。通過eclipse程式設計試圖向hbase中新增資料。但是總是遇上zookeepersaslclient securityexception的問題。

於是先在shell上試圖配置hbase的偽分布式,檢視日誌後發現還是有這個問題。查了很多資料,直到現在方才解決。

以下給出hdfs + hbase的具體配置和命令:

1) hadoop/conf/core-site.xml

fs.default.name

hdfs://localhost:9000

2) hadoop/conf/hdfs-site.xml
dfs.datanode.max.xcievers

4096

dfs.replication

1

3) hadoop/conf/mapred.xml
mapred.job.tracker

localhost:9001

4) hbase/conf/hbase-site.xml
hbase.cluster.distributed

true

hbase.rootdir

hdfs://localhost:9000/hbase

dfs.replication1

5) hbase/conf/hbase-env.sh
export hbase_classpath=/home/wzp/hadoop/conf

export hbase_manages_zk=true

6) 先執行start-dfs.sh,後執行start-hbase.sh。則可以在hdfs上建立hbase。

雖然問題得到解決,但是還是不知道為什麼會出現sasl的異常。

此外,根據hbase自帶manual,hbase.rootdir的埠應為8020。首先這個埠做不出來,其次這個埠明顯不合理,因為hdfs中配置的埠為9000,如果hbase建立在hdfs上,那必然是通過9000埠通過的。話雖如此,但實際原因我仍然不知道。

對manual都存在這麼多問題表示很無奈。

hdfs偽分布式整合yarn

1.開啟要修改檔案的目錄 cd hadoop home etc hadoop 2.複製mapred site.xml.template為mapred site.xml cp mapred site.xml.template mapred site.xml 3.修改mapred site.xml 在中...

HDFS偽分布式環境搭建

一 hdfs shell操作 以上已經介紹了如何搭建偽分布式的hadoop,既然環境已經搭建起來了,那要怎麼去操作呢?這就是本節將要介紹的內容 hdfs自帶有一些shell命令,通過這些命令我們可以去操作hdfs檔案系統,這些命令與linux的命令挺相似的,如果熟悉linux的命令很容易就可以上手h...

HBase 1 1 2安裝(偽分布式)

嚷嚷著要學hbase還是去年的事情,最近才是真正靜下心來學習。廢話不多說,讓我來轟轟烈烈地安裝下hbase吧!zookeeper 安裝好了單機版的zookeeper.注意點1 zookeeper的zoo.cfg的配置中的datadir,是zookeeper安裝資料夾下面的data.然後用sh zks...