mac搭建偽分布式hbase遇到的坑

2021-09-10 17:02:24 字數 1025 閱讀 9140

搭建偽分布式hbase需要搭建zookeeper、hadoop、hbase。

mac上搭建hbase集群，大體上和linux一致，在這裡總結一下遇到的坑。

1、host檔案配置

路徑/etc/hosts


127.0.0.1 localhost


255.255.255.255 broadcasthost


#::1 localhost


127.0.0.1 hadoop001
2、修改hostname

sudo scutil --set hostname hadoop001
3、zookeeper日誌

安裝目錄/zookeeper-3.4.5-cdh5.7.0/tmp/version-2
hbase很多資訊會儲存在日誌中，整個tmp目錄可刪除，重新啟動

4、hadoop日誌

安裝目錄/hadoop-2.6.0-cdh5.7.0/logs
異常以及資料日誌都會記錄在logs中，如果配置檔案如hostname有修改，各種奇怪的異常，可停止hdfs，刪除日誌。

hadoop的資料（配置檔案配置）

安裝目錄/hadoop-2.6.0-cdh5.7.0/tmp
hadoop初始化namenode以及以後的資料都存在tmp下，多次初始化namenode會導致clusterid不一致，啟動報錯。可刪除整個tmp目錄。重新格式化namenode

5、hbase的日誌在

安裝目錄/hbase-1.2.0-cdh5.7.0/logs
搭建hbase問題大多在於與zookeeper的通訊，與hadoop的通訊是否正常，另外一定要考慮到版本不相容的問題，所以建議用cdh找到版本一致的元件

慕課網老師講課用的5版本，下面是**，這裡有大資料集群的所有元件

雲計算（七） HBase偽分布式環境搭建

實驗目的 1 學會hbase偽分布式配置 2 理解環境的配置檔案 實驗原理 hbase偽分布式模式環境是在沒有多台計算機的情況下，對hbase的分布式儲存和計算進行模擬安裝和配置。通過在一台計算機節點上解壓hbase安裝壓縮包後，然後進行hbase相關檔案進行配置，讓hbase執行在一台機器上並實現...

hadoop偽分布式搭建

因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來，如有不同意見還忘評價共同提公升。hadoop 偽分布模式 hdfs yarn 另外補充下 hadoop2.0之後不包含mapreduce 環境搭建準備 1,vmware 安裝 如果你使用的事virtu...

Hadoop偽分布式搭建

已經部署好的 hadoop 單機模式環境 1 切換到 usr local hadoop 2.7.3 etc hadoop 目錄，需要修改如下配置 1 etc hadoop core site.xml 指定namenode的位址 fs.defaultfs hdfs localhost 9000 用來指...