Hadoop 2 5 0偽分布集群搭建

2021-07-09 17:44:16 字數 2033 閱讀 5584

先作乙個集群配置規劃,我這裡是模擬三個節點,我這裡已裝好一台了乙個節點--bigdata01,配置過程請參考另一篇文章:

computer

hardware

software

ip

host

name

cpu

ram

hdd

hdfs

yarn

map

reduce

192.168.22.150

bigdata01

3.6ghz (8核)

128gb

1tb

name

node

datanode

nodemanager

192.168.22.151

bigdata02

3.2ghz (8核)

128gb

1tbdatanode

secondary

namenode

resource

manager

nodemanager

192.168.22.152

bigdata03

2.6ghz(4核)

16gb

10tb

datanode

nodemanager

history

server

然後用vmware轉殖配置另外兩個節點,對轉殖機器ip與主機名進行修改,過程如下:

圖12、  使用root賬戶修改ip位址和mac位址,用命令編譯:vi/etc/sysconfig/network-scripts/ifcfg-eth0,刪除uuid,修改ip位址(ipaddr)和mac位址(hwaddr),如圖2:

圖23、  修改轉殖機主機名,vi/etc/service/network,如圖3:

圖34、  修改轉殖主機與ip對應關係,以及集群中其他主機的對應關係,使用命令:vi /etc/hosts,如圖4:

圖45、  配置集群中機器的免金鑰登入,使用命令:ssh-keygen –t rsa生成本機公鑰,然後用命令:ssh-copy-id bigdata02(計畫免金鑰登入主機名).實現集群內各主機間的免金鑰登入,如圖5:

圖5根據規劃部署安裝集群節點功能

1、  namenode配置,在bigdata01節點上,編譯core-site.xml,配置namenode伺服器,如圖6:

圖62、  datnode配置,修改salves檔案,新增bigdata02和bigdata03,如圖7:

圖73、  修改檔案:hdfs-site.xml,配置secondarynamenode到bigdata02,如圖8:

圖84、  修改yarn-site.xml,配置resourcemanager到bigdata02,如圖9:

圖95、  修改mapred-site.xml,配置historyserver到bigdata03,如圖10:

圖106、  啟動集群:start-dfs.sh,在各節點檢視服務,如圖11:

圖117、  登入web頁面檢視ui,如圖12-14:

圖12圖13

圖148、  執行wrodcount程式,執行命令:hadoopjar/home/beifeng/hadoop-2.5.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jarwordcout /word/spf /word/out1,從namenode上檢視檔案,從am管理節點上檢視執行狀態,從歷史伺服器檢視日誌:

9、執行成功,使用命令:hdfs dfs -cat /word/out1/part-r-00000檢視執行結果圖:

zookeeper windows偽集群搭建

解壓後,目錄重新命名為zookeeper1,進入 conf目錄,把zoo sample.cfg 複製乙份,重新命名為zoo.cfg 編輯zoo cfg 配置資料目錄和日誌目錄 先在zookeeper1目錄下,新建目錄 data logs 日誌目錄 datadir tmp zookeeper data...

hadoop 偽分布式集群的搭建

一 準備工作 1 二 修改配置檔案 1 2.1 修改hadoop env.sh.1 2.2 修改core site.xml2 2.3 修改hdfs site.xml2 2.4 修改mapred site.xml2 2.5 修改yarn site.xml2 三 配置haoop的環境變數 3 3.1 環...

Hadoop偽分布配置

設定hadoop環境變數 1 使用gedit bash命令開啟文字編輯器 2 在頭部加入 hadoop environment variables export hadoop home usr local hadoop export hadoop install hadoop home export...