Hadoop偽分布式搭建

2022-07-20 04:42:12 字數 2071 閱讀 1235

單機環境:可以直接執行mareduce-examples.jar案例

偽分布式:乙個伺服器上執行多個程序

hdfs:偽分布式配置

hadoop配置檔案的配置: 

a,配置核心檔案(路徑/opt/module/hadoop-2.7.5/etc/hadoop)

配置:vim core-site.xml

fs.defaultfs

hdfs://gqk1:8020

配置:hdfs-site.xml

dfs.replication

3

格式化namenode--------清空主節點namenode目錄下的所有資料生成目錄結構初始化一些資料到檔案中

進入:/opt/module/hadoop-2.7.5/bin 有個hdfs的檔案

執行./hdfs

執行: ./hdfs namenode -format 格式化(檢視官網 查詢生成檔案的目錄)

hdfs-site.xml 查詢

core-site.xml 查詢

啟動hdfs各個程序

啟動後必須輸入密碼(沒有配置ssh免秘鑰鏈結)

啟動完成檢視程序 jps

如果用主機名稱訪問需要對映:

通過主機名稱或者ip位址訪問50070埠

如果出現window系統不能訪問虛擬機器上可以執行:

關閉命令:  service iptables stop 

永久關閉防火牆:chkconfig iptables off

./stop-dfs.sh 停止程序;

如果虛擬機器不能上網的話:

yarn的偽分布式配置:

mapred-site.xml配置(/opt/module/hadoop-2.7.5/etc/hadoop)

需要對檔案進行改名:mv mapred-site.xml.template mapred-site.xml

mapreduce執行在yarn之上,預設偽local

mapreduce.framework.name

yarn

yarn-site.xml配置

yarn.nodemanager.aux-services

mapreduce_shuffle

配置完成後;啟動yarn的服務:

[root@gqk1 sbin]# ./start-yarn.sh    出現一下節點:

訪問yarn http埠8088:http://gqk1:8088

hadoop偽分布式搭建

因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來,如有不同意見還忘評價共同提公升。hadoop 偽分布模式 hdfs yarn 另外補充下 hadoop2.0之後不包含mapreduce 環境搭建準備 1,vmware 安裝 如果你使用的事virtu...

Hadoop偽分布式搭建

已經部署好的 hadoop 單機模式環境 1 切換到 usr local hadoop 2.7.3 etc hadoop 目錄,需要修改如下配置 1 etc hadoop core site.xml 指定namenode的位址 fs.defaultfs hdfs localhost 9000 用來指...

搭建hadoop偽分布式(二)

只是配置好了hadoop還不行 還要配置ssh 免秘鑰登入 因為namenode要遠端登入到datanode上進行控制 即便是偽分布式 要是自己登入自己機器 1 安裝 ssh yum y install openssh server openssh clients 2 生成公鑰和私鑰 ssh key...