hadoop偽分布式搭建

2021-08-14 18:50:59 字數 3603 閱讀 3638

因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來,如有不同意見還忘評價共同提公升。

hadoop 偽分布模式 hdfs+yarn

另外補充下: hadoop2.0之後不包含mapreduce;

環境搭建準備: 

1,vmware  安裝

如果你使用的事virtualbox 必須將電腦虛擬化。通過開機的時候進入bios 找到virtualization.

將virtualization 設定為enabled;

3. 新建虛擬電腦

注意:1,hadoop分布式是採用橋接模式通訊。建議不要使用nat模式。其他準備工作就不需要講了很簡單。在liunx環境中搭建框架的基本都知道。

2, liunx命令注意將hadoop使用者命令賦權

sudo 是 liunx 下常用的允許普通使用者使用超級使用者許可權的工具

在虛擬機器上,執行命令 sudo vim /etc/hosts

會提示 hadoop不在 sudoers 檔案中。此事將被報告。為 hadoop使用者配置 sudo 許可權切換到 root 使用者執行命令 su root

檢視/etc/sudoers 檔案許可權,如果唯讀許可權,修改為可寫許可權檢視檔案許可權,執行命令 ll /etc/sudoers 修改許可權,執行命令 chmod 777 /etc/sudoers

將 hadoop all=(all)  nopasswd:all  /etc/sudoers 追加到檔案中。

內容含義是:使用者名稱 chinahadoop 網路中主機=(全部使用者) 不需要密碼:全部範圍』執行命令 echo 'hadoop all=(all)nopasswd:all' >> /etc/sudoers

恢復/etc/sudoers 的訪問許可權為 440 執行命令 chmod 440 /etc/sudoers

切換到 hadoop 使用者,執行命令 sudo vim /etc/hosts

4.配置hosts檔案

計算機系統在處理 dns 請求以前,會先檢查自己的hosts 檔案中是否有這個位址對映關係,如果有則呼叫這個 ip 位址對映,如果沒有再向已知的dns 伺服器提出網域名稱解析。

我們在訪問 自己**或者www.baidu.com 時,dns 伺服器把網路網域名稱(www.baidu.com)

自定義的名字沒有註冊過網域名稱,就可以通過配置 hosts 檔案建立 ip 對映,這樣以後訪問虛擬機器上的服務時我們輸入名字就行了。

4.1 在windows/liunx hosts檔案中配置虛擬機器ip

liunx : sudo vim /etc/hosts  在檔案中追加windows ip 並加上windows 自定義名稱

例如 192.168.1.89 win8

windows:

win8 的 c:\windows\system32\drivers\etc 目錄下的 hosts 檔案。加入內容 192.168.1.119chinahadoop0

注意:自測試相互能調通。

5.ssh 客戶端

ssh 客戶端有很多,比如:xshell、putty、securecrt 和 winscp

7.修改主機名稱

命令hostname 檢視當前主機名稱

通過在network 中修改主機名稱: 

檢視 修改主機名稱 cat /etc/sysconfig/network

7.1 回顧window/liunx hosts檔案中相互配置對方的ip和對映名稱。

命令: tar zxvf hadoop-2.5.2.tar.gz 是解壓到當前目錄

我是解壓到: tar zxvf software/hadoop-2.5.2.tar.gz -c hadoop/ha

注意:加上 -c是 解壓到 hadoop/ha 目錄

9. 修改hadoop配置檔案

9.1 修改 hadoop-env.sh 檔案

在hadoop-env.sh檔案中配置jdk環境變數

9.2 修改 mapred-site.xml 檔案

mapreduce.framework.name

yarn

其中,名稱mapreduce.framework.name指的是使用yarn執行mapreduce程式。

啟動了hdfs之後,就可以啟動yarn了。執行命令start-yarn.sh即可啟動mapreduce集群

9.3 修改 core-site.xml 檔案

fs.defaultfs

hdfs://chinahadoop1:8020

9.4修改 hdfs-site.xml 檔案

dfs.replication

1hdfs檔案副本數,預設為3個副本.注意副本設定為奇數descript>

dfs.namenode.name.dir

/home/chinahadoop/dfs/name

dfs.datanode.data.dir

/home/chinahadoop/dfs/data

注意: 防止每次重啟需要格式化namnode 將配置紅色部分。同時紅色部分也可以配置到core-site.xml檔案中。

這是為了防止在非tmp目錄下生產檔案。

9.5修改 yarn-site.xml 檔案

輸入命令vim etc/hadoop/yarn-site.xml

加入下面內容

yarn.nodemanager.aux-services

mapreduce_shuffle

10 格式化namenode

首次: bin/hadoop namenode -format

10.1 啟動namenode

sbin/hadoop-daemon.sh start namenode

同時 jps 檢視下

10.2 啟動datanode

執行命令 sbin/hadoop-daemon.sh startdatanode

11 訪問

Hadoop偽分布式搭建

已經部署好的 hadoop 單機模式環境 1 切換到 usr local hadoop 2.7.3 etc hadoop 目錄,需要修改如下配置 1 etc hadoop core site.xml 指定namenode的位址 fs.defaultfs hdfs localhost 9000 用來指...

Hadoop偽分布式搭建

單機環境 可以直接執行mareduce examples.jar案例 偽分布式 乙個伺服器上執行多個程序 hdfs 偽分布式配置 hadoop配置檔案的配置 a,配置核心檔案 路徑 opt module hadoop 2.7.5 etc hadoop 配置 vim core site.xml fs....

搭建hadoop偽分布式(二)

只是配置好了hadoop還不行 還要配置ssh 免秘鑰登入 因為namenode要遠端登入到datanode上進行控制 即便是偽分布式 要是自己登入自己機器 1 安裝 ssh yum y install openssh server openssh clients 2 生成公鑰和私鑰 ssh key...