hadoop完全分布式的的準備工作

（1）準備3臺客戶機（關閉防火牆、靜態ip、主機名稱）

（2）安裝jdk

（3）配置環境變數

（4）安裝hadoop

（5）配置環境變數

（6）配置集群

（7）單點啟動

（8）配置ssh

（9）群起並測試集群

虛擬機器要進行以下的測試：

hostname

ping 當前的主機名

測試ip

ifconfig

測試防火牆

service iptables status

測試檔案許可權

ll /opt

命令：

scp     -r     $pdir/$fname    $user@hadoop$host:$pdir/$fname

命令 遞迴 要拷貝的檔案路徑/名稱 目的使用者@主機:目的路徑/名稱

比如：

cd /opt/module

scp -r /opt/module dev1@hadoop102
:/opt/

然後還要授權操作

成功授權。

如果許可權不足則

在set nu命令91行下面加上圖中的授權的一行

可以

source /etc/sudoers

rsync快速的同步的命令，比scp要快

可以避免相同檔案的傳輸。具有速度快、避免複製相同內容和支援符號鏈結的優點。

rsync    -rvl       $pdir/$fname $user@hadoop$host:$pdir/$fname

命令 選項引數 要拷貝的檔案路徑/名稱 目的使用者@主機:目的路徑/名稱

rsync -rvl /opt/software/ dev1@hadoop102

:/opt/software

Hadoop完全分布式的搭建

注 所有節點需要處於同一區域網下，條件限制，我們可以開啟手機熱點 一 配置好網路 1.修改3個hadoop配置檔案中的ip cd usr local hadoop 2.7.3 etc hadoop vim core site.xml vim hdfs site.xml vim yarn site.x...

hadoop完全分布式搭建

完全分布式搭建需要至少三個節點 下面的配置必須在三個節點上都得配置 這裡只說明一台的配置 1 ip配置 進入root使用者 vim etc sysconfig network scripts ifcfg eth0 配置本主機的ip位址 ipaddr 192.168.25.128 ip位址 gatew...

hadoop完全分布式之scp

1 轉殖虛擬機器之後目前有兩個虛擬機器 2 由於之前未配置jdk hadoop就將centos01拷貝出centos02。之後再進行配置時影響不了其它的轉殖出來的虛擬機器。因此可以將cetos01中的相關檔案拷貝到centos中。可以使用scp指令。基本語法 scp r 使用者名稱 主機名 檔案位址...