完全分布式執行模式（開發重點

參考《環境搭建_虛擬機器準備》

如果搭建集群要一次成功的話，則需要執行以下測試

1 測試主機名 hostname 2 測試對映 ping 當前主機名 3 測試ip ifconfig 4 測試防火牆 service iptables status 5 測試檔案許可權 ll /opt

略

（1）scp定義：

scp可以實現伺服器與伺服器之間的資料拷貝。（from server1 to server2）

（2）基本語法

scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令遞迴要拷貝的檔案路徑/名稱目的使用者@主機:目的路徑/名稱

（3）案例實操

以下操作使用dev1賬號

（a）在hadoop101上，將hadoop101中/opt/module目錄下的軟體拷貝到hadoop102上。

cd /opt/module scp -r /opt/module dev1@hadoop102:/opt/

（b）在hadoop101上，將hadoop101伺服器上的/opt/module目錄下的軟體拷貝到hadoop103上。（拉）

scp -r /opt/module  dev1@hadoop103:/opt/

（c）在hadoop103上操作將hadoop101中/opt/module目錄下的軟體拷貝到hadoop104上。

scp -r /opt/module  dev1@hadoop104:/opt/

注意：拷貝過來的/opt/module目錄，別忘了在hadoop102、hadoop103、hadoop104上修改所有檔案的，所有者和所有者組。

sudo chown dev1:dev1  -r /opt/module

（d）將hadoop101中/etc/profile檔案拷貝到hadoop102的/etc/profile上。

sudo scp /etc/profile root@hadoop102:/etc/profile

（e）將hadoop101中/etc/profile檔案拷貝到hadoop103的/etc/profile上。

sudo scp /etc/profile root@hadoop103:/etc/profile

（f）將hadoop101中/etc/profile檔案拷貝到hadoop104的/etc/profile上。

sudo scp /etc/profile  root@hadoop104:/etc/profile

注意：拷貝過來的配置檔案別忘了source一下/etc/profile rsync主要用於備份和映象。具有速度快、避免複製相同內容和支援符號鏈結的優點。

rsync和scp區別：

用rsync做檔案的複製要比scp的速度快，rsync只對差異檔案做更新。

scp是把所有檔案都複製過去。

（1）基本語法

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname 命令選項引數要拷貝的檔案路徑/名稱目的使用者@主機:目的路徑/名稱

選項引數說明

（2）案例實操

（a）把hadoop101機器上的/opt/software目錄同步到hadoop102伺服器的dev1使用者下的/opt/目錄

rsync -rvl /opt/software/ dev1@hadoop102:/opt/software

（1）需求：迴圈複製檔案到所有節點的相同目錄下

（2）需求分析：

（a）rsync命令原始拷貝：

rsync  -rvl     /opt/module           dev1@hadoop103:/opt/

（b）期望指令碼：

mysync要同步的檔名稱

（c）說明：在/home/dev1/bin這個目錄下存放的指令碼，dev1 使用者可以在系統任何地方直接執行。

（3）指令碼實現

（a）在/home/dev1 目錄下建立bin目錄，並在bin目錄下mysync建立檔案，檔案內容如下：

cd /home/dev1 mkdir bin cd bin/ vim mysync

在該檔案中編寫如下**

#!/bin/bash
#1 獲取輸入引數個數，如果沒有引數，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi#2 獲取檔名稱
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 獲取上級目錄到絕對路徑
pdir=`cd -p $(dirname $p1); pwd`
echo pdir=$pdir
#4 獲取當前使用者名稱
user=`whoami`
#5 迴圈
for((host=102; host<105; host++)); do
echo ------------------- hadoop$host --------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

（b）修改指令碼 mysync 具有執行許可權

chmod 777 mysync

（c）呼叫指令碼形式：mysync 檔名稱

mysync /home/dev1/bin

注意：如果將mysync放到/home/dev1/bin目錄下仍然不能實現全域性使用，

可以將mysync移動到/usr/local/bin目錄下。

HBASE完全分布式

1.將hbase通過xftp傳入red hat 2.tar zxvf hbase c usr local 解壓到目錄下 3.cd usr local hbase conf 到conf修改hbase env.sh,hbase site.xml 4.vi hbase env.sh 4.1.set nu ...

hadoop完全分布式搭建

完全分布式搭建需要至少三個節點下面的配置必須在三個節點上都得配置這裡只說明一台的配置 1 ip配置進入root使用者 vim etc sysconfig network scripts ifcfg eth0 配置本主機的ip位址 ipaddr 192.168.25.128 ip位址 gatew...

java分布式開發，什麼是分布式開發

就是同乙個服務，把資料庫的不同部分分開建立到不同的伺服器上。以緩解資料庫大量資料訪問的壓力。很多大公司的業務量比較大，每天的訪問量都達到幾百萬上千萬，甚至上億的訪問量，在訪問量不是很大的情況下，是可以通過提高單台伺服器的配置來滿足需求的。但是當單臺伺服器已經滿足不了需求的時候就需要做分布式處理了。畢...

完全分布式執行模式（開發重點

HBASE完全分布式

hadoop完全分布式搭建

java分布式開發，什麼是分布式開發

相關推薦