hadoop之同步指令碼

2021-10-08 21:44:47 字數 1180 閱讀 3433

1、linux 任何地方執行指令碼配置方法:

(1)、用 vim ~/.bashrc 命令打 配置 自己存放指令碼目錄,我的如下

export path="/home/alvin/bin:$path"

最後,再使用 source 命令使我們的修改生效:

source ~/.bashrc

(2)、將指令碼所在路徑新增到 .profile 檔案裡

.profile 檔案是乙個環境變數配置檔案,使用者在登入系統的時候載入此檔案來配置環境變數。所以我們可以在這個檔案裡新增我們的路徑,使得指令碼在任意地方都可以使用。

我們可以在 .proflie 檔案末尾加入下面這句**:

export path=「pat

h:

path:

path

:home/alvin」

注意:如果將xsync放到/home/alvin/bin目錄下仍然不能實現全域性使用,可以將xsync移動到/usr/local/bin目錄下。

xsync 指令碼編寫如下:

#!/bin/bash

#1 獲取輸入引數個數,如果沒有引數,直接退出

pcount=$#

if((pcount==0)); then

echo no args;

exit;

fi#2 獲取檔名稱

p1=$1

fname=basename $p1

echo fname=$fname

#3 獲取上級目錄到絕對路徑

pdir=cd -p $(dirname $p1); pwd

echo pdir=$pdir

#4 獲取當前使用者名稱

user=whoami

#5 迴圈

for((host=103; host<105; host++)); do

echo ------------------- hadoop$host --------------

rsync -rvl pdi

r/

pdir/

pdir

/fname use

r@ha

doop

user@hadoop

user@h

adoo

phost:$pdir

done

Hadoop配置檔案同步指令碼

同步hadoop的配置檔案,總是scp,這很麻煩,現在寫了乙個同步指令碼 這個指令碼會先備份遠端伺服器的配置檔案,然後再同步 如果同步的次數多了,可以按照日誌刪除配置檔案比如 find name 20150604 xargs rm f 指令碼內容如下 bin bash 用於同步配置檔案 配置檔案路徑...

hadoop集群指令碼

bin bash 驗證引數 if 1 then echo 請輸入要分發的單個檔案 exit fi 獲取分發檔案的絕對路徑 dirpath cd dirname 1 pwd p filename basename 1 echo 要分發的檔案的路徑是 dirpath filename 獲取當前的使用者名...

hadoop集群同步實現

usr bin env python coding utf 8 scribe日誌接收存在小集群到大集群之間,distcp 同步失敗的情況,需要手動進行補入。1 如果查詢補入的日誌量少,則可以之間用指令碼處理。如果量大,則使用 hadoop 提交job。hadoop job 提交方式 hadoop j...