shell快速遷移海量檔案

2021-06-06 12:23:22 字數 626 閱讀 4889

同事的寫的乙個指令碼,覺得非常好,實用性很強,精緻短小,特記錄與此,方便以後查用.

業務需求:需要把乙個目錄下的1000多萬個檔案遷移到遠端機器

思路:用wget來把檔案乙個乙個的遷移過去,因為檔案數量比較大,如果一下在迴圈操作,會非常慢。所以分批操作,採用化整為零的方法,

具體的shell指令碼如下:

#! /bin/sh

home=/usr/local/www/skate/image63delback

cd $home

if [ `pwd` == $home ];then

a="1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"

for b in $a

doc=`expr $b + 100000`

for loop in `sed -n "$b,$c"p $1`

dopath=`echo $loop | awk -f "/" ''`

mkdir -p $path

/usr/bin/wget -p $path

echo $loop >> $1.log

done

done

fi

shell快速遷移海量檔案

author skate time 2012 03 02 同事的寫的乙個指令碼,覺得非常好,實用性很強,精緻短小,特記錄與此,方便以後查用.業務需求 需要把乙個目錄下的1000多萬個檔案遷移到遠端機器 思路 用wget來把檔案乙個乙個的遷移過去,因為檔案數量比較大,如果一下在迴圈操作,會非常慢。所以...

Linux下快速遷移海量檔案的操作記錄

有這麼一種遷移海量檔案的運維場景 由於現有 伺服器配置不夠,需要做 遷移 就是遷移到另一台高配置伺服器上跑著 站點目錄下有海量的小檔案,大概100g左右,檔案居多。目測直接拷貝過去的話,要好幾天的時間。那麼問題來了,這種情況下的 資料要怎麼遷移呢?另外,此 還在執行中,白天是斷然不能停止了,只能執行...

快速將企業海量檔案資料遷移到阿里雲OSS

物件雲儲存因為下面兩個功能特性,得到了海量使用 阿里雲oss在各大雲服務商中,通過可靠 高價效比的服務得到了大量使用者的仁科。企業使用者在企業內部或者傳統idc機房中,累計了海量的檔案資料,如何快速將tb級別甚至pb檔案資料遷移到oss,是乙個非常挑戰的任務。下文介紹兩種方案 這類服務公司具體實現技...