author：skate
time：2012/03/02
同事的寫的乙個指令碼，覺得非常好，實用性很強，精緻短小，特記錄與此，方便以後查用.
業務需求：需要把乙個目錄下的1000多萬個檔案遷移到遠端機器
思路：用wget來把檔案乙個乙個的遷移過去，因為檔案數量比較大，如果一下在迴圈操作，會非常慢。所以分批操作，採用化整為零的方法，
具體的shell指令碼如下：
#! /bin/sh
home=/usr/local/www/skate/image63delback
cd $home
if [ `pwd` == $home ];then
a="1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"
for b in $a
doc=`expr $b + 100000`
for loop in `sed -n "$b,$c"p $1`
dopath=`echo $loop | awk -f "/" ''`
mkdir -p $path
/usr/bin/wget -p $path
echo $loop >> $1.log
done
done
fi-----end----
shell快速遷移海量檔案
同事的寫的乙個指令碼，覺得非常好，實用性很強，精緻短小，特記錄與此，方便以後查用.業務需求 需要把乙個目錄下的1000多萬個檔案遷移到遠端機器 思路 用wget來把檔案乙個乙個的遷移過去，因為檔案數量比較大，如果一下在迴圈操作，會非常慢。所以分批操作，採用化整為零的方法，具體的shell指令碼如下 ...
Linux下快速遷移海量檔案的操作記錄
有這麼一種遷移海量檔案的運維場景 由於現有 伺服器配置不夠，需要做 遷移 就是遷移到另一台高配置伺服器上跑著 站點目錄下有海量的小檔案，大概100g左右，檔案居多。目測直接拷貝過去的話，要好幾天的時間。那麼問題來了，這種情況下的 資料要怎麼遷移呢？另外，此 還在執行中，白天是斷然不能停止了，只能執行...
快速將企業海量檔案資料遷移到阿里雲OSS
物件雲儲存因為下面兩個功能特性，得到了海量使用 阿里雲oss在各大雲服務商中，通過可靠 高價效比的服務得到了大量使用者的仁科。企業使用者在企業內部或者傳統idc機房中，累計了海量的檔案資料，如何快速將tb級別甚至pb檔案資料遷移到oss，是乙個非常挑戰的任務。下文介紹兩種方案 這類服務公司具體實現技...