快速將企業海量檔案資料遷移到阿里雲OSS

2021-09-22 05:08:52 字數 745 閱讀 4824

物件雲儲存因為下面兩個功能特性,得到了海量使用:

阿里雲oss在各大雲服務商中,通過可靠、高價效比的服務得到了大量使用者的仁科。

企業使用者在企業內部或者傳統idc機房中,累計了海量的檔案資料,如何快速將tb級別甚至pb檔案資料遷移到oss,是乙個非常挑戰的任務。

下文介紹兩種方案:

這類服務公司具體實現技術方法是:

1)在公司機房拉一條專線通往阿里雲機房;

2)給需要遷移資料的使用者提供硬碟,使用者把自己的資料拷貝到硬碟上,寄送給服務公司;

3)服務公司把硬碟上的資料匯入阿里雲oss;

這種方法的優點是相對省事,缺點是硬碟快遞實時性不夠,另外還有資料安全上的風險。

本文推薦使用 raysync傳輸軟體 + 阿里雲csg物件儲存閘道器 組合方案來解決海量資料遷移問題,部署架構如下圖:

其中「raysync傳輸軟體」解決從企業公司或企業idc到阿里雲檔案網路傳輸問題,「raysync傳輸軟體」對比「普通oss檔案」在網路傳輸速度上有巨大的優勢,結合「csg物件儲存閘道器」可有效幫助企業簡單、低成本構建1套快速遷移資料的it系統。

raysync傳輸軟體安裝,可參考下面鏈結帖子描述:

阿里雲csg物件儲存閘道器配置使用,可參考

作者所在企業,採用「raysync傳輸軟體」+「csg物件儲存閘道器」,構建海量資料遷移系統,輕鬆完成數十tb的資料遷移工作。

shell快速遷移海量檔案

author skate time 2012 03 02 同事的寫的乙個指令碼,覺得非常好,實用性很強,精緻短小,特記錄與此,方便以後查用.業務需求 需要把乙個目錄下的1000多萬個檔案遷移到遠端機器 思路 用wget來把檔案乙個乙個的遷移過去,因為檔案數量比較大,如果一下在迴圈操作,會非常慢。所以...

shell快速遷移海量檔案

同事的寫的乙個指令碼,覺得非常好,實用性很強,精緻短小,特記錄與此,方便以後查用.業務需求 需要把乙個目錄下的1000多萬個檔案遷移到遠端機器 思路 用wget來把檔案乙個乙個的遷移過去,因為檔案數量比較大,如果一下在迴圈操作,會非常慢。所以分批操作,採用化整為零的方法,具體的shell指令碼如下 ...

Linux下快速遷移海量檔案的操作記錄

有這麼一種遷移海量檔案的運維場景 由於現有 伺服器配置不夠,需要做 遷移 就是遷移到另一台高配置伺服器上跑著 站點目錄下有海量的小檔案,大概100g左右,檔案居多。目測直接拷貝過去的話,要好幾天的時間。那麼問題來了,這種情況下的 資料要怎麼遷移呢?另外,此 還在執行中,白天是斷然不能停止了,只能執行...