雲物件儲存遷移Migration工具

2021-10-18 03:41:06 字數 2955 閱讀 8510

# 配置遷移型別

# 目前支援四大類, 這裡的儲存型別和之後的分節名稱一致

# 1 從本地遷移, migratelocal(本地遷移工具, 同之前的本地同步工具)

# 2 從友商遷移, migrateaws(從aws遷移), migrateali(從阿里遷移), migrateqiniu(從七牛遷移), migrateupyun(從又拍雲遷移)

# 4 cos的bucket複製. migratebucketcopy(將cos乙個bucket下的資料複製到另外乙個bucket, 支援跨賬號跨地域,前提是賬戶需要對源bucket源bucket有可讀許可權,對目的bucket有putobjectcopy許可權)

[migratetype]

type=migrateurl

# 遷移工具的公共配置分節,包含了要遷移到得目的cos的賬戶資訊

[common]

# 使用者的秘鑰 secret_id (可在 檢視)

secretid=******x

# 使用者的秘鑰 secret_key (可在 檢視)

secretkey=******

# 如果使用臨時金鑰訪問儲存桶,此處配置臨時金鑰的token,該金鑰需要有目的桶的putobject許可權(如果遷移型別是migratebucketcopy,則該金鑰需要有源桶的getobject許可權以及目的桶的putobject許可權)

# token=zzzzzzzzzzzzzzzzz

bucketname=test-1303824005

# 目的bucket的region資訊. cos地域的簡稱請參照

region=ap-beijing

# 目的園區的endpoint suffix, 一般情況不用填寫,適用於自定義網域名稱cname到cos上傳網域名稱的客戶.工具會在自動在在suffix前加上$。最終形成的網域名稱是

# $.$. endpoint的優先順序比region高,如果設定了endpoint則會以enpoint來補充網域名稱

endpointsuffix=

# 儲存型別, 標準(standard), 低頻(standard_ia), 歸檔(archive), 多az標準(maz_standard), 多az低頻(maz_standard_ia)

storageclass=standard

# 要遷移到的cos路徑, /表示遷移到bucket的根路徑下, /aaa/bbb/表示要遷移到bucket的/aaa/bbb/下面, 如果/aaa/bbb/不存在,則會自動建立

cospath=/

# 是否使用https傳輸(傳輸速度較慢,適用於對傳輸安全要求高的場景), on開啟, off關閉

# 預設儲存在工具下的tmp目錄, 請確保磁碟空間充足,取決於要遷移的檔案的大小與併發度。

tmpfolder=./tmp

# 小檔案閾值的位元組,大於等於這個閾值使用分塊上傳,否則使用簡單上傳, 預設5mb

# 注意:最大能上傳5gb的小檔案

smallfilethreshold=5242880

# 小檔案(檔案小於smallfilethreshold)的併發度,使用簡單上傳,此值對於頻寬充足或小檔案過多時,可以適當增大調整為128或者256等。

smallfileexecutornum=64

# 大檔案(檔案大於等於smallfilethreshold)的併發度,使用分塊上傳,此值不宜過大,建議不大於32

bigfileexecutornum=8

# 用來指定分塊上傳時單個分塊的大小, 單位位元組,,預設分塊大小是5mb

# 由於分塊上傳對單個檔案塊的數目有最大限制(10000塊),所以對於超出5mb*10000大小的檔案,需要根據具體情況調整該引數

bigfileuploadpartsize=5242880

# 表示遷移工具將全文的md5計算後,存入檔案的自定義頭部x-cos-meta-md5中, 用於後續的校驗,因為cos的分塊上傳的大檔案的etag不是全文的md5

# on 開啟, off關閉

entirefilemd5attached=on

# 表示是否啟用damon模式,damon表示程式會迴圈不停的去執行同步,每一輪同步的間隔由damonmodeinterval引數設定

# 如果啟用damon模式, 則設定為on, 否則為off

daemonmode=off

# 表示每一輪同步結束後,多久進行下一輪同步,單位為秒

daemonmodeinterval=60

# 表示任務執行的時間視窗, 滿足部分客戶要求在指定時間段內執行,比如03:30,21:00, 表示在凌晨03:30到晚上21:00之間執行任務。

# 如果當前時間不在時間視窗內,則會進入睡眠狀態,暫停遷移,直到下乙個時間視窗內自動再繼續執行。

# 但每乙個任務都是 先判斷時間是否在遷移視窗,然後開始遷移,有可能判斷的時候 在時間視窗,但是遷移過程中有可能跨過時間視窗, 即存在少量的遷移在時間視窗外執行。

executetimewindow=00:00,24:00

# 遷移成功的結果,按日期歸檔此目錄,為空即不輸出。格式每一行為:絕對路徑\t檔案大小\t最後修改時間,該目錄需要存在。

outputfinishedfilefolder=./result

# 是否接著最後一次執行的結果,繼續往下遍歷源的檔案列表

resume=false

[migrateurl]

# 使用url列表遷移,如果urllistpath填的是目錄,那麼就會把這個目錄下所有檔案都當作urllist檔案去掃瞄遷移

# 對於linux絕對路徑, 如/a/b/c, 對於windows絕對路徑,注意分隔符為兩個反斜槓,如e:\\a\\b\\c

urllistpath=/data/url.txt

#on:遷移時不去head url,off:會head url,預設off。不去head可能導致源更新了,遷移工具卻不知道,適用於確定源不更新,加快遷移速度。

isskiphead=

雲硬碟與雲儲存(物件儲存)

雲硬碟是可以掛載到雲主機上,和物理硬碟一樣使用。雲儲存則類似於網盤一樣。兩者聽起來差不多,但實際上,無論在應用場景,還是設計上,都有挺大的區別。1 可靠性 雲硬碟相當於raid1的標準,偏重模擬硬碟的效能。而雲儲存提供簡單的api 程式設計模型和資料模型 可以提供key value pair的資料儲...

騰訊雲 物件儲存

看案例 test public void list 刪除物件 指定物件在 cos 上的物件鍵 string key dasdada.jpg 的名稱 cosclient.deleteobject bucketname,key 上傳本地物件到儲存桶中 設定儲存型別為低頻 putobjectrequest...

騰訊雲物件儲存

小程式sdk 使用示例 小程式端 uploadfile function success function result for var index in this.data.imagelist function err,data 服務端示例 如python端python端使用 class cred...