OSS無縫資料遷移方案

2021-09-23 22:58:25 字數 1115 閱讀 6804

整個遷移過程分為下面幾個步驟:

如上所說,我們有兩種方式bucket回源屬性可以做到無縫遷移,即映象和重定向:

上圖是「利用映象做無縫資料遷移示意圖」,圖中帶有數字標記的箭頭就是資料訪問miss時的資料流向。在映象回源的方式下使用者訪問oss如果object miss,那麼oss會替使用者從源站讀回檔案,並寫入到oss,這樣一來,如果使用者的請求可以遍歷所有的檔案,那麼這個非同步的遷移過程其實是可以省略掉的(當然,這也會帶來一些新的問題,後文我們會提到)。

上圖是「利用重定向做無縫遷移示意圖」,圖中有數字標記的箭頭就是資料訪問miss時的資料流向。在配置重定向回源的方式下,如果object miss,那麼需要您的客戶端去源站去讀取一次資料。這就要求您的客戶端要能理解http協議中的3xx重定向語義(oss的重定向回源是通過3xx重定向來實現的)。需要注意的是,在這種回源方式下,oss不能自動幫使用者搬遷資料,使用者的資料必須依靠遷移工具/服務來非同步的搬遷到oss上面來。

圖中也能看到在這種場景下配合cdn一起使用,那麼檔案會cache在cdn上,無需每次miss之後都回源站讀取,也是一種減少延遲、節省源站流量的方式。如果不使用cdn,那麼就需要使用者自己完成回源站讀取資料的過程。

縱觀上面的兩張圖,在您配置bucket的回源屬性之後,再開啟資料遷移過程,在業務資料大部分都搬遷到oss之後,再將整個業務的讀寫全部切換到oss。這個時候回源功能就能幫您處理那些尚未搬遷過來的資料,無需停服,無縫銜接。等到所有的資料都搬遷完畢之後就可以關閉回源,停掉資料遷移,整個向oss遷移資料的方式就完成了。

本部分主要包含bucket回源屬性的配置,以及遷移工具/服務的使用方法。

要配置bucket的回源屬性,要在bucket屬性的「回源設定」裡面新增規則。如下圖:

這裡的規則分為兩種:映象回源和重定向回源。

下圖為如何配置映象回源:

圖中可以看到映象方式只支援http code設定為404這種方式,也就是我們所說的訪問object miss的情況下才會去做映象。

下圖為如何配置重定向回源:

重定向回源中回源條件中的http code可以設定400-599之間的錯誤碼,但是在用回源實現無縫遷移的時候這個地方要填成404。其他的選項依照您的實際情況使用。

遷移工具linux平台使用說明

遷移工具windows平台使用說明

MongoDB資料遷移方案

mongodump,mongorestore mongodump 命令格式 mongodump h dbhost d dbname o dbdirectory h mongodb所在伺服器位址,例如127.0.0.1,也可以指定埠 127.0.0.1 8080 d 需要備份的資料庫名稱,例如 tes...

distcp資料遷移方案

資料遷移distcp方案 根據遷移的實際情況,由於資料量大 重要 迫切性,因此實施方案每一步都需嚴謹執行,並且當出錯時清楚缺少的資料和補救的辦法。大的步驟分為3步,即export distcp import。在export匯出資料時,以時間戳作為引數,如將三個月的資料為乙個單位匯出,出錯時,重複執行...

遷移資料方案

我們在做系統的時候,有時候會遇到遷移資料或者處理任務 任務量又比較大 比如把redis的資料取出來做一些操作,然後處理完的資料在存到hbase 我們需要考慮到資料處理過程中失敗情況,需要處理高併發去執行,具體怎麼設計,怎麼做呢,有一種簡單的方式如下 1我們先把任務資料存到redis任務佇列裡 2定義...