E HPC案例 資料遷移解決方案

2021-09-19 19:42:12 字數 847 閱讀 9569

高效能計算(hpc)涉及計算,儲存,網路等多個組成部分,儲存是hpc整體解決方案裡的重要部分,在很多應用領域,儲存的效能是關鍵的因素。阿里雲彈性高效能計算(e-hpc)整合阿里雲上的多種儲存服務nas/cpfs/oss,給使用者提供高效能的儲存方案。在多個使用者使用e-hpc的過程中,都會涉及到資料遷移:

這裡總結一下e-hpc使用者常用的資料遷移和資料儲存方案以及一些注意事項:

首先使用者需要明確知道的是,資料儲存在雲上,無論是nas還是oss,資料不會被自動釋放的,使用者遷移完畢之後,需要及時將不需要的儲存釋放。

使用者可以通過多種方式將資料遷移到雲上:

離線遷移方案

目前支援3種型別的裝置:

閃電立方-mini:適用40tb資料量的遷移

閃電立方-ii:適用100tb資料量的遷移

閃電立方-iii:適用480tb及其以上的資料量遷移

離線方案適合資料量特別大的場景,另外閃電立方資料是全程加密的,傳輸到閃電立方的所有資料均採用由客戶管理的 256 位加密金鑰。

閃電立方的具體定價和操作流程參見官網

對於高頻訪問的資料,需要在集群計算中高頻訪問到的,可以放在nas中。

nas 提供通用型和並行檔案系統 cpfs(cloud paralled file system) 兩種儲存型別。通用型分為容量型和 ssd 效能型,具體適用場景和定價參見 nas概述

很多使用者採用預付費儲存包+按量付費的模式,例如預期資料大小在5tb-8tb之間,可以購買5tb的預付費儲存包,高於5tb的部分,就使用按量付費,如果實際使用中,使用了6tb,那麼只會有1tb的按量付費。

在e-hpc集群計算完畢之後,可以將資料從nas遷移到oss中,oss支援三種儲存型別

重點注意事項是:

E HPC案例 資料遷移解決方案

高效能計算 hpc 涉及計算,儲存,網路等多個組成部分,儲存是hpc整體解決方案裡的重要部分,在很多應用領域,儲存的效能是關鍵的因素。阿里雲彈性高效能計算 e hpc 整合阿里雲上的多種儲存服務nas cpfs oss,給使用者提供高效能的儲存方案。在多個使用者使用e hpc的過程中,都會涉及到資料...

大型Oracle資料庫遷移解決方案

大型oracle資料庫遷移解決方案 大型oracle資料庫的遷移需求和挑戰 隨著業務的不斷拓展,我們經常需要對系統進行調整,比如 儲存系統公升級 伺服器公升級 平台的遷移 資料庫版本公升級等等,這些情況我們都需要借助資料遷移工作來完成。在遷移過程中,我們經常會遇到一些很難解決的問題。因為,如果是在相...

資料庫db2到oracle遷移解決方案

描述 db2語法為fetch first n rows only,oracle取前n條資料的語法為在where條件中增加rownum n 舉例 1 按照f id降序取表tab example info中前十條資料 2 db2 3select from tab example info order b...