資料遷移的規劃和設計

2021-04-16 04:36:10 字數 585 閱讀 8420

現在應用的更新越來越快,越來越多的cio和應用系統的維護者考慮公升級自己的應用。原來開發的一些系統被新的套裝軟體,或者新的平台所替代。而系統遷移,尤其是資料遷移的工作越來越多。如何做好資料遷移的工作,合理的對資料遷移做出規劃,是很多系統公升級的技術人員需要考慮的問題。

我最近接觸了乙個公升級的專案,由於新舊系統資料模型差異較大,所以對資料遷移工作的要求較高。在定製資料遷移計畫時,我從三個角度來評估資料遷移的工作,也從這三個角度把工作分解。

1. 從資料模型理論我們知道,資料分為元資料,引用(約束)資料,主資料,交易資料,審計資料。越底層的資料變化越小,也就是靜態資料向動態資料的變化。因此,資料遷移的過程必然是從元資料開始逐步由靜態資料轉為動態資料。

2. 每種資料都可以分步為etl的過程, 從源資料中抽取資料,資料轉換,載入到新資料庫中的過程。

3. 資料清洗,質量保證以及資料驗證工作。資料清洗要應用不同型別的業務規則,質量保證和驗證主要是對資料遷移後資料的測試,驗證資料遷移工作的成果。

經此分解,資料遷移中的步驟和方法都變得很清晰,只是在每乙個步驟如何應用不同的規則和方法。

這裡只是對資料遷移前期工作作了乙個粗淺的說明,以後我還會針對細節問題展開更詳細的討論。

資料遷移和填充

資料遷移和填充 1.執行遷移檔案 php artisan migrate install 資料庫中的批次號的作用 用於建立記錄遷移檔案的記錄資料表。執行up方法 2.執行up方法之前需要刪除系統自帶的遷移檔案,只保留自己的 原因 執行遷移方法會執行遷移資料夾中所有沒被執行的遷移檔案 命令 php a...

MySQL的資料備份和遷移

為了防止伺服器宕機和人為的刪庫跑路,而造成資料丟失,我們通常需要對mysql的資料進行備份。1.docker中mysql的資料備份 我們都知道docker中執行的mysql,是處於容器之中,資料也儲存在容器裡,一旦容器被刪除,裡面的資料就會丟失,因此我們要進行備份。方法如下 1.11 在linux中...

常規資料遷移介面設計

需求描述 在乙份mysql資料庫中存在一張舊資料表,期望將老資料中的資料遷移到一張新的資料庫表中。並且在遷移過程中做一些邏輯操作。方案一 先遷移資料在根據新資料進行邏輯操作 方案二 在遷移新資料的同時進行邏輯操作 邏輯操作的設計 1.先將資料分批次取出,每乙個資料建立乙個執行緒。對於丟擲異常的執行緒...