大型Oracle資料庫異構平台遷移案例(杭州電信)

2022-07-18 18:33:12 字數 2850 閱讀 3630

杭州電信是中國電信旗下的重要分公司之一。杭州電信的前身是建立於2023年的津滬電報總局杭州電報分局。解放後,隨著我國郵電事業的變遷,杭州電信不斷發展壯大。在2023年7月,浙江省電信****杭州市分公司正式掛牌成立。在一百多年的發展中,杭州電信不僅為中國經濟最發達省份提供著優質的電信服務,而且為中國的電信事業培養了大量的優秀人才,包括現任資訊產業部部長王曉初以及中國移動董事長王建宙等都曾在杭州電信長期學習、工作和擔任領導職務。杭州電信現有資產總值62.5億元,員工2529名。公司下轄蕭山、餘杭、富陽、臨安、桐廬、建德、淳安七個縣(市、區)電信局,客戶量超過460萬。 

杭州電信的電信資訊系統自2023年建設,至今已5年有餘。由於業務的快速發展,資料量**式增長,而原有的系統由於裝置老化、擴充套件性不足,在處理能力、效能等方面已經無法滿足現有業務的需求。為此,杭州電信在機房搬遷的同時,採購一批新的裝置,實現資訊系統的公升級換代。

在整個搬遷工程中,帳務系統的遷移最具有挑戰性:

1)資料庫容量大。帳務系統庫容量超過3.5tb,資料量2.9tb。各類物件超過18萬個,其中表18000多張,最大使用者下就有超過10000張表,而最大的表內記錄數接近3億條;儲存過程和函式等接近10000個。

2)跨平台。舊帳務系統採用ibm s85 + aix 4.3.3 + oracle8.1.7.4,遷移後的新帳務系統採用hp rp7420 + hp-ux 11i v2 + oracle8.1.7.4

3)時間有限。業務要求整個搬遷過程不能超過48小時,業務中斷不能超過2次,每次不超過4小時。

4)資料準確性要求高。由於是帳務系統,資料庫記錄的都是客戶資料、欠費繳費資訊和計費資訊。如果出現資料準確性問題,將導致整個營業收費系統的紊亂,引起客戶的投訴。面對如此高難度和複雜的工程,杭州電信和相關整合商首先邀請國外廠商q公司來協助完成搬遷,但q公司6周的測試以失敗告終。在離搬遷日期僅剩3周的時候,杭州電信和相關整合商邀請dsg公司協助完成遷移。 

針對客戶的實際情況,dsg公司提出:

1)在技術上採用dsg realsync軟體實現大容量資料庫的跨平台快速同步dsg realsync軟體支援不同平台上的oracle資料庫之間的快速同步,包括首次資料同步和增量資料複製。dsg realsync採用完全邏輯的方式進行資料同步,可以跨越不同平台;並且在資料同步過程中,採用了dsg獨有的xf1檔案格式、資料流壓縮技術和快速資料抽取和裝載技術。在配置多個同步通道的情況下,可以快速將現有資料庫內的資料同步到目標資料庫,並在其後將同步期間的增量資料一併複製到目標資料庫實現資料追平。目前dsg realsync支援主流平台(hp/ibm/sun/comppaq/pc)上的oracle各版本(oracle8i – 10g)之間的資料複製。

2)在工程上設計了環境初始化、軟體除錯、資料初始化、預割接測試和正式割接等5個步驟來實現資料的平穩遷移。帳務系統的搬遷設計到大量繁瑣的技術細節。為此:

l環境初始化階段主要是按照舊帳務系統的配置在新帳務系統上劃分pv、vg、lv、cluster、配置作業系統、建立新帳務系統資料庫(ops)、配置資料庫引數、建立表空間、回滾段、使用者等。同時配置資料庫的tns和listene、passwd檔案等。在此期間,根據資料庫以往的使用情況,適當進行優化。

l軟體除錯階段在新舊帳務系統主機上安裝dsg realsync軟體,並進行軟體除錯和優化配置。包括通道的劃分和使用者及表在不同通道中的分配,問題表的檢驗和新資料庫的環境測試等。l資料初始化階階段在除錯好環境和軟體的情況下,重新啟動realsync軟體,對所有資料進行同步,包括表、索引、儲存過程、觸發器、序列、資料庫鏈結、同義詞等等。

l預割接測試階段在完成所有物件和資料的同步及資料的追平後,對遷移到融在系統的資料進行檢驗,包括物件個數和狀態、表記錄數和內容、序列的值的大小,以及進行業務測試,確認資料一致和物件狀態正確。此時,維持系統的同步狀態。

l正式割接階段在約定的搬遷日期,停止舊帳務系統上的業務,等待最後的資料完成複製,在此對業務停止後的新舊帳務系統進行資料檢驗。在此基礎上,變更新舊帳務系統主機的ip位址,測試客戶端鏈結,完成資料遷移。完成遷移後,繼續跟蹤觀察,直到系統通過月底出賬考驗。 

本次遷移過程相當順利,從環境準備到遷移完成(04.11-04.29),共使用3周不到的時間;遷移當日,比原計畫提前3小時完成遷移工作。遷移後資料庫執行正常,順利通過月底的出賬考驗。同時,經過遷移的優化,消除了大量的資料庫碎片並充分發揮了新裝置的效能優勢,新帳務系統的處理能力比舊系統提高3-4倍。

在本次系統遷移中,dsg realsync軟體表現如下特性:

1)資料準確性高。在遷移過程中檢驗以及遷移後的出賬過程中檢驗,所有資料完全一致,沒有一條記錄丟失,也沒有發現資料有誤。

2)不受異構平台影響新舊帳務系統採用完全不同的儲存、主機、作業系統。dsg realsync完全不受這些異構平台的影響,同步及複製都正常。

3)同步效率高對於2.9tb的資料庫,採用8個資料通道同步,最快的通道完成300gb的資料匯出僅用1.5小時;所有通道完成源端抽取及目標端裝載和建立索引所用時間為42小時。而如果使用oracle export/import工具來完成,完全匯出資料就需要3-4天,裝載完成則需要約1周時間。

4)複製時延小,資料追平快完成首次資料同步後,追平增量資料僅使用了1小時。

5)

6)操作簡單方便,流程可控採用realsync軟體進行遷移,操作相當簡單方便。無須借用其他手段,僅使用realsync提供的指令碼和配置檔案即可。

在整個遷移過程中,操作流程都可控、可逆,因此,遷移過程無風險。

大型資料庫設計

隨著計算機技術越來越廣泛地應用於國民經濟的各個領域,在計算機硬體不斷微型化的同時,應用系統向著複雜化 大型化的方向發展。資料庫是整個系統的核心,它的設計直接關係系統執行的效率和系統的穩定性。因此在軟體系統開發中,資料庫設計應遵循必要的資料庫正規化理論,以減少冗餘 保證資料的完整性與正確性。只有在合適...

大型資料庫技術1

什麼是資料庫?在計算機系統中按照一定 的資料模型組織 儲存和使用相互關聯的資料集合。資料模型 通常是由 資料結構 資料操作 完整性約束3部分組成。資料結構 是對系統靜態特徵的描述,描述的物件包括資料的型別 內容 性質和資料之間的相互關係 資料操作 是對系統動態特徵的秒速,是對資料庫中各種物件例項的操...

大型資料庫設計原則

摘要 大型資料庫相比較於以前檔案型資料庫有著其眾多的優點,也是當今 mis系統開發的的首選產品。但是,資料庫模型的設計合理會極大地影響到 mis系統使用效能。本 根據作者多年從事資料庫設計的一些經驗,闡述了資料庫設計時的一些準則。隨著市場競爭的加劇和資訊社會需求的發展,人們對資訊的處理 獲取 發布 ...