電信系統資料集市元資料管理方案

2021-07-05 12:50:32 字數 1911 閱讀 7327

(一) 什麼是元資料

元資料(meta-data)是關於資料的資料,是關於資料、操縱資料的程序,以及應用程式的結構、意義的描述資訊,其主要目標是提供資料資源的全面指南。元資料按其用途可分為3類:技術元資料(technical meta-data)、業務元資料(business meta-data)和內聯對映元資料對不同廠商提供的不同軟體系統和產品之間的整合起著不可缺少的作用。

中國電信企業在經過近20年的資訊化建設後,已經形成了眾多的資訊系統,這些資訊系統構成了電信行業的資訊**鏈(information supply chain,isc)的相關元件(如計費系統,經營分析與決策支援系統,客戶關係管理系統,服務開通系統等),電信行業的資訊**鏈的元件擁有豐富的元資料結構,且它們和元資料緊密相關。因此,需要把元資料作為它們操作和服務的基礎。

(二)元資料整合體系架構提議

隨著電信行業的競爭白熱化,在不可能全新設計開發所有系統的前提下,電信運營商們必然要求在資訊化建設中將遺留系統(legacy system)進行高效全面的整合,解決所謂的「資訊孤島」問題,以保證資訊和資料的共享,提高經營和決策的科學性和正確性。這就意味著在資訊**鏈中交換和共享元資料成為電信行業資訊化建設不可迴避的問題。由於這些系統分別由不同的廠商在不同的時期建設,各自擁有不同的元資料模型(即元模型,metamodel)要很容易地在這些系統中共享元資料幾乎是不可能的,這就需要整合設計者通過乙個和底層技術無關的通用的元資料整合模型來解決這個問題。

要設計乙個複雜的符合行業需要並且可實現的元資料整合體系架構,必須從2個方面考慮:元資料互連體系架構、元資料生命週期體系架構。

(一)元資料互連體系架構從乙個高層的角度描述了乙個實際的資料倉儲或isc中軟體產品和工具之間建立的物理元資料交換連線。常見的互連體系結構的泛化型別有:1.點對點模型,在需要互動的系統之間直接建立資料連線;2,**輻射模型(如星形結構),建立乙個**模型儲存庫;3.分布式模型,多個**輻射式的拓撲結構通過他們各自的中心儲存庫再以點對點方式或者**輻射式結構連線起來。通過基礎的拓撲圖知識可以知道:在乙個複雜的互動環境中使用點對點模型是代價最為昂貴的,同時也是最複雜的,因此在大型系統整合中是完全不可行的而**輻射式結構在這種超大型系統中則存在處理能力不夠的弱點,因此:電信行業的元資料互連架構只能採取分布式模型。

(二) 乙個元資料的生命週期由創作、發布、擁有、消費、管理5種活動組成。對應了5種元資料生命週期角色:作者、發布者、所有者、消費者、管理者。這些角色定義了元資料體系架構的另乙個觀點,即元資料生命週期體系架構,該架構定義了元資料整合體系架構的整個元資料流和行為特性。所有業務系統是元資料體系的元資料的作者,同時每個業務系統都有它本身的元模型儲存庫,因此從某種意義上來說,元資料體系也是發布者和管理者,同時它又是其他業務系統元資料的消費者,而全域性的**元模型儲存庫則是全域性元資料的發布者和管理者。

綜合以上分析,我們可以得出乙個較為合理的電信行業元資料整合體系架構如圖所示:

元資料管理

大資料倉儲越來越重視元資料的管理,但是元資料怎麼管理,還處於探索階段。這樣帶來的弊端顯而易見,就是1 及時性達不到,2 準確性達不到,3 同步性也達不到。它只是結項的必交的文件而已。二 越來越多的角色的人使用數倉,迫切需要乙個介面展示具體指的意思,業務統計口徑等,用乙個web介面展示,但是後端還是e...

元資料管理

元資料管理的核心功能如下 在操作方式上分為自動採集和手動採集兩種 同時,提供採集日誌資訊的檢視,檢查採集是否成功。檢視採集日誌可以查詢到採集任務的如下資訊 開始時間 任務狀態 結束時間 過程日誌,採集的數量等等。元資料採集完成後,儲存在資料庫中,支撐包括元資料統計 查詢 血緣分析 影響性分析 資料資...

元資料管理檔案系統

接下來看一些具體的東西。從形式上講,元資料可分為記憶體元資料和元資料檔案兩種。其中namenode在記憶體中維護整個檔案系統的元資料映象,用於hdfs的管理 元資料檔案則用於持久化儲存。namenode將檔案系統的元資料以不同的檔案儲存在本地磁碟中,其中最重要的兩個檔案是fsimage 和edits...