資料倉儲之元資料管理

2021-10-23 15:18:43 字數 2149 閱讀 4775

元資料(meta data),主要記錄資料倉儲中模型的定義、各層級間的對映關係、監控資料倉儲的資料狀態及 etl 的任務執行狀態。一般會通過元資料資料庫(metadata repository)來統一地儲存和管理元資料,其主要目的是使資料倉儲的設計、部署、操作和管理能達成協同和一致。元資料是資料倉儲管理系統的重要組成部分,元資料管理是企業級資料倉儲中的關鍵元件,貫穿了資料倉儲的整個生命週期,使用元資料驅動資料倉儲的開發,使資料倉儲自動化,視覺化。

使用者在使用資料倉儲時,通過元資料訪問資料,明確資料項的含義以及定製

報表。資料倉儲的規模及其複雜性離不開正確的元資料管理,包括增加或移

除外部資料來源,改變資料清洗方法,控制出錯的查詢以及安排備份等。

​元資料可分為技術元資料業務元資料管理過程元資料

1、 技術元資料為開發和管理資料倉儲的 it 人員使用,它描述了與資料倉儲開發、管理和維護相關的資料,包括資料來源資訊、資料轉換描述、資料倉儲模型、資料清洗與更新規則、資料對映和訪問許可權等。

2、 業務元資料為管理層和業務分析人員服務,從業務角度描述資料,包括商務術語、資料倉儲中有什麼資料、資料的位置和資料的可用性等,幫助業務人員更好地理解資料倉儲中哪些資料是可用的以及如何使用。

3、 管理過程元資料指描述管理領域相關的概念、關係和規則的資料,主要包括管理流程、人員組織、角色職責等資訊。

1、血緣分析:向上追溯元資料物件的資料**。血緣分析可以幫助您輕鬆回答:'我正在檢視的報告資料**是什麼?'以及』對當前分析的資料應用了哪些轉換處理?'等問題。這樣的機制及對這些問題的回答確保了對所分析的資料更高的信任水平,並有助於實現許多行業(包括醫療、金融、銀行和製造業等)對所呈現資料的特殊監管及合規性要求。

2、影響分析:向下追溯元資料物件對下游的影響。影響分析可以讓您輕鬆應對變更可能產生的影響,自動識別與其相關的依賴項和潛在的影響還可以跟蹤所有物件及其依賴關係,最後我們還提供資料全生命週期的視覺化顯示。例如,如果您的某一資訊系統中準備將「銷售額」從包含稅費更改為不包括稅費,則se-dwa將自動顯示所有使用了「銷售金額」字段,以便您可以確定有哪些工作需要完成,並且建議您在更改前完成該工作。

3、同步檢查:檢查源表到目標表的資料結構是否發生變更。

4、指標一致性分析:定期分析指標定義是否和實際情況一致。

5、實體關聯查詢:事實表與維度表的**鍵自動關聯。

1、etl自動化管理:使用元資料資訊自動生成物理模型,etl程式指令碼,任務依賴關係和排程程式。

2、資料質量管理:使用資料質量規則元資料進行資料質量測量。資料質量根據設定的規則幫助您過濾出有問題的資料,並智慧型分析資料質量缺陷。

3、資料安全管理:使用元資料資訊進行報表許可權控制。可以方便檢視使用者和訪問許可權,並啟用物件級和行級安全管理。物件級安全性確保通過身份驗證的使用者只能訪問他們被授權檢視的資料、表或列,其它資料則不可見。基於行的安全性會更進一步,可以限制特定的組成員只可以訪問表中特定的資料。

4、資料標準管理:使用元資料資訊生成標準的維度模型。

5、資料介面管理:使用元資料資訊進行介面統一管理。多種資料來源接入,並提供多種外掛程式對接最流行的源系統。應該可以簡單方便獲取資料。

6、專案文件管理:使用元資料可以自動、方便的生成的健壯全面的專案文件,其以幫助您應對各種對於資料合規性要求。讀取元資料模型,並生成pdf格式的描述檔案。生成文件您檢視每個物件的名稱、設定、描述和**。

7、資料語義管理:業務使用者在自助服務分析中面臨的挑戰他們不了解資料倉儲從而無法正確解釋資料,使用元資料可以語義層建模,使用易於業務使用者理解的描述來轉換資料。

​ 由上可見,元資料不僅定義了資料倉儲中資料的模式、**、抽取和轉換規則等,而且是整個資料倉儲系統執行的基礎,元資料把資料倉儲系統中各個鬆散的元件聯絡起來,組成了乙個整體資料倉儲解決方案。

資料倉儲 資料倉儲元資料管理

元資料 meta data 主要記錄資料倉儲中模型的定義 各層級間的對映關係 監控資料倉儲的資料狀態及etl的任務執行狀態。一般會通過元資料資料庫 metadata repository 來統一地儲存和管理元資料,其主要目的是使資料倉儲的設計 部署 操作和管理能達成協同和一致。元資料是資料倉儲管理系...

資料倉儲 五 元資料管理

元資料通常定義為 關於資料的資料 在資料倉儲中是定義和描述dw bi系統的結構,操作和內容的所有資訊。元資料貫穿了資料倉儲的整個生命週期,使用元資料驅動資料倉儲的開發,使資料倉儲自動化,視覺化。1.業務元資料 業務元資料指從業務角度描述業務領域相關的概念 關係和規則的資料,包括業務術語和業務規則等資...

七 資料倉儲元資料管理

原文 點選這裡 資料倉儲元資料管理 元資料 metadata 即資料的資料,是描述資料倉儲結構和資料倉儲建立方法的資料,主要記錄資料倉儲中模型的定義 各層級間的對映關係 監控資料倉儲的資料狀態及etl的任務執行狀態。一般會通過元資料資料庫 metadata repository 來統一地儲存和管理元...