資料質量保證若干步驟

2021-07-10 20:22:34 字數 858 閱讀 7139

1、管理層面:

資料質量標準(完整性、唯一性、有效性、一致性、正確性);

資料質量針對具體的資料內容,進行資料內容進行系統檢查;

2、業務層面:

資料質量關鍵物件(ctq):業務上最重要的部分對應的資料;

對已發現的問題進行訪談調查,

資料剖析:

資料概要分析,對資料來源表中值進行系統化的預先分析,可以幫助發現業務的實際規律,從而補充考核規則;

3、業務+技術

業務規則(br:bussiness rule):

轉換成sql或應用程式進行檢查;

資料質量的測定

制定br後,進行加權和錯誤物件統計,計算當前資料質量指數;

4、資料質量管理流程

制定資料質量標準:制定資料質量指標(dqi)->ctq選定(ctq候補選定->ctq重要度量指標->ctq擴張)->業務領域選定(系統資訊設定->元資料資訊搜取)

資料剖析:資料剖析物件選定->檔案設定(字段、關係、模型、日期、編碼、有效值分析)

br選定:ctq應用物件字段分析->按欄位匯出br->br擴充套件

資料質量診斷:br測定及質量診斷->配置分析

改善、清洗:錯誤原因分析->制定改善、清洗計畫->資料清洗,之後再進行診斷;

5、系統級資料質量管理流程示例

逆向資料建模(依託當前資料庫)->資料標準化->構建當前資料架構(當前資料分析)->構建目標資料架構(參照已有經驗模型及企業資料標準,生成目標模型)->br匯出及質量檢查模組生成->etl資料遷移->抽取錯誤資料->資料清洗(迴圈)

6、資料質量管理系統(dqms)

標準管理->資料剖析->資料架構質量->分析及評估->質量檢驗

7、資料質量工具和etl工具結合

軟體質量保證

一 軟體質量的概念 概括的說 軟體質量就是 軟體與明確地和隱含地定義的要求相一致的程度 具體的說 軟體質量是軟體與明確地敘述的功能和效能需求 文件中明確描述的開發標準以及任何專業開發的軟體產品都應該具有的隱含特性相一致的程度。有3個要點 1 軟體需求是度量軟體質量的基礎,與需求不一致就質量不高。2 ...

資料質量保證和資料質量檢測

資料質量保證和資料質量檢測 資料質量保證 無論是檢測原始庫或者是資料倉儲,都是要有乙個有質量保證的資料庫。以檢測資料倉儲的質量為例 原始資料在抽取進入資料倉儲後,通過檢測資料倉儲質量問題來修正原始庫,從新抽取進入資料倉儲。檢測資料倉儲的資料質量 第一層 保證資料的正確性,全面性,唯一性 第二層 進行...

軟體質量保證 軟體質量

這篇博文將較為全面深入地談談軟體質量保證中關於軟體質量的概念,內容等相關問題。關於質量的定義,不同的領域,不同的人,不同的側重點會得出截然不同的結果。因此關於其質量的基礎概念相對而言較為好理解,但是具體如何去定義實際上確是無關緊要的。不過我們在分析軟體質量的時候,不僅要考慮其面向使用者的需求覆蓋率,...