資料質量管理

2021-08-21 13:38:47 字數 1343 閱讀 3292

常見的資料質量問題包括

通過資料分析、資料評估、資料清洗、資料監控、錯誤預警等內容,解決資料質量問題,使資料的質量得以改善,使其滿足資料需求方對資料質量的規則要求。

包括但不止以下6個方面

要素分別為:基礎模型、資料質量定義模型、資料質量控制模型、資料質量評價模型、資料質量輔助模型。

1.基礎模型。

其他模型必須以基礎模型中的計畫和標準為依據。基礎模型主要是對映、定義資料採集標準,上載分單位的採集計畫,同時納入了約束規則定義規範、控制規則定義規範、模板定義規範。

資料標準:分兩部分,一部分是直接對映應用中的標準,例如源資料庫標準;另一部分是針對新增應用庫和專案庫標準的定義規範,包括**定義標準、資料項定義標準(例如是取英文還是漢語拼音,取幾個字元)、值域定義標準等等新增表準的建立規範;

採集計畫:採集單位的每月上載的日度、月度、年度的採集計畫;

約束規則定義規範:主要描述質量定義模型中的語法構成;

控制規則定義規範:針對伺服器負載和採集表的及時性,要求建立的後台執行過程的控制方式的使用說明;

2.資料質量定義模型。

以基礎模型為前提對資料質量的統一規範的定義,是資料質量分析評價的依據和基礎。資料質量定義模型可以使用質量特性描述。資料質量特性歸納為資料的一致性、資料的準確性、資料的完整性、資料的及時性4個關鍵特性。

(1一致性的量化評價指標:字段一致率、表間字段一致率、表間記錄一致率。

(2準確性的量化評價指標:準確率、差錯率、問題字段個數、問題記錄覆蓋率

(3)及時性的量化評價指標:採集專案及時率;單位入庫及時率

(4)完整性的量化評價指標:字段缺失數、缺失記錄覆蓋率、計畫完成率。

3.資料質量控制模型。

資料質量評價模型,是以資料質量定義模型為依據,由資料質量控制模型操控執行,根據反饋的質量檢查結果表,評議出資料質量的關鍵指標,實現對資料質量的量化診斷和評價。

資料質量分析評價模型功能核心是,通過對基礎模型中的採集計畫和質量定義模型中的約束規則的處理,由控制模型呼叫可以實現檢查分析的後台儲存過程在實體庫中執行檢查,形成查詢結果,再由分析程式進行分析、計算、分類、彙總,生成反映採集計畫完成情況和資料質量量化指標的結果,儲存到分析結果表中,從前台呼叫這個分析結果表,就可以生成乙份詳盡的反映資料質量問題各類量化指標的資料質量分析評估報告,展現所評估實體庫的資料入庫的及時率、資料上報的完整性、資料採集的一致性、資料入庫的準確率。

5.資料質量輔助管理模型

資料質量輔助管理包括報告模版管理、許可權管理、資料庫資源占用情況等等。

資料質量管理

資料質量管理 下列要素是進行資料質量管理的基礎 1.資料質量的好壞是由使用者以及資料使用價值所決定的。2.資料質量的好壞代表著資料在資料知識應用中 資料所存在的系統中以及資料使用過程中被應用或者有價值的程度。3.只有當資料被下游過程 系統或使用者 所接收並使用時,資料質量問題的研討才有意義。4.資料...

資料質量管理(二)

談資料質量管理,我們首先要繞開類似bi或mdm系統,首先看下對標準的資料質量管理的一下闡述。資料質量管理 data quality management 是指對資料從計畫 獲取 儲存 共享 維護 應用 消亡生命週期的每個階段裡可能引發的各類資料質量問題,進行識別 度量 監控 預警等一系列管理活動,並...

專案質量管理 規劃質量管理與控制

規劃質量管理,是識別專案及其可交付成果的質量要求和標準,並準備對策確保符合質量要求的過程。規劃質量管理過程的主要作用是 為整個專案中如何管理和確認質量提供了指南和方向。規劃質量管理的輸入 專案管理計畫 干係人登記冊 風險登記冊 需求檔案 事業環境因素 組織過程資產 規劃質量管理的工具與技術 成本效益...