大資料治理體系如何搭建

2021-10-23 21:34:48 字數 1125 閱讀 9619

確定了資料治理的目標後,接下來的搭建工作就分為四個部分來執行,分別是:管理域、過程域、治理域、技術域、價值域。對於運營合規的目標,我們的首要工作就是搭建管理域的工作。

一、管理域的工作主要是確定戰略、搭建組織、制定制度、明確規範

我們需要做到的是戰略是各個業務部門都知悉明確的,組織應該是跨整個集團部門的治理委員會,制度與規範則重點明確資料標準,資料維護流程等。

對於風險可控的目標,我們主要是過程域、治理域、技術域三個方面進行發力。

二、過程域主要是方**層面

要求在資料治理的過程中,需要形成分析-設計-執行-評估四個步驟。其實也類似於戴明環(pdca)通過前期調研,設計落地,巡檢,分析反饋結果形成閉環。

我們在資料治理的過程中,會發現一些問題。例如:需求不明確或者經常調整,資料清洗影響評估不清晰,清洗主責部門不明確等等。實際上通過過程域的步驟管控,能盡可能避免該類問題風險發生。

三、治理域是針對於治理範圍進行的定義:主要分為主資料治理,業務資料治理和分析指標資料治理

那麼我們認為資料治理的核心驅動仍然需要放在主資料,主資料作為基座資料80%時間需要對此進行梳理治理。同時配合各業務系統產生的業務資料進行準確性、及時性保障。

四、同樣資料治理體系的工具也是尤為重要

我們在治理的過程中,需要對資料架構,管控平台,治理工具三方面進行投入。才能將資料治理工作事半功倍。

資料治理的目標是通過對資料資產的有效管控持續創造價值,價值域通過對治理結果的有效整理,通過構建具體化的資料產品,實現上述的價值創造。

五、資料治理的價值體系具體包括三個方面

資料服務:通過資料的採集、清洗、匯入,提公升資料質量,確保資料的一致性。這部分體現著主資料治理的關鍵價值。

資料流通:通過實現資訊整合和分發機制,支援跨業務、跨部門、跨系統的資訊流轉和協同。這部分體現著業務資料治理的關鍵價值。

資料洞察:通過消除資料內在的質量缺陷,明確資料之間的關聯關係,幫助資料分析人員更好地理解資料,實現資料洞察。這部分體現著分析資料治理的關鍵價值。

最終,資料治理體系的搭建工作才能算完成,古人的「道法術器勢」哲學思想理論顯得尤為博大精深。

當前業界流行的資料管理軟體又稱資料資產管理產品和資料管理產品,主要功能元件有元資料管理工具、資料標準管理工具、資料模型管理工具、資料質量管理工具、主資料管理工具、資料安全管理工具等。

如何建立完整的資料治理體系

在大資料智慧型化時代,管理已不再是一種傳統的方式,一套完善的資料管理系統是企業長期生存的必然選擇,我們的生活離不開大資料,企業資料管理不僅可以提高員工的效率,提高員工的積極性,管理成本也大大降低,而且還可以實現簡單的管理,解放老闆!公司應該考慮它是否有資料治理政策,如果有,是否全面有效。資料治理政策...

大資料體系

大資料系統體系 資料採集 資料計算 資料服務 資料應用 一.資料採集層 1 web端日誌採集技術方案 aplus.js 3 把資料從生產業務端傳輸到大資料系統 timetunnel 包括資料庫增量資料傳輸 日誌傳輸 實時流式傳輸 各時間視窗的批量傳輸 二.資料計算層 1 離線計算平台 maxcomp...

如何搭建資料分析體系

一 概念 資料和資料分析 一 資料 1 外部資料 社會人口資料 巨集觀經濟資料 新聞輿情資料 市場調研資料 2 內部資料 使用者行為資料 伺服器日誌資料 crm and 交易資料 二 資料分析 從資料中提取有用的資訊,並指導實踐。注意1 提取的是有用的資訊,而不是自嗨 注意2 這些資訊需要用來指導實...