資料中臺盛行,DataOps興起,資料架構才是未來

2021-09-25 17:26:09 字數 3262 閱讀 3317

自資料庫技術興起以來,人們慢慢發現需要一種東西去描述資料的狀態、定義資料需求、指導資料整合、管理資料資產,以更好地實現資料策略——資料架構應運而生。

資料架構是識別企業資料需求,並以這些資料需求為出發點,設計和維護的主藍圖,以使用這些主藍圖來指導資料整合、控制資料資產,並使資料投資與業務戰略保持一致(dama-dmbok2,dama international)。

越是專業的定義越讓人難以理解,舉個例子:

小明打算在有生之年買一套北京二環內的房子,相關機構需要分析小明是否有買房資格,這是業務需求;那麼為了分析小明的買房資格,最起碼需要小明的身份資料、婚姻資料、在京納稅資料、在京繳納社保資料、在京房產資料,這些是資料需求;為了有效獲取並整合這些資料,以實現相關機構分析小明買房資格的業務需求,我們需要下圖所示的資料架構(注:此處只是簡單例子,企業真實資料架構含有很多元件,會複雜很多)。

圖 1分析買房資格的資料架構

作為連線企業架構中其他三個架構(業務架構、應用架構、技術架構)的關鍵紐帶,資料架構解決了業務與資料間的對映,規範了應用架構中的資料整合關係,指導了技術架構的技術選型。

圖2資料架構是企業架構中的紐帶

具體來說,資料架構在企業中的作用,可總結為以下四點:

1、 從不同層次描述資料,為資料管理奠定基礎

作為企業資料層面的主藍圖,資料架構管理了整個企業的複雜資料和資訊交付,數位化時代,企業擁有的資料量遠超出員工的理解範圍,資料架構使企業能在不同的抽象層次上表達資料,為資料管理奠定了堅實的基礎。

2、 定義企業資料狀態,表達戰略資料需求

資料架構是對企業當前資料狀態的整體性描述,通過資料架構,企業資料狀態一目了然,通過分析資料架構中的不足與業界的差距,可以幫助企業定義未來的狀態目標,幫助企業快速制定戰略資料需求。

3、 促進企業資料標準化,指導企業資料整合

資料架構為整個企業提供了一致的資料語言(包括標準業務詞彙表、標準技術元資料等),將業務架構中的業務需求轉化成為了資料、系統、技術需求,使不同部門和不同身份的技術和業務人員在資料層面達成一致,為資料標準化和資料整合提供了良好的支撐。

4、 規範企業資料流轉,拉通資料生命週期

資料生命週期中包括了資料的建立、獲取、移動、轉換、儲存、維護、共享、使用、處理等諸多流程,在整個生命週期中資料可以被清理、轉換、合併、更新和彙總,涉及到太多的資料流轉過程,規範資料在諸多生命週期階段的流轉細節可能會非常複雜,要求不同階段之間相互理解並隨時達成一致,此時資料架構必不可少。

作為企業層面的「主藍圖」,資料架構中包含諸多元件,企業需求的不同可能導致其資料架構包含的元件也不相同,以下是資料架構中的一些常見元件:

1、 資料模型——資料架構的核心

2、 資料流——資料與資料間的關係

資料流中主要需要設計資料如何流動,如小明需要買房,小明的社保資訊需要從社保中心獲取,小明的納稅資訊需要從稅務局獲取,這些資料需要從社保中心、稅務局流動到買房資格那裡供分析使用,這就是資料流。資料流是資料架構很關鍵的部分,表示了資料從哪個源頭來,到**去使用的過程。如身份資訊就需要從公安獲取,而不能從社保中心獲取。資料流的設計也是資料架構設計的必備設計。

3、 價值流——資料與業務間的關係

價值流更容易理解,所有的業務都有業務流程,而業務流程中會產生/使用/銷毀資料,這裡需要設計,哪些資料會在關鍵價值流中使用,對業務流程有關鍵作用,比如小明買房資格中的所需關鍵資訊就是價值流需要設計的部分。

4、 資料定義和資料標準——資料架構建設的準則和規範

在資料架構中需要規定資料模型的標準規範,包括標準的資料模型定義方式、模型屬性的標準規範等,我們通常這個標準規範為資料標準。從理論上講,所有的資料模型、資料流、資料對映關係的建設都需要參考資料定義和資料標準,從而保證資料在各個環節的拉通。

圖3 資料架構的關鍵元件

現在資料中臺建設已經成為企業數位化轉型的必選件,資料架構需要從模型為導向,走向以服務為導向。傳統資料架構更重視內部資訊的建模和梳理,為資訊化打下了很好的基礎。未來資料建模依然是企業資料架構的基礎,這點毋庸置疑,但是為了使資料架構真正落地,為資料消費端服務,未來在資料建模的同時需要考慮資料服務需求,提前確定服務水平協議(sla,service level agreement),這將會成為未來企業資料架構規劃的重點。

1、 從關注底層模型,向關注資料服務轉變

資料建模與資料整合依然是資料架構的重要任務,但資料整合方式應該參考服務化架構,不應該再單純關注底層模型,以梳理現狀為主,而應該從資料與業務的關聯入手,在模型層之上規劃需要提供給業務的資料服務,在資料模型設計時就要讓業務明白資料服務與底層資料的關係。

2、 從單純規劃內部資料,向規劃內外部資料整合與互動轉變

客戶資料、採購資料、網際網路資料、iot資料等對數位化企業越來越重要,資料架構需要重點規劃外部的資料模型,以實現企業內部資料與外部資料在模型層面的連線。自gdpr(通用資料保護條例)發布以來,由於資料安全的收緊,外部資料的整體資料流也需要詳細規劃。

資料架構的演進遠遠沒有結束,伴隨未來dataops等場景的出現,資料架構這部分內容會有更多的變化和新發現,資料架構也會越來越走向最終的資料消費端。

[1]dama international.dama-dmbok: data management body of knowledge (2nd edition)[m].technics publications:basking ridge, new jersey,2017:97.

[2]steve hoberman.data modeling made ******: a practical guide for business and it professionals[m].technics publications:basking ridge, new jersey,2009

[3]天行健-任我行.企業架構—幾種架構的整合[eb/ol].

[4]人月神話.應用架構和技術架構[eb/ol].

[5]孤獨劍0001.概念資料模型、邏輯資料模型、物理資料模型[eb/ol].

中颱及資料中臺

資料諮詢公司thoughtworks首席諮詢師王建給出的10字定義 企業級的能力復用平台 最早由阿里2015年提出的 大中台,小前台 戰略中延伸出來的概念,靈感 於馬爸爸15年拜訪了supercell公司。企業前方市場與企業內部支撐的衝突。變化無序穩定有序 前台與後台的衝突。快速響應,低成本試錯紮實...

資料中臺概述

一 什麼是資料中臺?資料中颱是一套可持續 讓企業的資料用起來 的機制,是一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方 支撐,構建的一套持續不斷地把資料變成資產並服務於業務地機制。簡而言之,資料中颱是一套讓企業資料用起來地機制。二 資料中台地四個核心能力。匯聚整合...

資料中臺綜述

資料中颱是企業數位化轉型的必然產物。在企業it架構日益複雜的今天,亟需通過一套機制,聯通傳統it架構和各類資料,融合新老模式,整合孤島資料,沉澱資料資產,快速形成資料服務能力,為企業經營決策 精細化運營提供支撐,這套機制就是資料中臺。it到dt的本質變化是 圍繞資料資產進行價值的持續積累和價釋放 只...