資料治理為何越來越重要

2021-10-05 11:43:48 字數 2704 閱讀 9490

隨著資料價值的日益凸顯,越來越多的企業開始進行數位化戰略轉型,有的通過資料平台向資料中臺過渡,有的直接建立資料中臺。

所謂「無規矩不成方圓」,因歷史原因企業在發展過程中已經形成了系統林立的情況,匯集到資料平台的資料都各具特色,缺乏標準、規範、治理的資料已經失去了使用的價值。為了規範資料處理過程,凸顯資料業務價值,需對資料平台的資料進行綜合管理,構建標準化、流程化、自動化、一體化的資料治理體系,確保資料架構規劃合理、資料加工條理清晰、資料處理可管控、資料知識可傳承。

有效的資料治理可以確保企業資料全面一致可信,從而全面釋放資料資產的價值。

資料治理之困

只有確保資料的標準化、規範化、可信可用,才能進一步通過資料運營、資料應用幫助企業實現資料資產管理、發現內部資料問題、發掘資料價值,進而實現企業資料資產的盤活和有效利用。資料治理應該採用最簡單的手段管理最有價值的資料,但在實際情況中,我們遇到過在很多資料治理開展過程中,常見的「兩不三難」的情況:

1)後向型治理,不一致:因歷史原因,很多企業採用「先建後治」的方式,通過手工填報、反向解析**、指令碼等的方式進行元資料探查、血緣探查、資料質量管理,事後才能發現問題,容易造成管理的內容和生產內容的不一致。

2)被動型治理,不高效:當發現質量問題時建設質量平台、需要資料字典的時候建設元資料管理平台,將原本完整的治理體系割裂為多個系統、多個平台,造成系統整合難度高、治理效果差。

3)誤區型治理,難聚焦:隨著中颱的建設指令碼和任務越來越多,本來管理資料變為了管理程式;資料治理的本質是管理資料,走入誤區變成管理程式、指令碼、任務,造成了管理失焦。

4)專案型治理,難延續:資料治理的最終目標是提公升資料價值,是乙個持續漫長的運營過程,需要逐步完善、分步迭代,指望一步到位完成資料治理是不現實的,但在實際執行過程中往往以專案交付為目標,點到為止,導致治理不全面、無延續,效果也注定是差強人意。

5)兼職型治理,難落地:由於每個行業、企業、單位的組織體系、資料應用、基礎架構不同,需要通過方**找到適合企業的特有的資料治理思路,同時需要專人或專業團隊進行強有力的支撐,但實際執行過程中往往是企業安排員工進行兼職管理,導致職責不清晰,主動性不強,治理工作落地困難。

資料治理之道

在傳統資料平台階段,資料治理的目標主要是做管控,為資料部門建立乙個的治理工作環境,包括標準、質量等。而在資料中臺階段,使用者對資料的需求持續增長,使用者範圍從資料部門擴充套件到全企業,資料治理不能再只是面向資料部門了,需要成為面向全企業使用者的工作環境,需要以全企業使用者為中心,從給使用者提供服務的角度,管理好資料的同時為使用者提供自助獲得大資料的能力,幫助企業完成數位化轉型。

通過分析資料治理實際開展過程**現的一些問題,我們總結出了資料治理的幾個關鍵要素:

1)資料治理需要體系建設:為發揮資料中臺價值需要滿足三個要素:合理的平台架構、完善的治理服務、體系化的運營手段。

根據企業的規模、所屬行業、資料量等情況選擇合適的平台架構;治理服務需要貫穿資料全生命週期,保證資料在採集、加工、共享、儲存、應用整個過程中的完整性、準確性、一致性和實效性;運營手段則應當包括規範的優化、組織的優化、平台的優化以及流程的優化等等方面。

2)資料治理需要夯實基礎:資料治理需要循序漸進,但在資料中臺建設初期至少需要關注三個方面:資料規範、資料質量、資料安全。

規範化的模型管理是保障資料可以被治理的前提條件,高質量的資料是資料可用的前提條件,資料的安全管控是資料可以共享交換的前提條件。

3)資料治理需要it賦能:資料治理不是一堆規範文件的堆砌,而是需要將治理過程中所產生的的規範、流程、標準落地到it平台上,在資料生產過程中通過前向的方式進行資料治理,避免事後審核帶來運維成本的增加。

5)資料治理需要建管一體化:資料中颱的資料模型血緣與任務排程的一致性是建管一體化的關鍵,有助於解決資料管理與資料生產口徑不一致的問題,避免出現兩張皮的低效管理模式。

資料治理如何落地?

資料治理在系統層面包括資料標準、元資料、資料質量、生命週期管理、資料安全、資料資產共六大核心模組;在管理層面需要通過資料治理組織、資料治理流程進行支撐保障。資料治理是一項長期且複雜的體系化工程,它需要通過一系列流程規範、制度、it能力以及持續運營等機制來保障治理工作的持續推進。資料治理的落地建議分為4個階段:

1)建組織:需要打破企業內部壁壘,構建多部門共同參與的資料治理組織,提公升資料治理重要性。成立資料治理專項團隊,包括資料治理委員會、資料治理團隊、各業務部門等層層遞進的組織架構。在績效、團隊、資源等方面支援資料治理的持續運營,達成企業資料中颱的資料戰略體系轉型。

2)立規範:建立切實可行的標準化流程規範,並隨著資料中颱的不斷運營而持續完善,分步實施逐步迭代。規範包括發布資料治理管理規範、資料治理流程規範、建立資料治理標準化閉環流程、明確線上管理要求,並通過運營閉環化、流程線上化、服務集中化形成常態化機制推進資料治理工作。

3)選平台:搭建有效的it平台支撐資料治理的規範、流程、標準落地,同時確保前向的資料治理模式。資料治理本質是一項管理工作,只有生產過程視覺化、生產過程可干預,才能保證資料治理的效果,因此平台應確保資料治理和資料生產的一體化。平台應具備多廠家協同開發能力、資料標準化管理能力、基於元模型驅動的元資料開發管理能力、元資料血緣管理能力、基於血緣驅動的任務排程管理能力、安全分層分級管理能力以及資料質量管理能力等等基礎能力才能更好的保障資料治理的落地。

4)重運營:資料治理是乙個持續並且長久的運營過程,規範、組織、平台的以及流程需要不斷的進行迭代優化,資料質量、資料安全需要持續管控,通過業務的不斷滋養逐步完善資料中颱的資料治理能力。

資料治理是一項戰略性、長期性、艱巨性、系統性和持續性的內部資料優化管理工作。因此,資料治理必然是乙個長期、連續的過程。沒有一針頂破天的訣竅,唯有企業持續不斷、持之以恆、不忘初心、不懈努力,才能達到預期目標。

應用程式的地位將越來越重要

理解一般軟體分層時,都知道可以分為2層,應用程式,作業系統。而作業系統是和硬體平台息息相關,同時這一層只是被軟體專業人士說關注,終端使用者根本不關心,甚至根本就不知到還有這樣一層。智慧型手機的作業系統的競爭已經打的火熱。可是使用者根本就不知道。他們能感受到的只是更多的功能,和更友好,美麗的介面。介面...

雲計算在企業中的應用越來越重要

在雲計算發展迅速的今天,新興的雲策略已經成為現在很多企業的選擇,多雲的方式也漸漸的被企業所採用。有些企業已經完全融入到了多雲戰略,還有一些企業為了滿足工作負載的需求,也正在尋找多個雲提供商。雲服務是一種消費模式幾乎無限的資源,因為它的功能可以一直擴充套件,所需要的費用也是不同。因為現在雲計算發展的太...

為什麼顏值越來越重要 水質取樣器為什麼越來越重要

水質自動取樣器在河流斷面 湖泊水庫的水站有使用,水質取樣器在汙水廠 排汙企業 供水公司有使用,水質取樣器在監察監測有使用。那麼為什麼水質取樣器在水環境領域的應用越來越廣?越來越重要了?下面咱們從兩個方面來解讀 其次,現在國家環境標準的制定。早在17年的時候環監辦就下發了 關於加快重點行業重點地區的重...