DataOps系列丨資料的「資產負債表」與「現狀」

2022-06-07 09:06:12 字數 2742 閱讀 3343

《跨越鴻溝》的作者geoffrey moore曾說「沒有資料,運營企業就像乙個又聾又瞎的人在高速上開車一樣」。資料的價值從未像現在這樣被企業重視,idc預估,到2023年,全世界會有44萬億g資料,每乙個世界500強的ceo和獨角獸創業公司的創始人都在思考並實踐如何能用資料支援、改造、創新業務,以獲得新的增長。

一、資料的「資產負債表」

當下,資料量的增長態勢已經遠遠超出了預期,很容易讓我們產生一種錯覺,彷彿這樣就擁有了資料資產。

但我們認為這是對事實的一種簡化。單就儲存龐大的資料而言,企業就要為此付出大量成本。例如,如果有100pb的資料,儲存在亞馬遜雲服務aws s3上一年就需要花費2500萬美元。如果要讓資料發揮價值,那麼資料的採集流轉、處理計算、質量監測以及提供資料服務的資源成本和人力成本更是會快速上公升。在這種情況下,如果我們製作乙個企業的「資料資產負債表」,到底會有多少資料是企業真正的資產?如何才能增加企業的資料資產呢?

問題看似簡單,但很少有企業能在深入思考後得出嚴謹的回答。導致目前在使用資料的過程中存在「多、亂、慢、差」等情況,嚴重降低和阻礙了資料發揮作用的價值與效率。所以,只有像經營公司一樣精細化地經營資料,資料才能從負債變成資產。

二、當前的資料現狀

若想實現精細化運營,就不得不迎接種種難題。當前,擁有幾百上千個內外部資料來源的組織越來越多,其中包括各種業務、流程、客戶資料,結構化、半結構化、非結構化資料。如果再考慮到未來5g和區塊鏈帶來的應用級影響,將又會是一種難以言說的痛。在這種複雜異構的背景下,企業一方面缺少高效整合資料的方法和工具,另一方面更缺失能從這些資料中尋找規律,發掘價值的人才和文化,因此讓理解、整合資料變得雪上加霜。而這恰恰是所有資料使用的起點,如果沒有成熟高效的應對之道,資料驅動業務將會淪為空談。

除了資料來源數量和型別的不斷增多,業務本身也在不斷地進化調整,從而導致其產生的資料結構或元資料也隨之發生改變,以上種種會引發一系列資料鏈路的連鎖反應。

遺憾的是,很多企業制定元資料架構時通常是靜態的,可以理解當下的資料架構和含義,但無法在業務的快速迭代發展中,始終保持與業務語義的一致,以致最後逐漸喪失指導資料分析師理解業務的能力,造成資料分析時統計口徑不一致等情況,給企業進行重大決策時造成混亂。

當業務部門希望使用資料來輔助決策或者創造新的商業模式時,通常有兩個時效性的要求:一是滿足資料需求的速度,二是對於所需資料的延遲性。因為業務創新的關鍵點在於能否快速滿足市場需求,不僅需要用資料快速測算市場規模,更需要在時間視窗開啟的時機內提供相應的產品和服務從而占領市場。而這一過程越來越受資料供給速度及時效性的影響,例如銀行業的實時風控系統,零售業的實時營銷系統,工業界的數字孿生系統,都是業務創新對資料實時性要求非常高的典型。而大多數企業的資料部門在這兩點的滿足上是捉襟見肘的。

資料被使用只是萬里長征的第一步,接下來資料質量差的問題會接踵而至。目前,企業經營者和高管要麼不知道資料質量存在問題,要麼就是以鴕鳥心態迴避和掩蓋問題。gartner的資料質量市場調查顯示,糟糕的資料質量平均每年會帶來 1500 萬美元的損失。儘管所有企業都認同資料質量的重要性,但gartner認為仍有84%的企業的資料質量處於「不成熟」階段。損失金錢只是硬幣的一面,又有多少公司因為資料質量差,缺乏信任,而錯失了創造大量收入的機會呢?最後,資料安全與隱私也是亟待關注的問題。每年都有許多公司因為資料洩露而蒙受聲譽和財務上的雙重損失,歐盟已經制定了gdpr的標準和規則,並且對包括google在內的許多科技巨頭開出了數以億計的罰單,同時我國也在相關法律法規的制定流程中。資料的安全與隱私問題是乙個非常關鍵的點,在安全合規的範圍內充分發揮資料價值是dataops的關鍵點之一,而這並不僅是技術問題。而是在安全合規的前提下,最大限度賦予組織內部使用資料許可權靈活度的問題。

三、現狀之下的反思

大多數時候,資料出現問題並不僅僅是資料部門的原因,更多是組織架構及配合的問題。相較於追責某些工具,反而應該思考文化在其中扮演的角色。因此,是時候深入思考這些問題背後的「元問題」了。

我們應該用何種理念和方法來面對這個「元問題」?不妨先從dataops著手。

接下來datapipeline將集中討論「dataops與企業如何增強資料管理」的問題,本文首先交代了資料管理目前的現狀以及dataops出現的背景。

後面將陸續從「dataops理念及設計原則」、「dataops的組織架構與挑戰」、「dataops的技術考量」等角度進行全方位地解讀。

如何檢視資產主資料的變更記錄

資產主資料的變更會影響到資產的折舊計算以及資產報表的準確性。一般來說我們可以針對不同的目的使用一下三種方法來檢視資產主資料變更的歷史記錄。1,檢視單個資產的某個欄位的變更記錄,使用事務碼as02或者as03開啟資產主資料,然後把游標放在需要檢視的字段上,選擇menu environment chan...

大資料的淘金之旅,資料治理之資料資產管理

寫在前面 一 大資料治理 那些年,我們一起踩過的坑 主要講講資料治理工作中常見的一些誤區。二 要打仗,你手裡先得有張地圖 資料治理之元資料管理 這一篇講講元資料的概念和具體應用場景。三 不忘初心方得始終 資料治理之資料質量管理 提公升資料質量,始終是資料治理工作中最重要的目標之一。本篇講述如何科學地...

珍視你的信用資產 信用卡理財系列之四

完結 珍視信用資產 自信用卡發行以來,鮮有銀行家跳樓的現象,而且他們的日子過得比以前更滋潤。事實上,銀行家靠信用卡賺了不少錢。這是為什麼呢?首先我們要搞清楚信用卡利潤的構成 年費 利息 罰息 超額消費金 分期付款手續費這些是由持卡人貢獻的利潤,此外銀行還要扣掉商家1 左右的手續費。這些利潤由發卡行 ...