資料倉儲 我理解的資料中臺

2021-10-25 14:31:02 字數 1210 閱讀 7734

目錄概述

特點資料應用成熟度

核心:讓資料產生價值

與傳統數倉的區別

技術架構

建設思路

自上而下

自下而上

資料中臺不僅僅是乙個技術棧,還是一種經營理念;需要利用資料中臺理論提高企業的組織效率、協同效率、運營效率

不僅僅是業務和技術聚在一起,業務提需求,技術畫架構,然後開發實現,這樣一定做不好資料中臺,它首先一定要在組織架構上表現出來,有組織保障。同時技術需要工具承載;因此資料中颱是方**+組織+工具的集合;最後的表現形式為:資料+服務+解決方案+組織。

是一套能夠持續將企業資料應用起來,產生價值的應用機制;

是一套不斷將資料形成資產,並服務於業務的產品模式與架構方**

資料**於業務,然後反哺業務,形成閉環,從而幫助企業實現資料的可見、可用、可運營。

提高效率。消除煙囪,實現資料整合、標準統一,方便資料共享。

能夠降低創新成本,這裡的創新不是顛覆性的創新,而是基於現有的業務,通過合併簡化式的創新,以適應變化的市場。

查詢統計

資料分散儲存在業務系統中,無統一質量管控,以查詢統計為主

決策支援

資料集中儲存在資料倉儲中,有一定的資料質量管理,主要用於決策支援

資料驅動

運營優化

統一規範化資料和應用,優化資料中臺,形成資料應用閉環

盡可能地採集資料,包括結構、半結構、非結構資料

更好地整理資料

etl過程:清洗、轉換、載入

資料倉儲:多維建模、er建模

挖掘資料潛在的價值

傳統資料倉儲先把業務資料歸集,根據資料發展業務,也就是「有什麼資料做什麼業務」;資料中臺根據業務歸集資料,先考慮做什麼業務,做這些業務需要什麼資料,然後產生和收集需要的資料,形成資料的迴圈,也就是「有什麼業務就產生什麼資料」。因此傳統建設數倉周期長,見效慢,資料中臺採用小步快跑,見效快,逐步迭代。

資料中臺更加重視資料服務,比如資料分析、資料播報、資料運營。目標是被整合到更多的業務系統,因此考核的重要方面:核心表數、介面資料、被呼叫次數和頻率、資料協同情況。

盤點資料資產

規劃資料架構

挖缺資料價值

按業務需求規劃第乙個主題域

建設其他主題域

資料治理

資料中颱與資料倉儲比較

從三個點來說 1 提供服務的物件 2 業務域 3 層次的劃分 1 提供服務的物件 a 資料倉儲的服務物件基本上是人。明細資料,聚合指標,轉化率模型,他們的目前使用者都是人 b 資料中颱的服務物件變成 人 機器。使用者標籤 機器學習模型,資料探勘模型,他們的目標是系統。比如說廣告系統,推薦系統,風控系...

資料中颱與傳統資料倉儲對比

1 傳統資料倉儲的特點 2 資料中颱的優點 1.存檔海量資訊,歷史資料隨時可查。例如十年前的資料,如果沒有資料庫,想要找到是不容易的,可能存檔的紙質資料或者電腦資料早就丟失了。2.提高記錄和檢索資訊的效率。試想,如果是在一堆存檔了幾年的紙張合同裡找到一張合同是很麻煩的事,尤其是如果你僅僅知道某產品的...

資料倉儲資料中臺區別在哪?

隨著大資料技術的不斷更新和迭代,資料管理工具得到了飛速的發展,相關概念如雨後春筍一般應運而生,如從最初決策支援系統 dds 到商業智慧型 bi 資料倉儲 資料湖 資料中颱等。今天多變的市場競爭環境,企業也正在尋找具備創新性 靈活性的中颱能力。什麼是資料中臺?資料中颱最核心的是onedata體系。這個...