資料中臺簡介

2022-08-24 20:51:09 字數 1243 閱讀 6707

資料中颱的概念最是阿里提出來的是為了實現資料的分層和水平解耦,提供資料服務能力。看了那麼多中臺的概念,對中颱也有些自己的理解。筆者認為中臺主要是為了提供全域的資料服務。主要包括以下4部分:資料資產、資料治理、資料模型、資料服務。

打通資料建模對全域資料進行沉澱形成資料資產,從而提供統一的資料服務功能。

建設資料中臺主要就是從資料模型、資料資產、資料治理、資料服務四部分出發。

首先需要做整體規劃,哪些資料需要納入到資料中颱中,根據資料接入的情況,進行技術選型,評估集群的配置,規劃至少3年的計算和儲存資源。

資料模型,就是我們熟悉的資料倉儲中的模型,按照資料倉儲規範分層開發模型,實現資料的標準化,多採用維度建模。還有一些挖掘模型,如果用的多了,也可以沉澱到資料中颱中。我們可以看出資料中颱中的模型具有通用性。

資料建模一般分為2個步驟:

確認事實表,分析業務的生命週期,明確業務的關鍵步驟。在進行指標定義的時候是否覆蓋了本主題語中的全部指標,判斷哪些指標可以通過加減乘除計算得到等。

確定維度,粒度是模型設計的關鍵,太細的粒度不利於上層資料分析彙總,太粗的粒度又不能滿足前段多維度個性化查詢需求。基於此,模型設計時候一般考慮分層,層級越往後,粒度越粗。冗餘維度也是需要考慮的,設計冗餘的維度可以避免統計中過多的關聯導致複雜的計算邏輯,影響效能。

在資料倉儲中我們已經建立了一些模型,但是只有打通資料孤島後才可以稱為資產。需要規範指標庫,這些指標可以組合處理滿足外部人員個性化的指標需求。資產管理的基礎是做好元資料管理,元資料報括採集的介面資訊,模型資訊、指標定義,作業的血緣關係、資料儲存以及訪問情況等。

很多資料倉儲人員曾淪為「表哥」,天天忙著提取資料核對指標,時間長了,業務人員容易對你的資料不信任。資料治理主要是為了保障資料資產的完整性、準確性、一致性、及時性。根據指定的規範開發模型、校驗模型、管理模型,為業務提供統一的、準確的指標保駕護航。

資料中颱最重要的就是要對外提供統一的服務能力。資料服務需要包含以下幾個能力:

資料開發視覺化:提供服務介面的視覺化配置,開發者只需要配置sql就可以生產api,減低介面開發技術要求,便於維護和介面管理。對於業務分析人員可以讓他們輕鬆的進行演算法分析,包括模型管理、視覺化編排流程,演算法模型發布等功能。

很多人對資料中颱和資料倉儲兩個概念可能不是很清楚,其實最主要的是思維理念不同,資料倉儲是「管理資料」,資料中颱是「經營資料」,資料中颱是為了提供服務而生(也有說是為了前台而生)。

中颱及資料中臺

資料諮詢公司thoughtworks首席諮詢師王建給出的10字定義 企業級的能力復用平台 最早由阿里2015年提出的 大中台,小前台 戰略中延伸出來的概念,靈感 於馬爸爸15年拜訪了supercell公司。企業前方市場與企業內部支撐的衝突。變化無序穩定有序 前台與後台的衝突。快速響應,低成本試錯紮實...

資料中臺概述

一 什麼是資料中臺?資料中颱是一套可持續 讓企業的資料用起來 的機制,是一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方 支撐,構建的一套持續不斷地把資料變成資產並服務於業務地機制。簡而言之,資料中颱是一套讓企業資料用起來地機制。二 資料中台地四個核心能力。匯聚整合...

資料中臺綜述

資料中颱是企業數位化轉型的必然產物。在企業it架構日益複雜的今天,亟需通過一套機制,聯通傳統it架構和各類資料,融合新老模式,整合孤島資料,沉澱資料資產,快速形成資料服務能力,為企業經營決策 精細化運營提供支撐,這套機制就是資料中臺。it到dt的本質變化是 圍繞資料資產進行價值的持續積累和價釋放 只...