資料中臺 資料倉儲 大資料平台

2021-10-22 05:15:49 字數 1710 閱讀 8961

資料中颱是一套可持續「讓企業的資料用起來」的機制,一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方**支撐,構建一套持續不斷把資料變成資產並服務於業務的機制。

資料中臺、資料倉儲、大資料平台的關鍵區別是什麼?

認可了資料中颱的價值,我們自然是想要去快速搭建,然後真正去規劃建設的時候,我們會發現,資料中颱的建設和資料倉儲、大資料平台是有重合的,這就需要我們充分理解三者的區別。

資料中臺

資料中颱是企業級的邏輯概念,體現企業 d2v(data to value)的能力,為業務提供服務的主要方式是資料 api;

資料中臺距離業務更近,為業務提供速度更快的服務;

資料中臺可以建立在資料倉儲和資料平台之上,是加速企業從資料到業務價值的過程的中間層

資料倉儲

資料倉儲是乙個相對具體的功能概念,是儲存和管理乙個或多個主題資料的集合,為業務提供服務的方式主要是分析報表。

資料倉儲是為了支援管理決策分析,而資料中颱則是將資料服務化之後提供給業務系統,不僅限於分析型場景,也適用於交易型場景;

資料倉儲具有歷史性,其中儲存的資料大多是結構化資料,這些資料並非企業全量資料,而是根據需求針對性抽取的,

因此資料倉儲對於業務的價值是各種各樣的報表,但這些報表又無法實時產生。資料倉儲報表雖然能夠提供部分業務價值,但不能直接影響業務。

大資料平台

大資料平台是在大資料基礎上出現的融合了結構化和非結構化資料的資料基礎平台,為業務提供服務的方式主要是直接提供資料集;

大資料平台的出現是為了解決資料倉儲不能處理非結構化資料和報表開發周期長的問題,所以先撇開業務需求、把企業所有的資料都抽取出來放到一起,成為乙個大的資料集,其中有結構化資料、非結構化資料等。

當業務方有需求的時候,再把他們需要的若干個小資料集單獨提取出來,以資料集的形式提供給資料應用。

綜上,我們會發現,資料中颱是在資料倉儲和大資料平台的基礎上,將資料生產為為乙個個資料 api 服務,以更高效的方式提供給業務,本質是乙個構建在資料倉儲之上的跨業務主題的業務系統。

所以,我們會發現,不論要做哪乙個資料專案,資料才是核心,統一資料倉儲、主資料是基礎。只有打通各業務系統的資料孤島,將資料標準、口徑、模型、儲存統一,形成具備完整性、規範性、一致性、準確性和及時性的高質量資料,才能逐漸釋放資料價值。

以下這張圖很好的展示了這三者的發展關係

資料中臺可以說是幾十年來企業資料管理發展的產物,是聚合和治理跨域資料,將資料抽象封裝成服務,提供給前台以業務價值的邏輯概念。

從阿里資料平台的更迭歷史中也不難看出,在經歷了傳統資料庫時代到大資料平台再到資料中臺,資料中臺絕不是一蹴而就,其建設需要有一定的底子!

本文內容節選自帆軟

互聯互通社群

大資料平台資料倉儲分層

1 緩衝資料層bdm 源業務系統資料的快照,儲存細節資料,按天儲存。2 基礎資料層fdm 按業務概念組織細節資料。3 通用資料層gdm 根據京東核心業務價值鏈按照星型模型或雪花模型設計方式建設的最細業務粒度彙總層。在本層需要進行指標與維度的標準化,保證指標資料的唯一性。4 資料層adm 根據不同的業...

大資料資料倉儲 場景

2015 10 24 朱潔hadoop技術學習 傳統oltp olap之分 資料倉儲裡面有oltp olap之分,oltp是傳統關係型資料庫的主要應用,其主要面向基本的 日常的事務處理,例如銀行交易。olap是資料倉儲系統的主要應用,支援複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。大資...

資料倉儲 大資料定義

2012年gartner公司將大資料定義為3v,即 大容量 volume 高流速 velocity 多樣化 variety 後來人們在3v基礎上增加新的v veracity 即真實性。現在人們普遍認可的大資料是具有4v,即 volume velocity variety veracity,也就是大 ...