資料中臺 資料集市和資料倉儲之間有什麼關係

2021-10-03 16:15:54 字數 1348 閱讀 1517

2.如何建立資料集市

資料倉儲是乙個面向主題的、整合的、相對穩定的 、反映歷史變化的資料集合用於支援管理決策。對於資料倉儲的概念我們可以從兩個層次予以理解,首先,資料倉儲用於支援決策,面向分析型資料處理,它不同於企業現有的操作型資料庫;其次,資料倉儲是對多個異構的資料來源有效整合,整合後按照主題進行了重組,幷包含歷史資料,而且存放在資料倉儲中的資料一般不再修改。

資料集市是企業級資料倉儲的乙個子集,他主要面向部門級業務,並且只面向某個特定的主題。為了解決靈活性和效能之間的矛盾,資料集市就是資料倉儲體系結構中增加的一種小型的部門或工作組級別的資料倉儲。資料集市儲存為特定使用者預先計算好的資料,從而滿足使用者對效能的需求。資料集市可以在一定程度上緩解訪問資料倉儲的瓶頸。

資料集市的特徵主要有:

規模小;

面向部門;

有特定的應用;

由業務部門定義、設計和開發;

業務部門管理和維護;

能快速實現;

購買比較便宜;

投資快速**;

工具集的緊密整合;

提供更詳細的、預先存在的、資料倉儲的摘要子集;

可公升級到完整的資料倉儲。

—資料倉儲

資料集市

資料的**

生產系統,外部資料等

資料倉儲

範圍規模

企業級部門級或工作組級

主題以企業為主題

以部門或特殊的分析為主題

資料粒度

最細的粒度

較粗的粒度

資料結構

第三正規化,規範化結構

星型模型,雪花模型,星座模型

歷史資料

大量的歷史資料

適度的歷史資料

優化處理海量資料,資料探索

便於訪問分析、快速查詢

索引高度索引

高度索引

資料倉儲(集市)的設計可以採用迭代式的方法。在迭代式開發中,每個迭代為上一次的結果增加了新的功能。功能增加的順序要考慮到迭代平衡以及盡早發現重大風險。通俗地說,就是在正式交貨之前多次給客戶交付不完善的中間產品「試用」。這些中間產品會有一些功能還沒有新增進去、還不穩定,但是客戶提出修改意見以後,開發人員能夠更好地理解客戶的需求。如此反覆,使得產品在質量上能夠逐漸逼近客戶的要求。這種開發方法周期長、成本高,但是它能夠避免整個專案推倒重來的風險,比較適合大專案、高風險專案。

理論上講,應該有乙個總的資料倉儲的概念,然後才有資料集市。實際建設資料倉儲(集市)的時候,國內很少這麼做。國內一般會先從資料集市入手,就某乙個特定的主題(比如企業的客戶資訊)先做資料集市,再建設資料倉儲。資料倉儲和資料集市建立的先後次序之分,是和設計方法緊密相關的。而資料倉儲作為工程學科,並沒有對錯之分,主要判別方式應該是能否解決目前存在的實際問題,並為今後可能發生的問題保持一定的可伸縮性。

資料倉儲到搭建資料集市

資料倉儲是一種關聯式資料庫模式,其中儲存了來自乙個或者多個源資料庫的歷史資料和元資料。資料倉儲的目的是便於將資料的報告和分析彙總到多個層次。或者更簡單點 是作為乙個存放企業各個領域的資料的單獨且有組織的庫。典型的資料倉儲有以下的一些特點 涉及多個主題域 有十分詳細的資訊 集合來自不同資料來源的資料 ...

資料倉儲和資料倉儲分層

資料倉儲 data warehouse 可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。1 問題簡單化,將乙個複雜的問題分...

資料中臺 資料倉儲 大資料平台

資料中颱是一套可持續 讓企業的資料用起來 的機制,一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方 支撐,構建一套持續不斷把資料變成資產並服務於業務的機制。資料中臺 資料倉儲 大資料平台的關鍵區別是什麼?認可了資料中颱的價值,我們自然是想要去快速搭建,然後真正去規劃...