資料倉儲之維度建模流程

2021-09-11 04:04:09 字數 879 閱讀 6763

資料倉儲之維度建模流程

1.確認業務過程

選擇建模的業務過程,比如園區中庫存單元被租賃出去

2.確認粒度

保證維度粒度為最小粒度,保證以後的可擴充套件性,以及向下鑽去的靈活性。特殊說明,除週期性快照表,其他型別的事實表的時間粒度都保持操作性系統中的時間,即明細到時分秒。

3.確認維度

也就是確認業務過程設計到的維度,維度主要用途是回答「what, when, where, how」等這樣的問題。bi應用上,維度主要用來做篩選、分組、鑽取。

由於維度相對資料量較少,在hive中建立的維度表,不考慮使用分割槽。

3.1 緩慢漸變維

資料倉儲需要追蹤歷史,因此部分維度需要採用緩慢漸變的方式,計畫採用如下方式:

在維度表上增加起始日期(begin_date)與結束日期(end_date),以及當前狀態(current_status)

3.2 維度一致性

在確認最小粒度之後,維度表盡量一次建成以後,後續可重複使用,如此可以保證維度的一致性。

4.確認事實

確認需要衡量的事實,例如進出園區人數,次數;園區租賃金額等。

•    事務型事實表:主要用來捕捉特定維度範圍內,會經常發生的一系列基本無序的事件。

•    週期型快照事實表:按照一定時間粒度(day/month),儲存特定維度範圍內的效能度量。例如,每日進出園區的人數。

•    累積快照事實表:用來捕捉一系列有序的事件,在不同時間範階段內效能度量。例如,crm系統中有lead(潛在意向客戶)->deal(簽約中的客戶) -> lease(發生租賃的客戶),這樣一系列的流程可以考慮使用累積快照事實表。

資料倉儲之維度建模

1.資料倉儲建模目標 資料倉儲建模的目標是通過建模的方法更好的組織 儲存資料,以便在效能 成本 效率和資料質量之間找到最佳平衡點。訪問效能 能夠快速查詢所需的資料,減少資料 i o 資料成本 減少不必要的資料冗餘,實現計算結果資料復用,降低大資料系統中的資料 成本和計算成本 使用效率 改善使用者應用...

資料倉儲維度建模

雪花模型 星型模型 星座 多個事實表 問題 1 資料倉儲,不針對某乙個分析主題,而是有多個分析主題,即多個事實表,維度表怎麼設計?2 即使是同乙個分析主題,也可能存在多個事實表,維度表如何設計?多個時間維度?無論星型模型 雪花模型還是星座模型,都是針對維度上的區別而來,星座模型實質上還是星型模型,只...

資料倉儲維度建模概述

面向主題的。操作型資料庫的資料組織面向事物處理任務,各個業務系統之間各自分離,而資料倉儲中的資料是按照一定的主題域進行組織的。例如 當事人 協議 機構 財務 事件 產品等主題。整合的。資料倉儲中的資料是從多個不同的資料來源傳送來的。多個應用之間在編碼,命名習慣,物理屬性 不同的資料庫 欄位的資料型別...