數倉分層聚合的理解

2021-09-26 05:41:14 字數 405 閱讀 8222

統計本身就是從明細資料彙總出結果的過程。

但是如果很多的統計任務都從明細資料直接得到結果,那麼就會存在很多的重複計算

尤其是明細資料一般會比較多,那麼就會造成計算資源的浪費

所以分層聚合的目的就是將一些公共的聚合提前做好

後續的統計,只需要基於這個初步聚合的資料。

聚合就是根據維度,關聯這些維度在多個業務角度的統計指標,

dwd:純明細資料

dwm和dws的區別,dws是更上層的

dwm裡面所有維度直接是多對多,多個維度組成記錄的唯一key 

乙個使用者,在某個頻道的瀏覽量,   這樣的話,庫里有多個相同uid和不同頻道cid的組合記錄: uid+cid  

dws裡面只有乙個主維度,其他維度是這個主維度的屬性,屬於1對多,主維度就是記錄的唯一key

數倉的分層

一 數倉為什麼要分層?1 分層解耦,可以讓開發思路更加清晰,複雜問題簡單化 出錯時,可以精確定位資料 2 節省重複開發 3 脫敏 二 數倉的分層 以5層數倉為例 ods層 原始資料層,原始資料原封不動的直接匯入!dwd層 基於ods層,將原始資料進行清洗,篩選後的資料,把其中的明細開啟 例如 啟動日...

數倉的分層

一 數倉為什麼要分層?1 分層解耦,可以讓開發思路更加清晰,複雜問題簡單化 出錯時,可以精確定位資料 2 節省重複開發 3 脫敏 二 數倉的分層 以5層數倉為例 ods層 原始資料層,原始資料原封不動的直接匯入!dwd層 基於ods層,將原始資料進行清洗,篩選後的資料,把其中的明細開啟 例如 啟動日...

數倉分層設計

介紹資料分層的作用 提出一種通用的資料分層設計,以及分層設計的原則 舉出具體的例子說明 提出可落地的實踐意見 0x01 資料分層?為什麼要設計資料分層?這應該是資料倉儲同學在設計資料分層時首先要被挑戰的問題,類似的問題可能會有很多,比如說 為什麼要做資料倉儲?為什麼要做元資料管理?為什麼要做資料質量...