數倉的分層

2021-10-10 20:54:25 字數 360 閱讀 9908

一、數倉為什麼要分層?

1、分層解耦,可以讓開發思路更加清晰,複雜問題簡單化(出錯時,可以精確定位資料)

2、節省重複開發

3、脫敏

二、數倉的分層

以5層數倉為例

ods層:原始資料層,原始資料原封不動的直接匯入!

dwd層:基於ods層,將原始資料進行清洗,篩選後的資料,把其中的明細開啟

例如:啟動日誌原始資料:

展開後,可以獲得具體每個欄位的值,

dws層:為後續的分析提供資料服務,基於dwd層,將dwd層的資料按天進行聚合!

例如:統計每天新增的使用者,每天的訂單量,每天的交易額

ads層:基於dwt層,統計具體報表需要的結果

數倉的分層

一 數倉為什麼要分層?1 分層解耦,可以讓開發思路更加清晰,複雜問題簡單化 出錯時,可以精確定位資料 2 節省重複開發 3 脫敏 二 數倉的分層 以5層數倉為例 ods層 原始資料層,原始資料原封不動的直接匯入!dwd層 基於ods層,將原始資料進行清洗,篩選後的資料,把其中的明細開啟 例如 啟動日...

數倉分層設計

介紹資料分層的作用 提出一種通用的資料分層設計,以及分層設計的原則 舉出具體的例子說明 提出可落地的實踐意見 0x01 資料分層?為什麼要設計資料分層?這應該是資料倉儲同學在設計資料分層時首先要被挑戰的問題,類似的問題可能會有很多,比如說 為什麼要做資料倉儲?為什麼要做元資料管理?為什麼要做資料質量...

數倉分層總結

數倉分層 ods層 1 保持教據原貌不做任何修改,備份 2 建立分割槽表,防止後續的全表掃瞄 3 採用lzo壓縮,並建立索引 切片 4 建立外部表 多人共用 內部表 自己使用的臨時表 dwd層 1 數倉維度建模 星型模型 維度退化 商品表 品類表 spu表 分類 二級分類 一級分類 商品表 省份 地...