數倉的分層

一、數倉為什麼要分層？

1、分層解耦，可以讓開發思路更加清晰，複雜問題簡單化（出錯時，可以精確定位資料）

2、節省重複開發

3、脫敏

二、數倉的分層

以5層數倉為例

ods層：原始資料層，原始資料原封不動的直接匯入！

dwd層：基於ods層，將原始資料進行清洗，篩選後的資料，把其中的明細開啟

例如：啟動日誌原始資料：

展開後，可以獲得具體每個欄位的值，

dws層：為後續的分析提供資料服務，基於dwd層，將dwd層的資料按天進行聚合！

例如：統計每天新增的使用者，每天的訂單量，每天的交易額

ads層：基於dwt層，統計具體報表需要的結果

數倉的分層

一 數倉為什麼要分層？1 分層解耦，可以讓開發思路更加清晰，複雜問題簡單化 出錯時，可以精確定位資料 2 節省重複開發 3 脫敏 二 數倉的分層 以5層數倉為例 ods層 原始資料層，原始資料原封不動的直接匯入！dwd層 基於ods層，將原始資料進行清洗，篩選後的資料，把其中的明細開啟 例如 啟動日...

數倉分層設計

介紹資料分層的作用 提出一種通用的資料分層設計，以及分層設計的原則 舉出具體的例子說明 提出可落地的實踐意見 0x01 資料分層？為什麼要設計資料分層？這應該是資料倉儲同學在設計資料分層時首先要被挑戰的問題，類似的問題可能會有很多，比如說 為什麼要做資料倉儲？為什麼要做元資料管理？為什麼要做資料質量...

數倉分層總結

數倉分層 ods層 1 保持教據原貌不做任何修改，備份 2 建立分割槽表，防止後續的全表掃瞄 3 採用lzo壓縮，並建立索引 切片 4 建立外部表 多人共用 內部表 自己使用的臨時表 dwd層 1 數倉維度建模 星型模型 維度退化 商品表 品類表 spu表 分類 二級分類 一級分類 商品表 省份 地...