數倉 分層架構

2022-03-30 20:14:00 字數 1225 閱讀 7180

ods層:

資料**及建模方式:各業務系統的源資料,物理模型與業務模型一致;

服務領域: 為其它邏輯層提供資料;

資料etl過程描述:把業務資料抽取落地成文字檔案,再裝載到資料倉儲ods層,不做清洗轉化。

功能:1)ods是數倉準備區

2)為dwd提供原始資料

3)減少對業務系統影響

建模方式及原則:

資料保留時間根據實現業務需求而定;

可以分表進行週期性儲存,儲存週期不長;

從業務系統以增量方式抽取載入到ods;

資料模型與粒度與業務系統一致(3nf)。

dwd層:

資料**及建模方式:資料來自於ods層,是dw明細事實層,資料模型與ods層一致;

服務領域:為edw提供各主題業務明細資料;

資料etl過程描述:根據ods增量資料和前一天dwd相關表進行merge生成全量資料,不做清洗轉化,保留原始全量資料。

功能:1)為dw層提供**明細資料

2)為未來分析類需求的擴充套件提供歷史資料支援。

建模方式及原則:

為支援資料重跑可額外增加資料業務日期字段;

可按天月年進行分表;

dw層:

資料**及建模方式:資料來自dwd層,是dw事實層,採用維度建模,星型架構,這一層可細分為dwb與dws;

服務領域:為eds提供各主題業務明細;

資料etl過程描述:從dwd層進行輕度清洗,轉化,彙總生成dw層資料,如字元合併,email,證件號,日期,手機號轉換合併;按各個維度進行聚合彙總。

dm層:

資料**及建模方式:資料來自dw層,採用維度建模,星型架構;

服務領域:資料探勘,自定義查詢,應用集市;

資料etl過程描述:從dw層進行粗粒度聚合彙總,按業務需求對事實進行拉寬形成寬表。

st層:

資料**及建模方式:資料來自dw層,採用維度建模,星型架構;

服務領域:前端報表展示,主題分析,kpi報表;

資料etl過程描述:從dw層進行粗粒度聚合彙總,如按年、月、季、天對一些維度進行聚合生成業務需求的事實資料。

數倉分層模型架構分享(3)

文章在京東系資料倉儲建設方案的基礎上,加上自己獨特的理解,很能給人以參考和啟發。原文 對於大資料來說,數倉的作用不言而喻,承載著整個公司全業務線的資料,現階段,在hadoop上的數倉主要是用來解決企業內部資料的分析,尤其是各種各樣的統計分析報表。本文主要結合自己公司目前數倉的結構設計和現階段解決的問...

數倉分層設計

介紹資料分層的作用 提出一種通用的資料分層設計,以及分層設計的原則 舉出具體的例子說明 提出可落地的實踐意見 0x01 資料分層?為什麼要設計資料分層?這應該是資料倉儲同學在設計資料分層時首先要被挑戰的問題,類似的問題可能會有很多,比如說 為什麼要做資料倉儲?為什麼要做元資料管理?為什麼要做資料質量...

數倉分層總結

數倉分層 ods層 1 保持教據原貌不做任何修改,備份 2 建立分割槽表,防止後續的全表掃瞄 3 採用lzo壓縮,並建立索引 切片 4 建立外部表 多人共用 內部表 自己使用的臨時表 dwd層 1 數倉維度建模 星型模型 維度退化 商品表 品類表 spu表 分類 二級分類 一級分類 商品表 省份 地...