資料倉儲為什麼要分層

2022-09-16 15:06:09 字數 424 閱讀 2448

如何分層

ods層是將oltp資料通過etl同步到資料倉儲來作為資料倉儲最基礎的資料**。在這個過程中,資料經過了一定的清洗,比如欄位的統一,髒資料的去除等,但是資料的粒度是不會變化的。ods層的資料可以只保留一定的時間。

mid中間層是採用inmon集線器架構的方式,使用正規化建模(貼源)的方法。這一層主要是做規範化的事情,比如應用庫表非規範化,字段格式複雜(json格式)需做一些處理。這一層不是必須有的。也不會對外開放使用。正規化建模保證了資料一致性、唯一性、正確性。

dw-dm層是採用kimball的匯流排式的資料倉儲架構,針對部門(比如財務部門)或者某一主題(比如商戶、使用者),通過維度建模(推薦星型模型),構建一致性維度,原子粒度的資料是dw層,按照實體或者主題經過一定的彙總,建設資料集市模型。資料集市可以為olap提供服務。

為什麼要分層

分層的價值

資料倉儲為什麼要分層

如何分層 ods層是將oltp資料通過etl同步到資料倉儲來作為資料倉儲最基礎的資料 在這個過程中,資料經過了一定的清洗,比如欄位的統一,髒資料的去除等,但是資料的粒度是不會變化的。ods層的資料可以只保留一定的時間。mid中間層是採用inmon集線器架構的方式,使用正規化建模 貼源 的方法。這一層...

資料倉儲為什麼要分層

資料倉儲為什麼要分層 如何分層 為什麼要分層 空間換時間。通過建設多層次的資料模型供使用者使用,避免使用者直接使用操作型資料,可以更高效的訪問資料。把複雜問題簡單化。講乙個複雜的任務分解成多個步驟來完成,每一層只處理單一的步驟,比較簡單和容易理解。而且便於維護資料的準確性,當資料出現問題之後,可以不...

資料倉儲為什麼要分層

第一家公司的老數倉技術架構 mysql kettle,分層s ods 層 b層 有點記不清了,乙個是取資料,乙個是做拉鍊 m層 根據業務設計的表 貸前loan before 貸後loan after,並且是拉鍊表 h a層 a fc analysis user info a fc analysis ...