數倉建模 分層建設理論 03

2021-10-11 10:35:31 字數 678 閱讀 6694

簡單點兒,直接ods+dm就可以了,將所有資料同步過來,然後直接開發些應用層的報表,這是最簡單的了;當dm層的內容多了以後,想要重用,就會再拆分乙個公共層出來,變成3層架構,這個過程有點類似**重構,就是在實踐中不斷的進行抽象、總結

數倉的建模或者分層,其實都是為了更好的去組織、管理、維護資料,所以當你站在更高的維度去看的話,所有的劃分都是為了更好的管理。小到jvm 記憶體區域的劃分,jvm 中堆空間的劃分(年輕代、老年代、方法區等),然後是軟體結構的設計,例如微服務,大到國家的省市區的劃分,無一例外的都是為了更好的組織管理

所以數倉分層是資料倉儲設計中十分重要的乙個環節,優秀的分層設計能夠讓整個資料體系更容易理解和使用

這一節,我們主要是從整體上出發進行分析和介紹,就和上一節數倉建模方**一樣,進度對比分析,更多細節的東西我們後面會單獨拆分出來,用案例進行演示,例如維度建模,維度表的設計,事實表的設計、以及如何設計標籤、如何管理標籤等等

清晰資料結構體系

每乙個資料分層都有它的作用域,這樣在使用表的時候能更方便的定位和理解。

資料血緣追蹤

由於最終給業務呈現的是乙個能直接使用的業務表,但是表的資料**有很多,如果有一張**表出問題了,我們希望能夠快速準確的定位到問題,並清楚它的影響範圍,從而及時給到業務方反饋,從而將損失降到

數倉分層設計

介紹資料分層的作用 提出一種通用的資料分層設計,以及分層設計的原則 舉出具體的例子說明 提出可落地的實踐意見 0x01 資料分層?為什麼要設計資料分層?這應該是資料倉儲同學在設計資料分層時首先要被挑戰的問題,類似的問題可能會有很多,比如說 為什麼要做資料倉儲?為什麼要做元資料管理?為什麼要做資料質量...

數倉分層總結

數倉分層 ods層 1 保持教據原貌不做任何修改,備份 2 建立分割槽表,防止後續的全表掃瞄 3 採用lzo壓縮,並建立索引 切片 4 建立外部表 多人共用 內部表 自己使用的臨時表 dwd層 1 數倉維度建模 星型模型 維度退化 商品表 品類表 spu表 分類 二級分類 一級分類 商品表 省份 地...

數倉分層概念

把複雜問題簡單化 將乙個複雜的任務分解成多個步驟來完成,每一層只處理單一的步驟,比較簡單和容易理解。清晰資料結構 每乙個資料分層都有它的作用域,這樣我們在使用表的時候能更方便地定位和理解。便於維護資料的準確性,當資料出現問題之後,可以不用修復所有的資料,只需要從有問題的步驟開始修復。減少重複開發 規...