34個ETL子系統 9 緩慢變更維度處理

2021-08-14 17:57:58 字數 440 閱讀 4607

緩慢變更維度(slowly change dimensions  )是基於維度建模的多維資料倉儲的基礎。當維度表的資訊發生變化時,如何更新就成為乙個問題。根據kimball的經典著作,主要有3種方法來處理。

type 1:覆蓋:直接用新值代替舊值。

type 2:

增加新行。將當前行的狀態設定為off,並設定乙個endtime時間戳,將當前時間標記上。

同時新增1行,將其狀態標記為on,設定begintime時間戳為上乙個記錄的endtime+1。

type 3:增加新列:給表增加乙個新列,來儲存新值,同時保留原來的值不變。

除了上述的經典做法外,還可以通過資料分離的方式進行設計。

方式1:動靜分離。新增乙個維度表。將經常變化的維度從主維表分離出來,單獨儲存。

方式2:時間拉鍊。將每次的變化都儲存到歷史表中,並且儲存這個變化的型別以及變化時間。

34個ETL子系統 13 事實表載入

在這裡將事實表的載入單獨拿出來,主要是要強調如下三種不同型別的事實表。1 事務型事實表 以單個事務或者事件為單位,作為事實表的1行資料。2 週期快照事實表 事實表裡並不儲存全量的資料,只儲存固定事件間隔的資料,如每個月的資金餘額。3 累積週期快照事實表 當新的事實到達後,更新事實表的裡記錄。例如訂單...

34個ETL系統總結 P0

etl系統的四大塊 抽取 清洗 提交 管理 一 抽取 資料探查系統 變化資料捕獲系統 抽取系統 二 清洗 資料清洗和質量處理系統 錯誤事件處理 裝配審計維度 排除重覆記錄系統 資料一致性 三 資料發布 緩慢變更維度處理 鍵生成系統 層次維度構建 特殊維度生成系統 事實表載入 鍵管道 多值維度橋接表生...

ETL架構中的38個子系統(三)

the 38 subsystems of etl by ralph kimball,2004年4月 6.審計維度生成系統 audit dimension assembler system 主要功能是將與事實表相關的元資料內容載入到一張審計維度表中,這樣終端使用者可以像檢視普通維度一樣檢視與事實表相關...