維度字段 緩慢漸變維度的處理方式

2021-09-06 09:30:20 字數 2115 閱讀 8610

本文朋友在青島遊玩的時候突然想到的...近期就有想寫幾篇關於維度欄位的文章,所以回家到之後就奮筆疾書的寫出來發布了

遲緩變漸維度的理處式方

維度可以根據變更烈劇度程重要分為無變更維度、遲緩變更維度和烈劇變更維度。例如乙個人的相干息信,身份證號、姓名和性別等息信據數屬於變不的分部,政治面貌和婚姻態狀屬於遲緩變更分部,而工作歷經、工作單位和訓培歷經等在某種度程上屬於急劇變更字段。

對於烈劇變更維度,平日情況下都是一分為二停止理處的,把其中不常變化的分部獨自抽出來作為乙個維表,按照遲緩變更維式方停止理處;另外一分部也獨自抽取出來,平日作為維度的屬性停止理處。

大多數維度表隨時光的遷徙是遲緩變更的。比如增長了新的品產,或者品產的id號碼修改了,或者品產增長了乙個新的屬性,此時,維度表就會被修改或者增長新的錄記行。這樣,在計設維度和用使維度的過程當中,就要考慮到遲緩變更維度的理處。

遲緩變漸維,即維度中的屬性可能會隨著時光生髮變改,比如包括使用者住址address的dimcustomer維度,使用者的住址可能會生髮變改,進而影響業務統計精度,dimcustomer維度就是遲緩變漸維(scd),對於scd,理處式方平日有以下幾種:

type 1:完全不錄記歷史變更息信,在etl將據數載入scd的時候,對於會發生變更的屬性值直接覆蓋,比如對於dimcustomer的address,每次都會將新的位址update到該字段,因此這個scd實際上老是最新的以後息信,卻沒能包括歷史息信

每日一道理

美麗是平凡的,平凡得讓你感覺不到她的存在;美麗是平淡的,平淡得只剩下溫馨的回憶;美麗又是平靜的,平靜得只有你費盡心思才能激起她的漣漪。

type 2:通過新增錄記來將每一次變更都錄記到scd中,每條錄記都有兩個字段(如effective_start和effective_end)標明該錄記的有效期間,並且可以設定乙個active標誌位欄位,當該字段為true的時候標明這條錄記是最新的態狀,為false的時候標明該錄記是歷史錄記,其有效期間可以通過effective_start和effective_end欄位來查

type 3:通過對會生髮變更的字段,新增響應的歷史字段,來錄記近最的變更而非部全變更。比如dimcustomer中有兩個欄位address和address_old,第乙個欄位是使用者的以後住址,後乙個欄位是使用者之前一次的住址,然顯,更久之前的息信就法無追溯了

type 4:除了乙個錄記以後息信的維度外,獨自立建乙個歷史息信維度,該維度中要需包括有效期間字段(如effective_start和effective_end)

type 5:可以看到,對於type 1/2/3,都是對於scd中變漸屬性的理處式方,而針對乙個包括多字段的龐雜的scd,可能要需結合以上三種理處式方。比如對於dimcustomer中的使用者聯絡式方屬性email,如果業務上不並要重,那麼這個字段可以取採type 1的式方,即每次只儲存最新的絡聯式方,覆蓋來原的;假如業務中要需分析使用者所在地region,那麼極可能要需用到type 2,錄記個一每region的變改;而對於位址息信address,可能不並要需追溯良久的變更,那麼加乙個address_old欄位來錄記上一次的住址就夠了

文章結束給大家分享下程式設計師的一些笑話語錄: 程式語言綜述

clipper 程式設計師不去真的獵捕大象,他們只是購買大象部分的庫然後花幾年的時間試圖綜合它們。

dbase 程式設計師只在夜間獵捕大象,因為那時沒人會注意到他們還在使用石弓。

foxpro 程式設計師開始使用更新更好的步槍,這使他們花掉比實際狩獵更多的時間學習新的射擊技術。

c 程式設計師拒絕直接購買步槍,寧可帶著鋼管和乙個移動式機器車間到非洲,意欲從零開始造一枝完美的步槍。

paradox 程式設計師去非洲時帶著好萊塢關於獵捕大象的電影劇本,他們認為照劇本行事就會逮到一頭大象。

access 程式設計師在沒有任何獵象經驗的經驗下就出發了,他們穿著華麗的獵裝、帶著全部裝備,用漂亮的望遠鏡找到了大象,然後發覺忘了帶扳機。

rbase 程式設計師比大象還要稀少,事實上,如果一頭大象看到了乙個rbase程式設計師,對他是個幸運日。

visual access 程式設計師裝上子彈、舉起步槍、瞄準大象,這使大象感到可笑,究竟誰逃跑。他們無法抓住大象,因為由於他們對多重控制的偏愛,他們的吉普車有太多的方向盤因而無法駕駛。

ada、apl和fortran 程式設計師與聖誕老人和仙女一樣是虛構的。

cobol 程式設計師對和自己一樣瀕臨滅絕的大象寄予了深切的同情。

ssas漸變維度處理

ssas漸變維度處理 為了能夠追蹤歷史,我們通常有兩種方法 1.時間戳 起始生效日期和結束日期 2.使用是否當前有效的字段標記。這裡使用這些欄位的目的,在於採集事實表時,能根據這些標記查詢對應的維度記錄id 通常使用 鍵,不要使用自然鍵,並且更新時應該先更新維度表,在更新事實表 但是我們經常會碰到存...

資料倉儲 緩慢漸變維度解決方法

在從 oltp 業務資料庫向 dw 資料倉儲抽取資料的過程中,特別是第一次匯入之後的每一次增量抽取往往會遇到這樣的問題 業務資料庫中的一些資料發生了更改,到底要不要將這些變化也反映到資料倉儲中?在資料倉儲中,哪些資料應該隨之變化,哪些可以不用變化?考慮到這些變化,在資料倉儲中的維度表又應該如何設計以...

維度建模的緩慢變化維

1維度建模的數倉中,有乙個概念scd slowly channing dimensions.緩慢變化維。因為在現實世界中,維度的屬性並不是靜態的,它會隨著時間的流失而發生緩慢的變化,這種隨時間發生變化的維度我們稱之為緩慢變化維。如何處理緩慢變化維的影響,舉個例子 以使用者的地理資訊來舉例 第一種方法...