資料倉儲邏輯區域及各區域的功能和特點

2022-07-20 04:42:11 字數 2127 閱讀 6581

結合我實際工作中的資料倉儲邏輯區域劃分

客戶提供的txt檔案為source

資料庫中raw,cvt表為staging

fact表和dimension表為ods(operational data store)

msolap中建立好的cube和dimension以後為baseline或者datamart

***source system(源業務系統) -- staging area(暫存區) -- operational data store(ods,資料儲存區)-- baseline(**資料倉儲)/datamart(資料集市)***
主要是為了保證資料移動的順序進行而開設的增量性的資料儲存空間,它是源系統業務資料進入資料倉儲的快取區。從業務系統到staging的資料傳輸,應該避免複雜的資料處理,以保證資料的快速匯入而儘量減少對業務系統的壓力。需要進入資料倉儲主題系統的資料首先快速傳輸到staging area,通過staging area再轉移到目標資料倉儲中。從業務系統(如erp,psp,notes)到staging area的資料傳輸,應該避免複雜的資料處理,以保證資料的快速匯入而盡量避免對業務系統的壓力。一般,可以建立與oltp交易系統結構相同的屬性,同時在staging區域需要增加兩個屬性。

1.source code  用來表示源系統

2.last modification date 用來獲得資料處理的時間

如果原來的資料中已有上述兩個屬性,則需要在新屬性中增加dw字尾進行標識。資料成功匯入資料倉儲之後,應清空staging area中的資料。

staging區域只是為了簡化或者使etl過程,結構更合理,更利於管理等設定的中間儲存層,staging層裡的資料理論上是可以對使用者不可見的,或者說更像乙個技術策略,所以staging層只是資料倉儲中的乙個很小的技術模組。

staging層一般可以理解為資料緩衝層,用來接收源資料,在一定時間裡hold住源資料,一邊後續處理,甚至重複處理,這些處理可以完全獨立於源系統。

ods的資料作為資料倉儲系統資料儲存。ods區域可以從系統上分為兩個部分:

1.存放oltp系統的歷史資料

這部分資料需要考慮是否需要對oltp中的資料進行life cycle的記錄(包括交易資料 fact data和基礎資料 dimension data,即緩慢變化的處理 scd)

2.存放資料倉儲部分加工資訊

即通過ods歷史資料經過整合後的資訊,這些資訊更加全面的反映出主題中某件事務的全貌。

ods一般可以講是大型資料倉儲中乙個獨立的系統或環境,是否需要ods取決於業務需求,通常情況下,如果建立了ods,那個ods就要承擔較大的資料整合的任務,一邊資料倉儲主要集中於解決資料應用層面的需求,另外一般如果有ods的話,ods也會向外提供一定的應用,所以ods是對使用者可見的,而不死附屬於資料倉儲的。

資料模型的建立要看系統更側重於解決什麼樣的業務問題,ods理論上是乙個兼具生產系統和分析系統特性的系統,所以要看建設ods到底是為了解決分析系統多一些,還是為了解決生產系統問題多一些如果兩者兼顧,那麼對資料模型要求多層設計,分別滿足不同需求。

它是真正具有星型結構的多維資料儲存區,這個部分包括兩種實體(fact entity和dimension entity)。baseline部分需要支援最細粒度級別,保證可以在最細粒度級別實現多維的分析。即能夠支援彙總資料以及明細資料的多維查詢。

fact entity:

dimension entity:

此處的維度資訊是與fact entity相關的維資訊,包括很多fact entity共有的維度資訊,比如時間維度等。以及某個fact entity需要的專有的維資訊。baseline部分需要能否支援最細粒度級別,可以保證最細粒度級別實現多維的分析。

它是某個主題領域的專業的多維資料區。實現某一特定主題領域的多維查詢需求。這個部分也包括兩個實體(fact entity和dimension entity)兩部分,但是與baseline不同的是這部分的fact entity和dimension entity都是為某一主題服務的。

世界各區域的支付方式都有哪些?

先放乙個較為直觀的圖 作為一家跨境支付公司,我們payssion支援全球300多種海外本地支付,型別涵蓋電子錢包 網銀轉賬 預付卡 運營商計費 現金支付等,橫貫東西,縱覽全球,亞洲 歐洲 北美 拉美 大洋洲基本全覆蓋。但既然所說的是常用,那便挑些典型告知 除了美國市場,第二大的市場要數歐洲,雖然大部...

資料倉儲邏輯 物理結構及OLAP分析

資料倉儲是儲存資料的一種組織形式,它從傳統資料庫中獲得原始資料,先按輔助決策的主題要求形成當前基本資料層,再按綜合決策的要求形成綜合資料層 又可分為輕度綜合層和高度綜合層 隨著時間的推移,由時間控制機制將當前基本資料層轉為歷史資料層。可見資料倉儲中邏輯結構資料由3層到4層資料組成,它們均由元資料 m...

資料倉儲的定義及特點

目前,大家公認的資料倉儲創始人william h inmon 在他所著的 建立資料倉儲 一書中對資料倉儲所下的定義是 資料倉儲是在企業管理和決策中面向主題的 整合的 不可更新的 隨時間不斷變化的資料集合。由這個定義可以看出資料倉儲主要有以下四個特點 面向主題 主題是在乙個較高層次上將資料進行綜合 歸...