資料倉儲 4 基於維度建模的數倉KimBall架構

2022-09-23 15:48:07 字數 738 閱讀 2905

基於維度建模的kimball架構,將資料倉儲劃分為4個不同的部分。分別是操作型源系統、etl系統、資料展現和商業智慧型應用,如下圖。

etl系統,指的就是獲取、轉換、載入的(extract transformation and load)過程以及在etl過程中使用到的資料和資料結構這樣的乙個過程的集合。也就是包含etl指令碼,以及etl中的資料,以及對應的結構。

etl過程中的獲取,指的是資料的同步,轉換指的是對資料進行轉換操作,因為資料同步過來之後,資料的格式可能不是我們想要的,資料可能有一些缺漏,資料格式可能不一致等,所以這一步,我們需要對資料進行消除拼寫錯誤、解決領域衝突、處理錯誤的資料、解析為標準的格式等。載入,指的就是經過轉換的資料,我們載入到我們的目標路徑或者目標表之中。一般有維度建模和正規化建模的表中,kimball架構使用的是維度建模。

資料展現,指的就是使用者組織、儲存資料,支援開發者對資料進行查詢,製作報表等。資料展現中的資料,必須是維度化的、原子的,以業務過程為中心的。堅持使用匯流排結構的企業資料倉儲,資料不應該按照個別部門需要的資料來構建。

商業智慧型應用,指的是開發這基於資料展現,開發出報表或者自主查詢,為商業使用者提供資料支援,資料分析等。商業智慧型應用與資料展現的區別,就是乙個是針對開發者的,往往是資料庫級別的展現,而商業智慧型應用往往是介面化的是針對普通使用者的。

參考文章:

資料倉儲與數倉建模

資料倉儲,英文名為data warehouse,簡寫為dw或dwh。資料倉儲,是乙個面向主題的 整合的 隨時間變化的 但資訊本身相對穩定的資料集合,用於對管理決策過程的支援1。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及...

資料倉儲維度建模

雪花模型 星型模型 星座 多個事實表 問題 1 資料倉儲,不針對某乙個分析主題,而是有多個分析主題,即多個事實表,維度表怎麼設計?2 即使是同乙個分析主題,也可能存在多個事實表,維度表如何設計?多個時間維度?無論星型模型 雪花模型還是星座模型,都是針對維度上的區別而來,星座模型實質上還是星型模型,只...

資料倉儲維度建模概述

面向主題的。操作型資料庫的資料組織面向事物處理任務,各個業務系統之間各自分離,而資料倉儲中的資料是按照一定的主題域進行組織的。例如 當事人 協議 機構 財務 事件 產品等主題。整合的。資料倉儲中的資料是從多個不同的資料來源傳送來的。多個應用之間在編碼,命名習慣,物理屬性 不同的資料庫 欄位的資料型別...