資料倉儲準備階段分析

2021-09-29 03:27:34 字數 1943 閱讀 4706

# 初始階段

1、需求分析

目標:收集業務需求與資料實現

實現過程:了解關鍵指標、競爭性商業問題、決策指定過程、支援分析需求

物件:通過與業務代表了解業務需求,以及與源系統專家交流

2、維度建模的四步法

(1)選擇業務流程

(2)宣告粒度

(3)確定維度表

(4)確定事實表

3、選擇模型(星型模式與olap多維資料庫)

模型作用:維度表到事實表之間的聯絡

olap:包含事實表和維度表

## 事實表技術基礎

1、事實表的結構:與物理活動關係密切,受資料展現的影響不大

查詢請求的主要目標是基於事實表開展計算和聚合操作

2、可加、半可加、不可加事實

3、事實表中的空值:允許事實表中存在空值,可以使用相關的聚集函式可以

4、一致性事實

5、事務事實表

6、週期快照事實表

粒度是週期的,而不是個體事務

7、累計快照事實表

彙總了發生在過程開始和結束之間可**步驟內的度量

8、無事實的事實表

9、聚集和合併事實表

## 維度表技術基礎

1、維度表結構

特徵:維度表表包含單一的主鍵列

2、雪花維度

維度表中的層次規範有多層,建立的多級層次結構被稱為雪花模式;. 

# 中級階段

容易發生的錯誤

1、過於迷戀技術,沒有將重點放在業務需求和目標上

2、沒有合適的專案發起人

3、專案規劃不清楚

4、分配大量的精力去構建規範化資料結構,在基於維度模型建立可行的展現區前,用盡所有的預算

5、將主要精力投入到後端操作效能和易開發性,沒有重點考慮前端的查詢的效能和易用性

6、使存在於展現區的可查詢資料極端複雜

7、將維度模型放在單一基礎之上,沒有考慮過共享一致性

8、只將彙總的資料載入到展示區的維度結構中

9、意象業務,業務需求分析,其涉及的資料及技術都是靜態的

10、忽略dw的成功直接**於業務的認可

## 維度建模過程流程圖

準備---高階維度模型---詳細維度模型開發---模型評審與驗證---最終設計文件

1、業務需求評審

開始建模之前,必須熟悉業務需求

2、利用建模工具

3、利用資料分析工具

4、利用或建立命名規則

5、日曆和設施協調

## scd

1、scd(slowly changing dimension ):緩慢變化維度

其它:

資料倉儲常見的三種模型:

1、關係模型

2、多維模型

3、data vault模型

注:關係模型的三要素

1>資料結構

2>完整性約束

3>sql語言

規範化是通過正規化規則實現的。

第一正規化:保持資料的原子性

第二正規化:消除了部分依賴

第三正規化:消除了傳遞依賴

維度模型的核心概念是:事實、維度、粒度

星型模式和雪花型模式是維度模型的兩種邏輯表示。

對星型模式進一步規範化,就形成了雪花模式。

三個組成部分。

中心表記錄業務主鍵,連線表記錄業務關係,附屬表記錄業務描述

data vault不區分業務層面資料的正確與錯誤,它保留操作型系統的所有時間的

所有資料,裝載資料時不做資料驗證、清洗等工作。

資料集市是部門級的、面向主題域的資料倉儲

資料集市的複雜度和需要處理的資料都小於資料倉儲,因此更容易建立與維護。

實施乙個資料倉儲專案的主要步驟:

1、定義範圍

2、確認需求

3、邏輯設計

4、物理設計

5、裝載資料

6、訪問資料

7、管理資料

資料倉儲效能測試階段總結

效能驗證 驗證某系統在一定條件具有什麼樣的能力。效能規劃 如何使系統達到我們要求的效能能力。應用程式診斷 比如資源分配不合理,記憶體溢位和記憶體洩漏等問題,通過功能測試很難發現,但通過效能測試卻很容易發現。效能調優 滿足使用者需求,進一步進行系統分析找出瓶頸,優化瓶頸,提高系統整體效能。在進行效能測...

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲及OLAP分析

資料倉儲是儲存資料的一種組織形式,它從傳統資料庫中獲得原始資料,先按輔助決策的主題要求形成當前基本資料層,再按綜合決策的要求形成綜合資料層 又可分為輕度綜合層和高度綜合層 隨著時間的推移,由時間控制機制將當前基本資料層轉為歷史資料層。可見資料倉儲中邏輯結構資料由3層到 4層資料組成,它們均由元資料 ...