資料倉儲 基本框架和內容

2022-09-17 06:51:11 字數 1236 閱讀 6251

資料倉儲:

維度建模

資料分層

命名規範

元資料管理

資料模型設計

前提設定: 物理世界的每乙個度量事件 與對應的 事實錶行 具有一對一的關係

內涵:資料組織,儲存和使用的方法

注意方面: 功能實現 質量管理 效能效率 儲存成本和收益 可擴充套件和方便維護

適應變化,一致性,及時, 安全 可追溯

適應變化: 業務快速發展, 人員快速變化, 業務功底不足

要什麼:

指標和度量: 原子型

比例 比率 變化型 排名型

1.維度建模:

01.維度建模基本概念:

主題域 粒度 維度 度量 事實表

維度: 緩慢變化維

02.維度建模5步驟:

確定主題域 業務過程

確定粒度   特定級別的細節資料,細節程度 01.粒度是維度的組合 02 業務含義

確定維度

確定度量 建立事實表

說明:維度屬性:

查詢的約束條件 分組彙總和排序, 確定主維度 和相關維度,從相關維度表中選擇或生成新的維度

多值維度

維度的層次結構; 層次結構扁平化 層次橋接表

時間週期: 計算週期

03.維度

緩慢變化維 : 重新維度值 增加維度行 增加維度列

維度建模匯流排

維度退化

維度整合和拆分

04.事實表選用

事務事實表

週期快照事實表

累積快照事實表

2 資料分層

從業務角度: 運營層(資料快取,資料準備)、公共層(模型,標準)、服務層(應用服務,資料產品)

從技術角度

資料近源層、

公用模型層 (公共明細層、公共彙總層、公共維度層)

資料應用層

3.命名規範

資料表名 表意 表字元長度

4.元資料管理

技術元資料

業務元資料

5.資料管理和評估

資料分級: 分級依據-指標敏感等級,-指標重要等級

價值評估 容錯率 呼叫率

6.指標分類體系

以數倉分層(ods-cdm-ads),

維度建模作為理論基礎,構建資料匯流排。標準化資料域、業務過程、維度、度量,

按原子指標、派生指標(原子指標+業務限定+時間週期構建)、衍生指標(派生指標的簡單復合運算),形成指標構建方式分類體系。

參考:

資料倉儲基礎內容

將多資料來源中的資料整合一起,進行資料分析,此時資料倉儲對多種業務資料進行篩選和整合,可以用於資料分析 資料探勘 資料包表。時效性t 1.db 各種資料來源,如mysql,mongodb等資料庫 etl 抽取 extract 互動轉換 transform 載入 load 的過程。操作工具可以簡單的編...

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...