維度表建立規範 資料倉儲篇 資料中臺建設規範

2021-10-13 13:50:13 字數 2531 閱讀 3500

一、文章概述

資料資料建設的生命週期中,有必要做出一套關於建表、字段、匯流排矩陣的規範。資料表和和字段的總原則是採用英文縮寫加下劃線的方式來命名。

二、中颱表命名規範

2.1 資料主題域

資料主題域主要是為了方便我們主題的劃分,同時有必要對主題進行統一維護、命名、編碼等。

在資料主題域中定義業務過程,需要系統化維護,保證同一業務範圍的業務過程在資料中颱中只建立一次。

資料域縮寫

業務過程

2.2 資料表型別

表型別中文名

英文名英文縮寫

事實表事務性事實表

transaction

trans

事實表週期快照事實表

periodic

perid

事實表累計快照事實表

accumulating

accum

維度表審計型別維度表

audit

audit

維度表分析類維度表

analyse

anly

2.3 應用說明

採用簡單的英文單詞簡寫描述表的用途

2.4 更新頻率

mm/h/d/w/m 【分鐘/小時/天/周/月】

2.5 更新方式

i/a 【增量/全量】

2.6 事實表命名規範

1 資料明細層(dwd)事實表命名規範

dwd___[事實表型別_]_

2 一致性資料彙總層(dws)事實表命名規範

dws___[事實表型別_]_

3 個性化資料彙總層(aws)事實表命名規範

ads____[事實表型別_]_

2.7 維度表命名規範

1 公共一致性維度表

dim_pub___

2 應用型維度表

dim____

3 審計維度表

dim____

2.8 字段命名規範

字段字首(1)

行為名稱

行為英文名稱(2)

英文縮寫(3)

樣例修飾語_

維度鍵dimension key

key樣例:(1)_(2)_key,必須保證key字尾

系統統一編碼識別符

system

sys(1)_(2)_sys

業務修飾語_統計物件_

數量count

cnt(1)_(2)_cnt

次數times

times

金額amount

amtpv

page view

pvuv

unique visitor

uv業務修飾語_

成功success

succ

完成finish

finish

支付pay

payaddress

addr

訂單order

ord渠道

channel

chl日期

date

date

時間time

time

系統自動編碼

identify

id操作流水號

number

no業務編碼

code

code

名稱name

name

資料倉儲匯流排矩陣規範

維度匯流排矩陣

維度建模的資料匯流排矩陣,提煉出公共一致性維度。無論是主事實表,還是隸屬於主事實表的子事實表都統一在匯流排矩陣中體現出來,這樣我們能夠準確提煉真正的公共一致性維度。

業務過程

原子粒度

度量公共維度

日期**

地域店面

經紀人其他維度

提交支付訂單

每個購買訂單一行

每個購買訂單數量和**

商品庫存

清單每項一行

每個庫存的數量

店面庫存

清單每項一行

每個店面房屋的數量

業務過程

機會/利益型矩陣

可以利用同乙個業務過程勾畫出不同的矩陣,但需要用維度列替換業務功能。例如,銷售計畫、市場、店面操作以及金融等。按照不同的功能的需要,包含不同的矩陣元素表明哪些業務過程對哪些業務功能有需求。在以過程為中心的行被確定為專案時,也可以用於識別需要哪些組參與更詳細的需求、維度建模和bi的應用需求。

業務過程

利益相關方

銷售計畫

市場店面操作

後期保障

財務其他維度

提交支付訂單

商品庫存

店面庫存

業務過程

維度事實錶樣例

建立事實表和維度表要遵循一定的規範,維度表通常是乙個大寬表,包括盡可能多的維度描述資訊,維度表和事實表的key值,都需要新增_key的字尾,這樣方便查詢維度資訊。事實表和微博表都需要描述清楚自己的**資訊。具體可以參考下面的樣例。

需求優先順序

不可能一次迭代就能完成所有需求,因此有必要和團隊的負責人、業務方協商優先順序。可以考慮按照「潛在的業務價值」和「需求可行性」兩個方面綜合考慮優先順序。

維度表建立規範 資料倉儲 維度建模十大原則

36dsj.com 遵循以下這些原則進行維度建模可以保證資料粒度合理,模型靈活,能夠適應未來的資訊資源 違反這些原則你將會把使用者弄糊塗,並且會遇到資料倉儲障礙。載入詳細的原子資料到維度結構中 維度建模應該使用最基礎的原子資料進行填充,以支援不可預知的來自使用者查詢的過濾和分組請求,使用者通常不希望...

資料倉儲 維度表

維度建模將業務抽象成事實和維度兩個概念。維度建模的核心是對齊維度。所以維度表的一致性是很重要的!維度表是如何進行處理的呢?穩定的維度表。比如 時間維度表 這種維度表的屬性是穩定的,不需要做天的全量快照資料,直接匯入一次即可 緩慢漸變維 維度會隨著時間發生緩慢的變化。比如 使用者維度表 資料量很大,但...

資料倉儲中清空維度表問題

資料倉儲搭建好以後,若維度表資料量不是很大,可採用全部更新的方式來提高效率,因為若用增量更新,則需要漸變維度元件,效率較底.採用全部更新,每次載入維度表之前必須先清空維度表,可在載入維度表的控制流前面加乙個 執行sql任務 用來清空維度表。但由於資料倉儲往往包有主外來鍵約束,清空表時會遇到問題,這時...