資料倉儲系統資料維護 部分表重跑 的乙個方案

2021-09-30 06:54:58 字數 1006 閱讀 1550

1、

需要跑批的日期維護表

create_date_list_table.sql

2、

插入日期測試資料

插入

7、8日期

.sql

3、

批排程儲存過程

batch_su_78.sql

說明:過程分為游標取日期、從

ods取源資料、儲存過程排程、

sub歷史表備份等部分;其中,根據實際情況,取源表資料與儲存過程排程根據報表系統需要及源資料的增量全量情況,進行相應的變換;本例中,

sub的

sub.dm3_rep_plan

要求只需要取每月月末的資料,相關

ods源表只有

ods_cms_cmis_jj

是增量傳送的,所以如程式中所示編寫了**。

4、

shell

排程程式

su_78.sh

oracle_home=$oracle_base/product/10.2.0;export oracle_home

oracle_sid=bdw;export oracle_sid

$oracle_home/bin/sqlplus edw0708/edw0708<

5、

總結說明

這是乙個根據

ods、

edw、

sub的環境情況,在源表資料出錯的情況下,經過深層次分析,資料倉儲系統資料維護個別表重跑的乙個示例方案;以便於遇到類似情況,進行靈活變更,效仿操作。

資料倉儲 事實表

事實表分成三種 事務事實表 週期快照事實表 累計快照事實表 官方定義是 發生在某個時間點上的乙個事件。比如以訂單為例 下單是乙個事實 付款是乙個事實 退款是乙個事實,所有事實的累計就是事務事實表 如果需要對某一天或者某個月的資料進行分析,那麼可以使用週期快照事實表,比如 以天舉例,財務報表一般都是週...

資料倉儲 維度表

維度建模將業務抽象成事實和維度兩個概念。維度建模的核心是對齊維度。所以維度表的一致性是很重要的!維度表是如何進行處理的呢?穩定的維度表。比如 時間維度表 這種維度表的屬性是穩定的,不需要做天的全量快照資料,直接匯入一次即可 緩慢漸變維 維度會隨著時間發生緩慢的變化。比如 使用者維度表 資料量很大,但...

資料倉儲事實表分類

1 在資料倉儲領域有乙個概念叫transaction fact table 中文一般翻譯為 事務事實表 事務事實表是維度建模的資料倉儲中三種基本型別事實表中的一種,另外兩種分別是週期快照事實表和累積快照事實表。事務事實表與週期快照事實表 累積快照事實表使用相同的一致性維度,但是它們在描述業務事實方面...