資料倉儲之ODS建設

2021-10-05 15:44:13 字數 605 閱讀 9184

本章首先通過引用資料倉儲理論推動者bill.inmon和kimball關於ods的定義來闡述ods系統的概念。

另一方面梳理了ods和業務系統以及資料倉儲這三者之間的關係:他們相互之間的差異、聯絡以及他們各自的作用。

最後,從實際生產場景出發說明了ods和staging data server的關係 以及發展歷程。

ods全稱是operational data store,運算元據儲存。

根據bill.inmon的定義,ods是乙個面向主題的、整合的、可變的、當前的細節資料集合,用於支援企業對於即時性的、操作性的、整合的全體資訊的需求。常常被作為資料倉儲的過渡,也是資料倉儲專案的可選項之一。

而kimball在《資料倉儲生命週期工具集》中是這樣定義ods的:

因此運算元據儲存(ods)是用於支援企業日常的全域性應用的資料集合,ods的資料具有面向主題、整合的、可變的以及資料是當前的或是接近當前的這4個基本特徵。同樣也可以看出ods是介於db和dw 之間的一種資料儲存技術。

特別需要注意的是,kimball所說的ods是物理落地在操作性系統(即是關係型資料庫),但是在實際生產應用中,ods往往是物理落地在資料倉儲中,這塊在後續ods和staging data server中會詳細說明。

資料倉儲與ODS的區別,資料倉儲和ODS並存方案

我在公司的資料部門工作,每天的訂單類資料處理流程大致如下 刪除分析資料庫的歷史訂單資料 全量更新訂單資料到分析資料庫。由於訂單核心資料不大,所以經受得起這麼折騰 將資料簡單清洗,並生成資料集市層 分析處理,產出報表。當然還有其他的資料也是這麼處理的 比如產品的資料 景區的資料 票種的資料 商的資料等...

資料倉儲與ODS的區別

我在公司的資料部門工作,每天的訂單類資料處理流程大致如下 刪除分析資料庫的歷史訂單資料 全量更新訂單資料到分析資料庫。由於訂單核心資料不大,所以經受得起這麼折騰 將資料簡單清洗,並生成資料集市層 分析處理,產出報表。當然還有其他的資料也是這麼處理的 比如產品的資料 景區的資料 票種的資料 商的資料等...

資料倉儲與ODS的區別

我在公司的資料部門工作,每天的訂單類資料處理流程大致如下 刪除分析資料庫的歷史訂單資料 全量更新訂單資料到分析資料庫。由於訂單核心資料不大,所以經受得起這麼折騰 將資料簡單清洗,並生成資料集市層 分析處理,產出報表。當然還有其他的資料也是這麼處理的 比如產品的資料 景區的資料 票種的資料 商的資料等...