資料整合在ODS專案的應用模式

2021-04-23 12:50:36 字數 1004 閱讀 3013

ods(the operational data store),也叫運營資料儲存,是用於支援企業日常的全域性應用的資料集合,它是介於db和dw 之間的一種資料儲存技術。從專家給出的定義上來講,它是乙個面向主題的、整合的、當前的並且是可"揮發"的資料集合,它反映了在某乙個時間切片瞬間,經營分析系統和外圍系統用以相互交換資料的集合,主要用於經營分析系統與外圍系統關鍵資料一致性校驗、以及經營分析系統對其它外圍系統的決策支援資料的回饋,回饋資料報括以客戶擴充套件屬性為主體的詳細資料等。從ods的作用和實現來說,ods將各個孤立的業務系統的運營資料整合起來,現成全企業的統一資料檢視,同時可實現ods的資料共享。

資料整合是什麼呢?它是指異構資料之間的同步。所謂異構資料是指不同種類,不同版本的資料庫、檔案、mail等之間的同步。異構資料的同步前提是要能夠準確獲取資料源的元資料結構以及異構資料之間的對映方式:包括語法和語義上的對映。資料整合可以認為是etl(bi上的定義為:抽取-轉換-清洗-過濾-載入);但更強調自動化過程管理。

在實現機制上,應包括常見的整合模式:split/merge/route/ps等;另外還應該具備建模(元資料管理)和治理(governace)功能。

資料整合有什麼意義呢?主要是實現資料中心,例如企業級sid;或者遺留系統在資料層面的整合。在建立全域性sid的基礎上,可以構建很多有意義的東西:例如portal/cms,報表,資料搜尋,挖掘等等,這些可以概括地稱為bi,即商業智慧型。因此,資料整合有兩個層面的意義:1)操作層面 2)分析層面。

目前,資料整合的產品有oracle/bea的aqulogic dsp,vitria的bw,還有就是開源的emule/servicemix/spring integration等。不過據我所知,開源的東西還沒有支援rdbms adapter的,而且還有某些重要功能的缺失例如監控、建模等。

一般來講,資料整合的實現方式可以分為一下四個步驟:

1.界定資料互動的項別與內容,如:pdm系統和erp系統之間的bom資料;

2.指定資料互動週期,一天一次,還是一周一次;

3.選擇互動方式,通過資料庫,還是中介軟體技術來互動;

資料整合在ODS專案的應用模式

ods the operational data store 也叫運營資料儲存,是用於支援企業日常的全域性應用的資料集合,它是介於db和dw 之間的一種資料儲存技術。從專家給出的定義上來講,它是乙個面向主題的 整合的 當前的並且是可 揮發 的資料集合,它反映了在某乙個時間切片瞬間,經營 分析系統和外...

資料整合在ODS專案的應用模式

ods the operational data store 也叫運營資料儲存,是用於支援企業日常的全域性應用的資料集合,它是介於db和dw 之間的一種資料儲存技術。從專家給出的定義上來講,它是乙個面向主題的 整合的 當前的並且是可 揮發 的資料集合,它反映了在某乙個時間切片瞬間,經營分析系統和外圍...

工廠模式在專案優化中的簡單應用

最近在專案中優化中用到了設計模式中用到工廠設計模式,在此說說自己的看法,看以前師兄寫的 真的不堪入目啊,沒一點結構化分模組的意思。整個 都是從頭寫到尾,而且 命名也不規範,從沒考慮到優化 的問題,不是科班出身俺的還是有很多要學習的地方。專案是關於高精度檢測方面的。我主要是把演算法分成相關模組進行優化...