從OLTP向OLAP遷移

2021-04-09 01:26:15 字數 1324 閱讀 6293

轉換oltp資料使其在olap系統中提供可接受的效能,這種轉換需要執行一系列的操作過程。

合併資料

首先,我們必須能夠將特定專案(產品、顧客、職員)的全部相關資訊從多個oltp(on-line transaction processing,聯機事務處理)系統合併到乙個olap(online analytical processing,聯機分析處理)系統。合併過程必須解決不同oltp系統間的編碼差別問題。例如:乙個系統可能為每個職員指派乙個id,而其它系統沒有職員id。合併過程必須能夠匹配兩個系統中的常用職員資料,這多半可通過比較職員姓名和位址實現。此外,合併過程還必須能夠將各oltp 系統中使用不同資料型別儲存的資料轉換成在某個olap系統中使用的單一資料型別。

為olap系統提供輸入資料的系統並不侷限於傳統的、位於**位置的oltp系統。重要的資訊可以儲存在多個遺留位置上,有些情況下甚至可以在檔案共享上儲存相對較小的資料來源,如: microsoft excel 等應用軟體。

清理資料

將oltp資料合併到資料倉儲中後,便提供了乙個清理資料的機會。使用者可能會發現不同的 oltp系統以不同的方式拼寫專案,或者合併過程可能沒有覆蓋以前不知道的拼寫錯誤。還可能發現其它的不一致,例如:同一商店、職員或顧客的位址不同。在可以將資料裝載到資料倉儲中供olap系統使用之前,必須找出這些不一致。

聚合資料

oltp資料記錄所有的事務詳細資訊。olap查詢通常需要彙總資料或是已經以某種方式聚合的資料。如果資料庫只包含顯示每種產品每天或每小時銷售額的彙總行,那麼查詢只用檢索過去一年中每種產品的月銷售總額,這比必須掃瞄過去一年中每個事務的詳細記錄要快得多。

對資料倉儲內資料的聚合程度取決於許多設計因素,如: olap 查詢的速度要求和分析所要求的粒度級。例如,如果將銷售額詳細資訊彙總到每日彙總中,而不是每小時彙總中,olap 查詢將會執行得更快,但是只有當不需要分析每小時的銷售額時才可以這麼做。

向多維資料集中

關係oltp資料的組織方式增加了分析處理的難度,而且極為耗時。當將oltp資料移入資料倉儲時,必須對其結構進行轉換,使之能夠更好地支援決策支援分析。生成資料倉儲的過程涉及將儲存在關係表中的 oltp 資料重組為儲存在多維資料集中的資料。

轉換階段和資料倉儲元件

通過 olap 應用程式使資料可用的過程一般經過下列三個階段:將資料從 oltp 或遺留資料來源析取到中間儲存區域中;將資料轉換為更適合在 olap 系統中使用的格式。這涉及資料清理和聚合等操作;將資料裝載到資料倉儲或資料集市中。從 oltp 和遺留資料來源中析取資料並將其轉換到倉庫伺服器中的過程稱為 etl過程,通常定期執行,如每週一次或每月一次。 一旦將資料裝載到資料倉儲中,olap 系統的乙個重要職能便是為決策者提供在資料倉儲和資料集市中訪問和分析資料的便利。 

OLAP和OLTP的介紹

資料處理大致可以分成兩大類 聯機事務處理 oltp on line transaction processing 聯機分析處理 olap on line analytical processing oltp 是傳統的關係型資料庫的主要應用,主要是基本的 日常的事務處理,例如銀行交易。olap 是資料...

OLTP和OLAP的區別

弄清楚你的業務型別 oltp or olap2009 06 06 20 55 在oracle資料庫系統中,很多人沒有弄清楚自己的業務型別到底是什麼,就在開始盲目的尋求優化方法,而往往是把olap的方法使用在oltp上,或者是oltp的方法使用在olap上。這樣的使用,有的時候,對效能沒有任何的提高,...

OLTP報表和OLAP報表

對乙個應用軟體系統,一般都會有不少查詢 報表模組。所謂 oltp 報表,就是在業務系統的資料庫上,緊密整合在業務系統中的各種查詢報表。由於 oltp 資料模型千差萬別,所以很難有簡單的方法來描述資料的語義 規則。可以想象,在 oltp 資料庫上產生報表是一件非常頭疼的事,要是每張表需要軟體編寫者硬編...