資料倉儲技術簡介1 上

2021-08-29 10:41:57 字數 1114 閱讀 8693

資料倉儲是近年來興起的一種新的資料庫應用。在各大資料庫廠商紛紛宣布產品支援資料倉儲並提出一整套用以建立和使用資料倉儲的產品是,業界掀起了資料庫熱。比如informixgongside公司的資料倉儲解決方案;oracle公司的資料倉儲解決方案;sybase公司的互動式資料倉儲解決方案等等。這同時也引起了學術界的極大興趣,國際上許多重要的學術會議,如超大型資料庫國際會議(vldb),資料工程國際會議(data engineering)等,都出現了專門研究資料倉儲(data warehousing,簡記為dw)、聯機分析處理(on-line analytical processing,簡記為olap)、資料探勘(data mining, 簡記為dm)的**。對我國許多企業而言,在建立或發展自己的資訊系統常常困擾於這樣的問題:為什麼要在原有的資料庫上建立資料倉儲?資料倉儲能否代替傳統的資料庫?怎樣建立資料倉儲?等等。本章將簡要介紹一下用到的資料倉儲技術背景,並在下一章結合資料清理系統設計例項,更深一步闡述資料倉儲技術在現實中的重大意義。

一、從資料庫到資料倉儲

傳統的資料庫技術是以單一的資料資源,即資料庫為中心,進行事務處理、批處理、決策分析等各種資料處理工作,主要的劃分為兩大類:操作型處理和分析型處理(或資訊型處理)。 操作型處理也叫事務處理,是指對資料庫聯機的日常操作,通常是對乙個或一組紀錄的查詢和修改,主要為企業的特定應用服務的,注重響應時間,資料的安全性和完整性;分析型處理則用於管理人員的決策分析,經常要訪問大量的歷史資料。而傳統資料庫系統優於企業的日常事務處理工作,而難於實現對資料分析處理要求,已經無法滿足資料處理多樣化的要求。操作型處理和分析型處理的分離成為必然。

近年來,隨著資料庫技術的應用和發展,人們嘗試對db中的資料進行再加工,形成乙個綜合的,面向分析的環境,以更好支援決策分析,從而形成了資料倉儲技術(data warehousing,簡稱dw)。作為決策支援系統(decision-****** support system,簡稱dss),資料倉儲系統包括:

① 資料倉儲技術;

② 聯機分析處理技術(on-line analytical processing,簡稱olap);

③ 資料探勘技術(data mining,簡稱dm);

資料倉儲彌補了原有的資料庫的缺點,將原來的以單一資料庫為中心的資料環境發展為一種新環境:體系化環境。如圖1.1所示:

資料倉儲技術簡介3 上

事實上,將大量的業務資料應用於分析和統計原本是乙個非常簡單和自然的想法。但在實際的操作中,人們卻發現要獲得有用的資訊並非如想象的那麼容易,這主要表現在以下幾點 所有聯機事務處理強調的是密集的資料更新處理效能和系統的可靠性,並不關心資料查詢的方便與快捷。聯機分析和事務處理對系統的要求不同,同乙個資料庫...

資料倉儲技術簡介2 下

資料倉儲的第三個問題是針對決策支援查詢的優化。這個問題主要針對關聯式資料庫而言,因為其它資料管理環境連基本的通用查詢能力都還不完善。在技術上,針對決策支援的優化涉及資料庫系統的索引機制 查詢優化器 連線策略 資料排序和取樣等諸多部分。普通關聯式資料庫採用b樹類的索引,對於性別 年齡 地區等具有大量重...

資料倉儲簡介

資料倉儲領域的權威w h inmon給出了資料倉儲的乙個簡短而全面的定義 資料倉儲是乙個面向主題 整合 時變 非易失的資料集合,是支援管理部門的決策過程。根據該定義,資料倉儲具備以下四個關鍵特徵 1.1 面向主題 subject oriented 的資料集合 資料倉儲通常圍繞一些主題,如 產品 銷售...