資料探勘概念與技術10 資料倉儲的系統結構

2022-08-02 01:00:12 字數 1392 閱讀 7165

1.資料倉儲設計的四種檢視

資料來源檢視:揭示運算元據庫系統收集,儲存和管理的資訊。這些資訊可能以不同的詳細程度和精度建模,存放在由個別資料來源表到整合資料來源表中。通常,用傳統的資料建模技術,如實體-聯絡模型或case工具建模。

資料倉儲檢視:包括事實表和維表,提供存放資料倉儲內部的資訊,包括預計算的綜合和計數,以及提供歷史背景的關於源、原始日期和時間等資訊。

商務查詢檢視:從終端使用者的角度透視資料倉儲中的資料。

2.資料倉儲的設計過程

a.方法:

自頂向下:由總體設計和規劃開始,當技術成熟並已經掌握,對必須解決的商務問題清楚並很好理解時使用。費用高時間長靈活度小,因為整個組織所有部門就共同的資料模型達成一致是困難的。

自底向上:以試驗和原型開始,在商務建模和計數開發早期有用。後期將所有的資料集市整合時是困難的。

b.設計步驟:

(1)選取待建模的商務處理。即前面所講的主題:銷售,訂單,庫存等。此時應判斷該商務過程是企業的還是部門的,來選擇資料倉儲或者是資料集市。

(2)選取商務處理的粒度。即:前面所述的抽象層次。例:一天,一年,國家,城市等。

(3)選取每個事實表所記錄的維。

(4)選取事實表中每條記錄的度量。典型的是可加的數值。

3.三層資料倉儲的系統結構

(1)底層是倉庫資料伺服器。幾乎總是關係型資料庫。通過後端工具或使用程式進行資料提取,清理和變換,以及裝入和重新整理,更新資料倉儲。

(2)中間是olap伺服器。典型的實現是關係olap(rolap)和多維olap(molap)。以實現對多維資料的操作。

(3)頂層是前端客戶層。它包括查詢和報表工具、分析工具、資料探勘工具。

注:資料的提取是將底層的資料通過 變換後提取到中間層的資料倉儲。資料提取通常使用網間連線程式(由基礎的dbms支援,允許客戶程式產生sql**在伺服器上執行。例子包括odbc,jdbc,oledb(微軟))。

4.資料倉儲模型

(1)企業倉庫。

(2)資料集市。(分為兩類:獨立的,依賴的(資料直接來自企業級資料倉儲))。

(3)虛擬倉庫。虛擬倉庫是運算元據庫檢視的集合。

5.olap伺服器型別

(1)關係olap(rolap)。使用關係的或擴充關係的dbms儲存並管理資料,較大的可伸縮性。其使用關係表存放聯機分析處理資料。

(2)多維olap(molap)。通過基於陣列的多維儲存引擎支援資料的多維檢視。將多維資料直接對映到資料立方體,能夠對預計算的彙總資料加速索引。但是資料係數易浪費儲存空間。其使用多維陣列結構存放聯機分析處理資料。

(3)混合olap(holap)。混合上兩種。

(4)特殊的sql伺服器。在唯讀環境下。對星形和雪花模式進行sql查詢。

資料探勘概念與技術8 資料倉儲的概念

1.資料倉儲的定義 資料倉儲是乙個面向主題的,整合的,時變的和非易失的資料集合,支援管理部門的決策過程。面向主題的 資料倉儲都圍繞一些主題來組織 如顧客,商,產品和銷售等某一特定的目的,而非組織機構的日常操作和事務管理。即 資料倉儲排除對於決策無用的資料,它提供的是特定主題的簡明檢視。整合的 構建資...

資料探勘 資料倉儲

雖然存在資料倉儲並不是資料探勘的先決條件,但實際上,若能訪問資料倉儲,資料探勘的任務就會變得容易的多。資料倉儲的主要目標是增加決策過程的 情報 和此過程的相關人員的知識。資料倉儲對不同的人來說有不同的意義。資料倉儲是乙個整合的,面向主題的資料庫集合,用於實現決策支援功能 dsf 其中的每個資料單元都...

資料倉儲(OLAP OLTP)與資料探勘

一 挖掘資料存在問題 1 把來自各個資料來源的資料匯集到乙個中心倉庫中,即資料倉儲。資料倉儲位於乙個單獨的節點上,使用同一的模式從多個資料來源收集資料,給使用者提供乙個單獨的 統一的資料介面,目的是能在不同的資料上高效執行查詢。2 分析收集到的資料發現可以成為商務決策基礎的資訊或知識。資料探勘 目標...