設計和實現OLAP解決方案

2022-07-15 12:24:15 字數 1939 閱讀 8502

第一講簡介

首先,啥叫資料倉儲?

資料倉儲就是資料的倉庫!用外文說叫data warehouse,簡稱dw。

是不是哐當倒下一片啊,要不咱換個專業點的說法?

資料倉儲是乙個面向主題的、整合的、相對穩定的、反映歷史變化的、包含商業資訊的資料集合,用於支援管理決策。

看得懂不?諒你也不懂。

算了,別叫這真了。

等你明白了捨生取義,你自然會明白什麼是資料倉儲的。

資料倉儲裡面有大量包含商業資訊的資料,但是我們很難從中捕獲資訊,因為資料倉儲一般有很大的資料量,要整理這些資料還是很麻煩的。

olap系統就是來解決其中一部份目標的。

先說什麼是olap,發音噢勒普。聯機分析處理,還是看不懂吧?

就是讓你高效訪問資料倉儲的。

相對應的有乙個oltp,叫聯機事務處理,就是我們平常用的資料庫。

oltp通常有大量併發新增和修改,隨時變化,包含大量的資料,具有複雜的結構。

當我們把oltp裝載到dw中,一般就不再有修改,隨著資料的增加而定期更新,而不是隨頻繁發生的事務而更新。結構和安全性也更簡化,目的是提高分析查詢的效率,而不是進行事務處理。

還有資料集市,叫data mart,資料集市是資料倉儲的一種特殊形式,典型的資料集市包含面向專門主題的適合特定業務功能的企業資料子集。

你可以認為資料集市是資料倉儲的一部份。

第二講 olap概述

olap 技術使資料倉儲能夠快速響應重複而複雜的分析查詢,從而使資料倉儲能有效地用於聯機分析。olap 的多維資料模型和資料聚合技術可以組織並彙總大量的資料,以便能夠利用聯機分析和圖形工具迅速對資料進行評估。當分析人員搜尋答案或試探可能性時,在得到對歷史資料查詢的回答後,經常需要進行進一步查詢。olap 系統可以快速靈活地為分析人員提供實時支援。

通常的olap應用有財務報表、市場分析、市場計畫、客戶服務等。

目前國內已經有大量豐富的應用,比如銀行、**、電信、生產、銷售行業,都有很多的成功案例。

在olap中,資料不再以關係型資料結構存放,而是以多維的資料結構存放。不再具有detail的資料,而是只有roll up後的資訊。

微軟的analysis service是乙個不錯的olap系統,一點不吹牛的說,它處理速度快,查詢速度快,功能完整,支援海量資料,而且處理後的資料量很小,沒有資料**的問題。

第三講資料倉儲結構

資料倉儲的基本結構就是star schema和snowflake schema,星型結構和雪花結構。

了解結構之前先得理解兩個基本名詞:事實表facttable和維度表dimension table。

什麼是事實和維度呢?我今天在u-mart買了兩塊巧克力,**23.54¥。

這就是乙個事實。其中包含的資訊有客戶:我;日期:今天;地點:u-mart;產品:巧克力;數量:2;**:23.54¥。客戶、日期、地點、產品就是維度dimension,數量和**是度量值measure。

這就是乙個星型架構。

維度表至少包含維度的key和name,key和name可以是同一列。維度也可能沒有維度表,比如這個架構中的日期維度就沒有維度表。

乙個多維資料集架構cube schema有且只有乙個事實表,不過你要用幾個base table組合成乙個view來做事實表也可以。(cube 的partition裡面可以使用不同的事實表,這是後話。)

維度是有層次level的,乙個維度至少有兩個層次,在大多數情況下維度的成員會按金字塔形布局排列,最上面總有乙個all的層次,比如客戶維度就有(所有客戶)-(客戶)這兩個層次。維度除了常規維度外,還有父子維度、虛擬維度等。後面會詳細介紹各種維度。

如果乙個維度有多於2個層次,那麼這個維度可能有多個維度表,例如:

這樣的就是雪花結構。

from: 

mysql 解決方案 Mysql解決方案

mysql解決方案 一 centos7安裝mysql5.7 wget rpm uvh mysql80 community release el7 3.noarch.rpm yum repolist all grep mysql 發現預設mysql8.0是預設安裝的,然而我們要安裝的是mysql5.7...

解決方案和專案的關係 解決方案式銷售

營銷人員培訓 課程收穫 1 理解解決方案式銷售的關鍵環節 2 掌握系統分析並確定目標客戶和客戶開發維護的策略 3 有效挖掘客戶需求 動機 並引導客戶期望 4 系統化學習呈現價值的方法和技巧提公升贏單率 5 梳理競爭的型別並且掌握相應競爭的策略和方法 課程特色 1 融入ibm大量銷售實踐案例,對大客戶...

系統設計 解決方案 秒殺系統設計

出現異常之前做的操作就是,因為換工位的需要,所以關閉電腦,修改網路配置。分析,很可能是電腦重啟後,windows系統進行了公升級,導致的chrome崩潰的問題。1 嘗試重啟chrome 重啟電腦 無效 3 無效 本機的system32資料夾下並未發現bd0001.sys這個檔案。4 嘗試在快捷方式中...