SQLSERVER資料倉儲的構建與分析

2021-09-05 15:59:39 字數 1684 閱讀 5907

例項構建過程與分析

1.現在以乙個比較簡單的例項來分析和**ms sql server 資料倉儲的構建過程。實際上資料倉的構建是相當複雜的,他結合了資料倉儲的前端技術和很強的業務要求。在這兒只是以乙個簡單的例項來說明他大致的構建流程。

2.構建資料倉儲模型,他包括兩部分,一是要考慮原來的資料來源能夠提供哪些有用的資料,也就是經過資料的篩選之後能夠為資料倉儲所用。二是要看公司業務層需要什麼樣的分析結果。這要和公司的高階決策層緊密配合,完全了解他的業務需求,因為資料倉儲的使用者主要是公司的高階決策者。[u1]

在這一階段要做好很多前期的工作,因為你的原始資料庫中的資料也許和你的正要建立的資料倉儲的需求也許有很大的出入,結構完全是兩馬事。你如何才能將你的原始資料提取出來,作為資料倉儲的有用資料呢,你的原始資料庫中儲存的是零碎的事務資料,而你的資料倉儲中要的是經過轉化和提煉過的統計資料,比如說,你的原始資料庫中儲存這每天的所有存款和取款記錄,而你的資料倉儲並不關心你的每條記錄的資料,而是希望在最短的時間內,以最快的速度統計出這個月的所有存款和取款的總數量,如果這種查詢放在原來的資料庫上來做的話,也就失去了資料倉儲的意義,超大規模的資料使你無法查詢下去,這時候你就要將對這個查詢有意義的資料轉化到資料倉儲,這就是資料清洗,即etl。實現資料清洗有很多的方法,也有很多的細節問題,比如,資料型別的匹配,資料格式的轉換,異地資料表資料集中到一起時有主鍵重複,以及你如何定期,按時的將資料加工到資料倉儲中來等等。在我的示例中沒有嚴格的經過著一步,因為我沒有規範的原始資料庫,也沒有規範的業務需求。我只是運用星型模型和雪花模型做了幾個典型的資料倉儲表。其表關係如下:

視窗中fact為事實表,time,address,detail分別為時間維,位址維,詳細位址維,detail又是address的子維。他們又構成雪花模型。其中都有部分資料。

3現在,資料倉儲已經建立成功,下一步就是在olap伺服器上建立元資料資料庫。這個資料庫和我們以前所說的資料庫不同,他是存放元資料的資料庫,比如我們下一步要建立的多維資料集、角色、資料來源、共享維度和挖掘模型等。然後需要和早期在 odbc 資料來源管理器中建立的資料來源連線,使其與資料倉儲連線上。

我建立了資料庫mmm和資料來源test,如下:

這些工作做好了之後,就可以用資料倉儲中的維表來建立共享維度,現在以時間維和位址維為例。其建立過程一樣。

依此點下一步即可建立時間維(time),下面用address和detail建立雪花模型共享維度

點下一步即可建立detail維。建立完成之後都要進行處理才能生效

維度建立好了之後就該建立多維資料集了。多維資料集是一種基於維表和事實表的資料集,以他來對資料倉儲進行快速的訪問。我們的多維資料集結構如下:

detail(sreet)

detail(mark)

address(province,city)

time(year,day)

多維資料集study的建立過程如下:

緊接著我門就應該建立挖掘模型

完成後處理如下:

到現在乙個簡單的資料倉儲架構已經建立成功,我們利用前端分析工具來對建立的資料倉儲做查詢,看能否實現我們的簡單的業務要求,先以excel作為查詢工具:

我們除了用excel,english query 等現成工具做查詢外,還可以用mdx函式直接對olap做查詢

到現在為止,乙個簡單的資料倉儲已經建立成功,可以實現一些簡單的業務查詢。這個例項主要是分析資料倉儲的建立過程以及進一步加深對資料倉儲的認識和了解,進一步理解其中的基本概念。

[u1]qianti

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...

資料倉儲和資料倉儲分層

資料倉儲 data warehouse 可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。1 問題簡單化,將乙個複雜的問題分...