OLAP了解與OLAP引擎

2021-09-25 08:02:11 字數 2278 閱讀 2155

一、  olap的基本概念

二、  olap的基本內容

(1)變數(度量)

變數是資料度量的指標,是資料的實際意義,即描述資料「是什麼」。像示例中的人數。

(2)維度

維度是描述與業務主題相關的一組屬性,單個屬性或屬性集合可以構成乙個維。如示例中的學歷、民族、性別等都是維度。

(3)維的層次

乙個維往往可以具有多個層次,例如時間維度分為年、季度、月和日等層次,地區維可以是國家、地區、省、市等層次。這裡的層次表示資料細化程度,對應概念分層。後面介紹的上鑽操作就是由低層概念對映到高層概念。概念分層可除根據概念的全序和偏序關係確定外,還可以通過對資料進行離散化和分組實現。

(4)維的成員

若維是多層次的,則不同的層次的取值構成乙個維成員。部分維層次同樣可以構成維成員,例如「某年某季度」、「某季某月」等都可以是時間維的成員。

(5)多維陣列

多維陣列用維和度量的組合表示。乙個多維陣列可以表示為(維1,維2,……,維n,變數),例如(部門,職系、民族、性別,人數)組成乙個多維陣列。

(6)資料單元(單元格)

多維陣列的取值。當多維陣列中每個維都有確定的取值時,就唯一確定乙個變數的值。資料單元可以表示為(維1成員,維2成員,……,維n成員,變數的值),例如(人事教育部,技能,回族,男,1人)表示乙個資料單元,表示人事教育部職系是技能的回族男性有1人。

(7)事實

事實是不同維度在某一取值下的度量,例如上述人事教育部職系是技能的回族男性有1人就表示在部門、職系、民族、性別四個維度上企業人數的事實度量,並且在為人數事實中包含部門維度人事教育部這乙個維度層次,如果將人數事實的所有維度考慮在內,就構成有關人數的多維分析立方體。

三、  olap的特點

電子資料表與olap相比,不具備olap的多維性、層次、維度計算以及結構與檢視分離等特點。

2.可分析。使用者可以應用olap平台分析資料,也可以使用其他外部分析工具,例如電子資料表,這些分析工具基本上都以直觀的方式為使用者提供了分析功能。

3.共享。由於人們認為olap是唯讀的,僅需要簡單的安全管理,導致目前許多olap產品在安全共享方面還存在許多問題。因此當多個使用者訪問olap伺服器時,系統就在適當的粒度上加鎖。

4.多維。維是olap的核心概念,多維性是olap的關鍵屬性,這與資料倉儲的多維資料組織正好相互補充。為了使使用者能夠從多個維度、多個資料粒度檢視資料,了解資料蘊含的資訊,系統需要提供對資料的多維分析功能,包括切片、旋轉和鑽取等多種操作

四、  olap的操作

olap比較常用的操作包括對多維資料的切片與切塊、上鑽(drill-up)與下鑽(drill-down)以下旋轉(rotate)等。此外,olap還能對多維資料進行深加工。oalp的這些操作使使用者能夠從多個視角觀察資料,並以圖形、報表等多種形式展示,從而獲取隱藏在資料中的資訊。

(1)切片與切塊。

選定多維陣列的乙個維成員做資料分割的操作稱為該維上的乙個切片。通常把多維陣列中選定乙個二維子集的操作視為切片,假設選定的維i上的某個維成員vi,則此多維陣列子集可以定義為(維v1……,維vi,維n,變數)。當某維只取乙個維成員時,便得到乙個切片,而切塊則是某一維取值範圍下的多個切片的疊合。通過對資料立方體的切片或切塊分割,可以從不同的視角得到各種資料。

(2)鑽取

鑽取包括上鑽和下鑽。爭取能夠幫助使用者獲得更多的細節性資料,逐層的分析問題的所在和原因。

(3)旋轉

旋轉又稱轉軸,是一種檢視操作,通過旋轉變換乙個報告或頁面顯示的維度方向,在**中重新安排維的位置,例如行列轉換。這種對立方體的重定位可以得到不同視角的資訊。

(4)其他olap操作

除以上常用多維操作外,還有其他多維操作。

五、  olap的分類

olap的分類,如下圖所示

按處理方式分類

按儲存方式分類

OLAP方案I I Mondrian引擎

如前所說,mondrian是olap的核心引擎,負責從關聯式資料庫中計算 快取資料,響應來自表現層的使用ms家 mdx語法的查詢。具體表現形式呢,就是乙個jar,隨tomcat啟動。看完那個foodmart的sample之後,該自己動手了。首先第一步是設計olap的資料庫結構。因為和業務資料庫相比,...

大資料OLAP引擎對比

presto 記憶體計算,mpp架構 pb級別資料 presto適合pb級的海量資料查詢分析,不是說把pb的資料放進記憶體,比如一張pb表,查詢count,vag這種有個特點,雖然資料很多,但是最終的查詢結果很小,這種就不會把資料都放到記憶體裡面,只是在運算的過程中,拿出一些資料放記憶體,然後計算,...

資料探勘與OLAP

關於資料探勘的作用,berry and linoff的定義儘管有些言過其實,但清晰的描述了資料探勘的作用。分析報告給你後見之明 hindsight 統計分析給你先機 foresight 資料探勘給你洞察力 insight 舉個例子說。你看到孫悟空跟二郎神打仗,然後寫了個分析報告,說孫悟空在柔韌性上優...