大資料OLAP引擎對比

2021-09-07 20:31:23 字數 392 閱讀 5066

presto:記憶體計算,mpp架構   pb級別資料

presto適合pb級的海量資料查詢分析,不是說把pb的資料放進記憶體,比如一張pb表,查詢count,vag這種有個特點,雖然資料很多,但是最終的查詢結果很小,這種就不會把資料都放到記憶體裡面,只是在運算的過程中,拿出一些資料放記憶體,然後計算,在丟擲,在拿,這種的記憶體佔用量是很小的,但是join這種,在運算的中間過程會產生大量的資料,或者說那種查詢的資料不大,但是生成的資料量很大,這種也是不合適用presto的,但不是說不能做,只是會占用大量記憶體,消耗很長的時間,這種hive合適點

druid:時序,資料放記憶體,索引,預計算

spark sql:基於spark core,mpp架構

oracle essbase:

kylin:cube預計算

OLAP了解與OLAP引擎

一 olap的基本概念 二 olap的基本內容 1 變數 度量 變數是資料度量的指標,是資料的實際意義,即描述資料 是什麼 像示例中的人數。2 維度 維度是描述與業務主題相關的一組屬性,單個屬性或屬性集合可以構成乙個維。如示例中的學歷 民族 性別等都是維度。3 維的層次 乙個維往往可以具有多個層次,...

OLAP方案I I Mondrian引擎

如前所說,mondrian是olap的核心引擎,負責從關聯式資料庫中計算 快取資料,響應來自表現層的使用ms家 mdx語法的查詢。具體表現形式呢,就是乙個jar,隨tomcat啟動。看完那個foodmart的sample之後,該自己動手了。首先第一步是設計olap的資料庫結構。因為和業務資料庫相比,...

OLAP在大資料時代的挑戰

轉行做資料相關的工作有近兩年時間,除了具體技術,還有許多其它思考。在涉及具體的技術前,先想一想為什麼需要olap這樣的系統,它有什麼價值或者說在公司或部門這是不可取代的麼?可以帶來哪些價值,是直接變現還是間接變現。如果不能回答或回答不了,那麼就是乙個很大的問題,這其實意味著資料的質量存在問題。沒有質...