《唯品會海量實時OLAP分析技術公升級之路》 讀後感

2022-09-09 00:21:16 字數 490 閱讀 6994

nw:  

olap引擎、長迭代、mpp、 presto

資料量增大可能帶來的問題:

儲存問題,資料的暴漲導現有系統無法承載

查詢效能,大量資料的查詢導致,所需的時間大大增加,以致於無法忍受。

在變更相關資料包表時,對歷史資料的處理,需要耗費大量的時間。導致每次迭代開發,需要耗費較長的時間。

一般情況下,資料倉儲 和 olap分析庫是需要拆分的? 適用於儲存資料的方案,可能並不適用於分析。

bi工具需要解決的問題:

門檻低:學習成本低,使用者使用工具處理時,必須要能夠快速的入手

開發周期短

olap計算引擎選擇條件:

沒有預計算的模型

速度要足夠快

支援橫向擴充套件

olap經過多次的公升級,每次公升級都是圍繞著某1-2兩個點的重點改進。每次改進都會強化數倉的能力,但是數倉的強化就會加大使用者的使用,更多的使用將會暴露更多的問題。

唯品會olap的優化歷程:

2013 3 28 唯品會筆試題

唯品會筆試題 1.const關鍵字作用是什麼?static 關鍵字作用是什麼?2.先進先出 後進先出的典型資料結構分別是什麼?用你熟悉的語言編寫其中乙個資料結構。3.任選一題 1 協議狀態碼 200 302 404 500分別代表什麼?2 tcp協議和 udp協議的區別是什麼?各舉乙個典型的應用場景...

唯品會訴爭唯品會商標終審敗訴,因與引證商標構成近似

techwww.cppcns.comweb 企查查app顯示,近日,唯品會因商標申請駁回複審行政糾紛一案,不jovndivte服程式設計客棧判決,提起上訴。企查查顯示,相關二審行www.cppcns.com政判決書近日公開,法院查明唯品會公司註冊的第25類 唯品會 商標不具有區別於各引證商標的顯著性...

唯品會2018機器學習(A卷)

前言 想強調的是,機器學習中依然注重基本資料結構,演算法的知識。個人答案,覺得有問題的歡迎交流 一 資料結構與演算法 列舉至少2種排序演算法 如快排 並寫出實現 這裡寫了冒泡和快速排序兩種。氣泡排序 public void bubblesort int a 這裡需要注意的是,a j 和a j 1 互...