持續定義 Saas 模式雲資料倉儲 BI

2021-10-10 04:25:02 字數 2818 閱讀 5269

今天和大家一起**一下我們saas模式下雲資料倉儲加上商業智慧型bi能有什麼新的東西出來。我們先來看一下雲資料倉儲的一些概述。**到2023年, 全球資料增長至175zb, 中國資料量增長至48.6zb。資料量暴漲這個前提下,我們看一下bi市場規模的增長。**到2023年,我們中國bi軟體市場年復合增長率為32%。雲計算也同樣在增速發展,2023年第四季中國雲資料市場的增長率已經達到66.9%。

雲資料倉儲可以讓企業幾分鐘內建立並開始使用資料倉儲服務,在更低的成本下,專注業務,通過對大規模資料進行多樣化的處理、挖掘、分析,快速獲得業務洞察。它有四大特點:大規模資料分析,高效能,靈活擴容,低成本。

商業智慧型(bi,business intelligence)是一種以提供決策分析性的運營資料為目的而建立的資訊系統。隨著我們社會發展以及資料量的爆發,在這麼大量的資料支援之下,企業希望能快速從這些資料裡邊挖掘出更科學的一些資料,然後對我們的企業有乙個科學化和資料化決策的幫助力。同時,bi也會助力企業用到乙個精細化運營,客戶關係維護,還有成本控制等。

我們看一下商業智慧型建立乙個資訊系統它主要的乙個流程。首先是資料接入,將分散於我們企業內外各種資料整合和進行整合。然後再進入乙個資料準備階段,就是乙個etl的階段。然後再到乙個資料分析的階段,最後將這些成果交給決策層,決策層就可以通過這資料進行一些決策。不管是精細化運營,還是客戶維護關係,還是成本控制,都可以從這些資料裡邊得到一些助力。

隨著資料量的暴漲,我們的業務快速的增長,產生了各種分析需求。不僅僅是分析多樣,而且還想要實時的,比如說秒級的即時查詢。同時在這麼大量的資料基礎上,資料的安全合規也越來越受到重視。所以需要快速的整合多系統資料和實現資訊透明,以及構建乙個統一的簡單易用的視覺化分析平台,提高製表效率。這已經成為bi系統的新的趨勢。

maxcompute(原odps)是一項大資料計算服務,它能提供靈活快速、完全託管、高效能、低成本、安全的pb級資料倉儲解決方案,使您可以經濟並高效的分析處理海量資料。基於maxcompute雲資料倉儲的基本架構如下圖所示。底層的集群是maxcompute本身搭建好的,使用者無需感知。再往上,有多種的計算引擎。引擎之上提供各種的api,還有深度的整合了乙個一站式大資料智慧型雲研發平台dataworks。在雲資料倉儲的這麼乙個體系下,可以做資料準備,進行各種清洗、加工、分析之後,就可以進入乙個資料消費的階段。

基於maxcompute雲資料倉儲,我們和bi工具是如何對接的呢。maxcompute主要是乙個儲存和計算服務,加上乙個資料開發平台dataworks,組成了乙個離線的雲資料倉儲。在這之上,深度的整合了乙個阿里雲的quick bi。它是乙個分析報表工具,直接連線一maxcompute的資料表即可以自己對這個表進行分析。還有第三方的一些工具,帆軟,tableau。同時我們在生態這一方面,jdbc同樣也是支援。還有一些企業、一些客戶對於商業智慧型這一塊有更加多樣化的乙個需求或者個性的需求,現有對接的這些工具有可能不支援,那麼它也可以通過sdk的方式來連線,從而實現基於maxcompute雲資料倉儲對接的乙個商業智慧型的資訊平台。

我們看一下maxcompute脫機數倉是怎麼實現乙個高效能低延遲的分析查詢。它可以直接讀取脫機數倉,支援多樣化的查詢分析,包括一些簡單的查詢、複雜的查詢、點查詢、聯邦查詢等等。它底層也可以有豐富的資料來源,通過maxcompute + hologres組成乙個互動式分析。這麼乙個大資料生態下,它都可以無縫的對接。比如說quick bi,tableau,帆軟。所以它可以做到很快的上手,通過這麼乙個組合我們可以很快速的實現乙個企業的資訊平台。

接下來我們看一下幾個實踐案例。

新零售的乙個行業案例,需求背景: 基於hadoop開源生態打造,軟硬體維護成本高昂,穩定性問題不斷,嚴重影響業務經營分析;線上業務爆發,需求積壓嚴重,期望有整體解決方案,能夠快速靈活支援業務發展所需的技術擴充套件。通過這麼乙個大資料解決方案,直接用了阿里雲的quick bi這個產品,實現了快速數智化轉型,擁抱新零售,降低tco的同時,更好的依託雲上生態,實現資料資產業務化閉環。最終新零售這個案例,基於我們的maxcompute + dataworks,提高了他的資料業務的開發效率。

我們再看乙個新金融的案例。需求背景:金融業務資料,對安全管控有極強要求,需要乙個完整的安全管理體系,同時還要滿足個性化安全需求;業務快速發展,需要能快速搭建、成本低、秒級擴充套件的資料中臺體系。我們給客戶創造的價值:基於maxcompute開箱即用的應用滿足其在安全審計過程中的資料安全需求,縮短了需求響應時間並滿足其在資料安全上的個性化需求。

持續定義 SaaS 模式雲資料倉儲 AI

一 人工智慧的發展歷史 人工智慧是很早就出現的乙個概念,起源於上個世紀50年代,之後由於種種原因人工智慧經歷了幾十年的漫長的消沉的過程,直到最近幾年人工智慧才火熱起來。人工智慧的發展其實有三次 時期 第一次是人工智慧概念提出的時候,學者們以為ai技術能改變世界,但是實際上並沒有 第二次是上個世紀80...

資料倉儲 大資料定義

2012年gartner公司將大資料定義為3v,即 大容量 volume 高流速 velocity 多樣化 variety 後來人們在3v基礎上增加新的v veracity 即真實性。現在人們普遍認可的大資料是具有4v,即 volume velocity variety veracity,也就是大 ...

資料倉儲建設持續改進資料質量

從實施中國電信6省營銷分析情況來看,資料質量改進普遍存在如何定義資料質量評價標準 如何實現資料質量管理的閉環過程 如何界定資料質量改進過程中各系統間的功能邊界三個難點問題。資料質量改進案例分析 從實施中國電信6省營銷分析情況來看,資料質量改進普遍存在如何定義資料質量評價標準 如何實現資料質量管理的閉...