從0到1搭建自助分析平台

2022-01-12 01:27:05 字數 1315 閱讀 6876

自助分析平台是構建在大資料平台之上的,依託於大資料平台的資料研發能力,通過統一的資料服務,實現對資料查詢、分析的統一管理,為企業業務分析提供高效的資料決策支援,同時也避免資料工程師陷入繁雜的提數需求中。自助分析平台是有計算機基礎的業務人員能夠快速上手的前端產品,既要有大資料的處理效能,有需要有簡單好用的視覺化分析能力,只有讓業務人員能夠快速掌握使用方法,和公司的業務結合起來,自助分析平台才有價值。其實,一直以來,各大公司的資料分析平台都只有乙個目標——乾掉excel。

上面已經介紹了,自助分析平台是用來查詢資料,探索資料的,需要具備excel已有的功能,還要比excel做的更好。

自助分析平台要能夠支援多種資料來源、不同資料型別檔案的接入,能夠讓資料工程師和業務人員快速的把資料匯入到自助分析平台中。需要支援傳統的關係型資料庫、hive、檔案匯入(excel、csv、txt等)。

能夠對匯入的資料進行快速查詢、過濾、聚合、排序、關聯等動態操作。比如業務人員已經有一些使用者基本資訊,它能夠通過匯入使用者名稱,通過使用者名稱關聯到對應的使用者分析資料。並能夠對不同型別的使用者進行分組聚合操作。以上所有的操作需要實現拖拽式,不需要讓業務人員寫一行**。

需要支援常用的視覺化圖形,如餅狀圖、環圖、同軸曲線圖、柱狀圖、散點圖等,使用者需要繫結自己匯入或者通過平台清洗好的資料,既可以快速的生產對應的分析圖表,製作視覺化報告。

對於超大資料量的複雜查詢分析,我們可以使用spark提交任務的方式來實現自助分析。對於中小資料量的資料我們使用mpp資料庫實現快速查詢。

我們可以使用echarts支撐多種型別圖表展示,或者使用superset等開源自助分析專案進行展示。

為做到相互隔離和資料安全,後台管控系統通過條件限制控制資料的授權,對手機號、身份證號、郵箱等敏感資訊管控端採用加密演算法防止資料洩露。

實際中業務人員和it團隊對於自助分析平台的搭建都有自己的想法,也想通過資料來給公司去做一些事情,所以在建立自助分析平台時,可以和業務人員不斷的溝通,先定一些主題資料,做成果展示,和業務人員以及領導分享,讓其參與評價和建議,不斷優化和改善,當相關人員都有參與感時,自助分析平台才會持久發展。

歷史好文推薦

從0到1搭建大資料平台之計算儲存系統

從0到1搭建大資料平台之排程系統

從0到1搭建大資料平台之資料採集系統

如何從0到1搭建大資料平台

從0到1搭建大資料平台之資料採集系統

關於從0到1搭建大資料平台,之前的一篇博文 如何從0到1搭建大資料平台 已經給大家介紹過了,接下來我們會分步講解搭建大資料平台的具體注意事項。當你需要搭建大資料平台的時候一定是傳統的關係型資料庫無法滿足業務的儲存計算要求了,所以首先我們面臨的是海量的資料。複雜資料的概念和理想資料完全相反。所有資料集...

從0到1搭建React Native開發環境

rn開發之前要配置一系列的開發環境,這裡剛配置好,這裡做乙個總結記錄,希望對大家有幫助。1.nvm是什麼呢?全稱node version manage。看到全稱應該知道了吧,其實nvm就是用來管理nodejs的乙個管理器,他可以安裝多個版本的nodejs和npm版本。nodejs是什麼?nodejs...

讀書1 從0到1

總結你身邊是不是總有這樣的人,他特立獨行,有的時候厭煩規則,顯得與眾不同。如果有,請盯住他們,本書就以這類人為論述,作者對他們的迷戀堪稱瘋狂。最近看的一場電影 綠皮書 其中的唐雪莉和托尼就是這樣的人,托尼改掉歧視黑人的行為,甚至為黑人唐打工,而唐也與其他黑人格格不入,他特立獨行,不了解黑人 他是鋼琴...