資料湖 資料中臺,金山雲大資料平台競爭力如何?

2021-10-25 09:11:18 字數 4015 閱讀 6081

隨著疫情穩定,出行的解禁,正是拉動老客戶消費和挖掘潛客的機會,那麼銀行在數位化時代的營銷業務是如何實現的?首先在業務層面需要與各大電商平台、ota、出行、o2o、線下餐飲、購物中心達成廣泛的權益合作;之後匯聚內部資料和第三方資料,進行資料採集、清洗、拉通與匹配;再利用基於機器學習的營銷模型不斷學習與完善,最後將合適的資訊適時推薦給使用者,實現營銷活動與使用者需求的精準匹配和及時響應,拉動業務的提公升。

如今,乙個小小營銷活動不僅需要面對複雜、豐富的海量資料,還涉及到雲計算、大資料、ai等多種技術的綜合應用,這恰恰是當下產業數位化大浪潮中的乙個小縮影。隨著各個行業的業務加速線上化,會有越來越多業務場景,像營銷這樣全面走向「資料驅動業務」。

「資料驅動業務」,短短幾個字背後所傳遞的核心含義是:前端業務實現快速響應,海量資料實現價值落地。因此,無論是幾年前火熱的資料湖,還是最近的弄潮兒資料中臺,都是「讓企業把資料用起來」這個使命下的產物。

但褪去營銷概念的浮華,「讓企業把資料用起來和用好」這些年依然充滿著各種挑戰,而率先幫助使用者走出資料價值落地之路的,不是傳統儲存廠商,也不是傳統資料倉儲廠商,卻是以金山雲為代表的雲服務商們。

近日,隨著金山雲全新航母級大資料雲平台的推出,從產品競爭力、技術趨勢以及行業實踐等角度再次印證了雲服務商為何能夠成為資料價值落地的擔當主力。

根據中國信通院《中國數字經濟發展***(2023年)》報告顯示,2023年,我國數字經濟規模達到35.8萬億元,佔gdp比重達到36.2%,同比增長15.6%,數字經濟在國民經濟中的地位進一步凸顯。

進入到數字經濟時代,資料的價值與作用堪比當年的石油。尤其是隨著《關於構建更加完善的要素市場化配置體制機制的意見》(以下簡稱《意見》)的正式發布,官方首次將「資料」納入生產要素,並指出要發揮「資料」這一新型要素對其他要素效率的倍增作用,使資料成為推動經濟高質量發展的新動能。

在數字經濟蓬勃發展的另一方面,則是企業加速上雲的步伐。《雲計算發展***(2020)》報告資料透露,2023年,中國雲計算市場規模達到1334億元,增速達到38.61%,公有雲從規模、增速全面超越私有雲,企業全面上雲成為大勢所趨。

事實上,「讓企業把資料用起來和用好」的關鍵一步就是上雲。這是因為,一方面隨著產業數位化的深入,無論是已有業務場景的數位化轉型,還是新業務場景的數位化創新,都是基於資料的基礎之上綜合運用雲計算、大資料、ai等數位化技術,絕不是依靠單點或者幾項技術就能實現;另一方面,雲計算作為企業數位化轉型最重要的工具平台,具有天然的整合和整合屬性,很容易整合大資料、人工智慧、區塊鏈等技術,為資料價值落地提供了充分的保障。

所以,雲服務商們作為乙個全能型選手,近年來在幫助使用者實現資料價值落地開始脫穎而出,優勢得到充分顯現。

在資料價值落地的探索之路上,基於hadoop開源平台的大資料廠商、傳統資料倉儲廠商是繞不開的話題。事實上,這些廠商都在推動資料價值落地上付出了諸多努力,但隨著最近十年雲計算的崛起,一切都發生了改變。

以傳統資料倉儲廠商為例,其打造的軟硬一體化的大資料平台,雖然也擁有出色的效能和便捷的管理,但受制於擴充套件性、靈活性以及高昂的成本,遠不如基於雲計算的大資料平台更加靈活與高效;又如基於hadoop開源平台的大資料平台,哪怕是商業版本在使用者實際使用環境中,依然需要做不少部署、配置、調優的工作,在時間和人力成本上都遠遜色於大資料雲平台。

究其原因,這是因為過去十年移動化、社交化帶來了資料指數級增長、資料**廣泛化、資料型別多元化,5g、物聯網、邊緣計算的興起,只會加劇現代資料應用的複雜性,雲計算則是解決這種複雜性的天然首選,它不僅能夠遮蔽底層各種跟資料相關的複雜技術,還帶來了彈性、靈活的優勢,加速了大資料平台在業務應用中的落地。

以金山雲全新航母級大資料雲平台為例,提供了從資料採集、儲存到分析利用的全棧式大資料服務,大幅降低了使用者使用大資料平台的門檻,快速響應和構建各類大資料應用。與傳統大資料平台相比,金山雲全新航母級大資料雲平台有六大顯著不同:

採用分布式架構,同時支援離線計算、實時計算和即時計算,並且涵蓋了業務資料、日誌資料、行為買點資料、iot資料、爬蟲資料和外部資料等;

統一全棧式帶來了一站式視覺化資料開發,統一平台、介面、排程、管控,大幅降低了資料加工、處理等過程的複雜度;

改變了傳統數倉自頂向下的設計,以業務需求為核心,結合需求變化,自底向上,不斷迭代公升級;

充分利用到雲原生的資源彈性優勢,實現按需快速擴容,並為資料探勘、深度學習等場景提供更高效彈性的gpu資源;

加速資料應用創新,將全域資料打通,讓全員參與資料消費,真正實現資料驅動業務。

金山雲將其大資料雲平台稱之為航母級大資料雲平台。眾所周知,航空母艦是目前世界上規模最龐大、技術最複雜、威力最強的**之一,也是乙個國家綜合國力的象徵。金山雲認為,大資料雲平台和航母在運轉模式上異曲同工。例如,資料採集如同航母雷達訊號的偵採,既要實時、全面、精準採集,又要批量傳輸、推送;資料整合如同航母的通訊系統,提供穩定高效的資料同步服務,幫助使用者在複雜網路環境下,將各類資料來源低延遲批量同步等。

金山雲航母級大資料雲平台之所以具備強大的差異化競爭力,關鍵在於:第一,金山雲擁有領先的產品與技術,並且實現了產品技術迅速更新迭代,讓領先技術更快落地到業務場景之中;其次,金山雲自身還有多年的大資料平台運營與運維經驗;第三,更加關鍵是金山雲在金融、政務、醫療等多個行業的資料價值落地實踐中積累了豐富經驗。

從2023年資料湖概念首次提出開始,資料湖發展多年卻是不溫不火。資料湖的價值在於可以幫助使用者梳理清楚從資料儲存、資料匯聚到資料探勘這些過程,匯聚、拉通資料,消滅資料孤島。但是資料湖依然聚焦在底層,並不能解決資料如何與前端業務快速響應與匹配的問題。

資料中臺致力於解決資料如何與前端業務快速響應的問題,讓資料更靈活、敏捷地服務前端業務。但資料中颱更像是乙個paas平台,向下跟資料緊密聯絡,向上需要與業務緊密配合,其建設也是乙個螺旋上公升的過程,往往需要真實的業務場景去實踐,不斷根據業務變化需求來進行完善與迭代。

因此,金山雲航母級大資料雲平台攻克資料價值落地最後難關的關鍵在於:如何綜合資料湖等相關技術,遮蔽底層架構複雜性,將資料中颱paas平台的快速迭代能力進一步融合,並充分利用雲計算底層資源彈性、靈活和高效的優勢,以雲服務的方式輸出。

金山雲航母級大資料雲平台涵蓋了資料湖和資料中颱的設計理念。一方面為客戶提供一站式大資料平台,提效客戶業務開發、大規模資產管理、運維保障的大資料底層能力;另一方面,以雲計算平台為核心,形成資料湖運營管理、資料中臺基礎架構部門核心能力支撐工具。

據悉,金山雲航母級大資料雲平台包含資料採集、資料整合、資料服務、資料管理、挖掘分析、資料開發、智慧型排程、儲存與計算等八大元件,大資料運維和大資料運營兩大支撐體系,以及一套涵蓋了平台門戶、專案管理、資源管理和使用者管理的公共服務。

金山雲航母級大資料雲平台將集資料儲存、資料加工、資料展現及資料運營和治理於一體,以及將後台各式各樣的資料資源轉化為前台易於應用的能力,並實現了使用者門戶、使用者體系、資料體系、開發平台、服務平台、運維平台、分析平台的統一管理。

金山雲航母級大資料雲平台還在部署規模、部署環境全面滿足使用者的各種需求,可以支援上萬台以上的集群部署規模,資料採集節點數超過10萬個,實時資料處理能力達到每秒億條以上。破除了既有大資料系統的規模瓶頸,實現了「航母級」的資料吞吐。值得稱道的是,金山雲航母級大資料雲平台具備脫雲輸出的能力,即大資料雲平台不僅可以高效執行在金山雲的iaas平台上,其他主流的iaas平台也都可以支援大資料雲平台的部署,充分體現平台的靈活性,包括金山雲公有雲、銀河私有雲、其他廠商私有雲以及裸金屬環境。

不僅如此,金山雲航母級大資料雲平台還在大型國有金融機構有著豐富的實踐經驗。眾所周知,金融行業是大資料應用的最前沿,資料規模龐大、資料型別豐富、資料應用場景眾多,對於大資料技術、產品有著極為苛刻的要求。金山航母級大資料雲平台在經歷了金融業務場景的千錘百鍊和數年大資料平台運營運維考驗之後,有望在更多行業幫助使用者實現資料價值落地。

總體來看,隨著5g正式走向商用,大資料、人工智慧、邊緣計算、物聯網等應用將會加速出現。使用者在未來將會面臨乙個更加複雜的資料環境,業務也將產生更多基於資料的應用,強大的大資料平台將必不可缺,金山雲航母級大資料雲平台此時推出可謂是恰逢其時,將在企業數位化轉型中發揮至關重要的作用。

大資料平台容量評估 大資料平台

系統概述 大資料應用支撐平台提供資料支撐服務,對外發布資料服務進行資料價值變現。包含資料採集 資料治理 資料交換 資料儲存 資料計算相關元件的搭建 驗證,並建立大資料倉儲。b 功能要求 2.資料治理,由於從資料採集工具採集過來的資料不具備統一的資料標準及資料格式,資料治理工具需要對到達的資料進行格式...

大資料 阿里雲資料整合平台使用教程

資料整合 data integration 是阿里集團對外提供的可跨異構資料儲存系統的 可靠 安全 低成本 可彈性擴充套件的資料同步平台,為20 種資料來源提供不同網路環境下的離線 全量 增量 資料進出通道,是阿里集團對外提供的穩定高效 彈性伸縮的資料同步平台。致力於提供複雜網路環境下 豐富的異構資...

資料湖 大資料游泳的安全方式?

自從pentaho公司首席技術官詹姆斯 狄克遜創造了 資料湖 這個詞,至今已有五年多的時間。他當時提出這個建議,如果你認為資料集市是乙個經過清洗,方便消費的瓶裝水商店的 資料湖 那麼資料湖則是乙個更自然狀態的水體。這個比喻很簡單。但根據專家的經驗,許多終端使用者對這個的概念還有很多困惑。在這篇文章中...