觀點 雲大資料服務一定是終極形態嗎?

2021-09-17 03:18:50 字數 2637 閱讀 9839

企業需要大資料能力,但獲取這一能力的途徑是否全部**於雲?雲計算和大資料都很重要,雲大資料服務一定是終極形態嗎?

如今,即便是傳統企業也應該意識到了雲計算和大資料的重要性,雲是趨勢,但基於雲的大資料服務是否就是唯一終極形態呢?過去,國外的技術發展趨勢總會在國內得到驗證,比如hadoop,最早是根據谷歌發表的mapreduce和google檔案系統的**實現而成,但最後在中國市場得到了很好應用,這之中也存在很多差異,比如國內企業的資料規模更大,資料型別更加豐富,導致國內市場逐漸衍生出很多其他工具和應用。

就雲計算而言,雖然現在可以找到百餘種有關定義,但其很明顯的乙個優勢就是強大的計算能力,甚至可以達到每秒10萬億次,這個數字也在日後得到不斷重新整理。看起來,這似乎是大資料運算的優質場所,因此,雲大資料服務漸漸興起,hadoop與spark、flink等流技術的融合開始在雲平台發生。

當然,雲計算發展至今不止有公有雲一種選擇。只是,最先起家的aws一直在努力做公有雲,其他私有雲廠商則長時間被籠罩在一片烏雲之下,這片烏雲就是aws並不看好這一領域,並多次在公開場合發表相關言論表明這一態度。但是,aws最終還是主動推出了outposts混合雲產品,這是否意味著對某部分市場的妥協不得而知,但不少**傾向於這樣認為。總之,雲計算的出現讓大資料也不止有本地搭建一種模式,但哪種排列組合才可以走到最後呢?

infoq 就相關問題展開系列**,追蹤採訪數字行業內雲計算和大資料相關方向技術專家,從他們的觀點中獲取答案。本期採訪嘉賓——網易猛獁資深產品經理王文庭。

在近期的採訪中,業內專家向筆者表示,雖然中國有84%的企業表示有上雲意願,但中國依舊處於雲計算發展早期。如今,雲計算之所以被頻繁提起就是因為還不夠成熟,各項服務也均處於發展階段。

正如上文所言,很多情況下,一項技術在國內外的應用環境並不相同,這在大資料時代尤為明顯。此前,筆者曾針對hadoop的使用情況進行過採訪調研,國內外使用者對hadoop的使用態度存在明顯不同,國內市場普遍對hadoop的未來發展持肯定態度,而國外銀行使用者對hadoop的部署並不樂觀,認為很多企業使用者在受到網際網路的衝擊後,形成了一種「便宜且大而全就是好」的觀念,但實際部署apache hadoop的成本甚至超過商業平台。

這種情況並不僅僅出現在hadoop身上,反觀雲計算,國內外的應用進度也存在明顯不同。王文庭表示,基於雲平台的大資料服務在國外具備一定普及基礎,但在國內,網際網路企業和傳統企業面臨的企業運營、資料情況和資料體量存在千差萬別。因此,網易雲認為,未來,中小型網際網路企業可能會更多選擇基於雲平台的大資料服務,但是對於大型及傳統企業來說,更傾向於選擇私有化部署大資料服務,因為這更加貼近企業需求。

近年來,開發人員經歷了多輪技術衝擊,當雲計算可以應對一些基本訴求後,**中的開發人員似乎日子更難了。對企業而言,選擇大資料服務本身就是業務體量到達一定階段才會出現的需求。體量越大,業務種類越多,對大資料服務的要求也就越高,尤其某些對高併發有所要求的企業,王文庭表示,在技術能力方面,企業應該會需要更多大資料架構及開發人員的支援。

如今,大資料服務越來越成為企業技術建設的基礎設施,所有企業幾乎都認識到了資料的重要性。換言之,未來不斷推出的新技術應用可能都需要建立在企業具備完整、全面的大資料基礎設施之上。對企業來說,大資料建設並不是遙不可及,也有多種選擇。

對於大資料平台建設,王文庭認為,企業首要考慮因素可能就是成本,這包括人員、設施、時間等。網際網路公司由於普遍具備一定技術能力,因此更傾向於在雲平台之上自行搭建。但是,對於傳統型企業,比如金融、物流、傳媒、農業等,普遍缺乏一定技術能力,因此更傾向於選擇**商搭建,多種選擇都沒問題,只要是從企業自身實際需求出發,就是合理的方式。

目前,網易雲主要是以私有化部署形式提供服務,包括一站式大資料管理和應用開發平台網易猛獁、企業級大資料視覺化分析平台網易有數。前者提供資料整合、資料儲存、資料計算、資料管理和資料安全等能力,後者提供自助式分析、資料大屏、資料填報、視覺化建模和高效能mpp等功能。

網易雲平均每天有2500多中大型客戶使用其大資料平台,日均執行作業數超過14萬。根據了解,使用者使用最多的功能是資料質量監控功能(資料質量管控和追溯),以及資料科學工作台(模型訓練及除錯),這也可以實際反映出目前大資料平台使用者的實際訴求。

對於中大型客戶而言,這類客戶選擇大資料服務最關注的可能是安全性,其次是穩定性,這可能包括多重業務考驗以及處理大量資料、突發狀況的能力等。中大型企業對資料安全尤其看重,採用網易雲大資料平台的客戶,不乏因為安全性顧慮而從穩定的雲大資料服務遷移到私有化部署平台的企業。平台本身的問題解決了,然後才是資料服務的全面性,比如資料治理能力。

基於此,網易大資料服務接下來將努力解決企業最關注的資料質量問題,在資料質量控制、監控、分析及跟蹤方面投入精力;其次是資料治理,包括資料資產管理、全鏈路資料血緣、許可權等,最終,網易大資料服務希望能夠為資料科學家及分析人員提供資料探索、分析、建模及視覺化的整套解決方案。

雲是趨勢,這個毋庸置疑,但是基於雲的大資料服務,王文庭認為還處於未普及狀態。對於中小型企業,基於雲的大資料服務可能會有一些應用,但對絕大多數大型企業而言,雲大資料服務尚取代不了本地部署方式。相反,大型企業因為到了數位化轉型的重點節點,對本地化大資料服務存在真實需求。

未來,面向大型企業的本地化大資料服務,也會隨著新技術的應用,向智慧型化、統一化的方向發展,例如現在層出不窮的大資料「中臺解決方案」,本質是企業需求不斷增加的體現。未來很長一段時間內,多種形式的大資料服務可能還是會存在,因為國內的雲服務和業務情況多樣,雲廠商即使佔據較大規模市場,主要客戶群也受限於中小企業。因此,從網易雲的實踐經驗來看,雲大資料服務市場尚未成熟,目前還沒有露出終極形態的苗頭。

觀點 雲大資料服務一定是終極形態嗎?

n 企業需要大資料能力,但獲取這一能力的途徑是否全部 於雲?雲計算和大資料都很重要,雲大資料服務一定是終極形態嗎?n n 如今,即便是傳統企業也應該意識到了雲計算和大資料的重要性,雲是趨勢,但基於雲的大資料服務是否就是唯一終極形態呢?過去,國外的技術發展趨勢總會在國內得到驗證,比如hadoop,最早...

華為雲鯤鵬大資料服務公測上線,加速企業智慧型化公升級

日前,華為雲舉辦 鯤鵬凌雲,開啟多元新架構 論壇,指出cloud2.0時代是 雲 ai 5g時代 企業需要多元化雲服務架構。華為雲宣布,基於鯤鵬的首批鯤鵬雲基礎服務和鯤鵬凌雲夥伴計畫正式發布,向產業全面釋放鯤鵬新算力,加速企業創新公升級。華為雲基於鯤鵬伺服器基礎設施進行全棧優化,快速推出鯤鵬大資料服...

多元算力加持,華為雲鯤鵬大資料服務公測上線

7月23日,華為雲舉辦 鯤鵬凌雲,開啟多元新架構 論壇,指出cloud2.0時代是 雲 ai 5g時代 企業需要多元化雲服務架構。華為雲宣布,基於鯤鵬的首批鯤鵬雲基礎服務和鯤鵬凌雲夥伴計畫正式發布,向產業全面釋放鯤鵬新算力,加速企業創新公升級。華為雲基於鯤鵬伺服器基礎設施進行全棧優化,快速推出鯤鵬大...