阿里雲賈揚清 大資料和人工智慧一體化是必然趨勢

2021-10-22 06:12:54 字數 2069 閱讀 2004

簡介:擁抱「融合」是大資料演進的新方向,⼤資料+⼈⼯智慧型⼀體化是⼤資料發展的必然⽅向,而人工智慧是⼤資料業務發展的終極出⼝ 。

12月13日,阿里雲計算平台負責人賈揚清在flink forward asia 2020 峰會上指出,擁抱「融合」是大資料演進的新方向,大資料和人工智慧一體化是必然趨勢,而人工智慧是大資料業務發展的終極出口。同時,他從不同角度討論了flink的開源技術,以及雲時代下開源技術的發展和未來思考。

從乙個普通開源技術愛好者視角,賈揚清將2023年flink發展定義為「漸入佳境」,主要體現在三大方面:

技術。今年flink在技術方面取得兩大新突破:一是flink流批一體技術在阿里雙11核心資料業務場景規模化成功應用;二是flink實時計算峰值首次突破40億條/秒。同比去年,不增加集群規模情況下提公升了一倍的計算效能。

應用。flink不再是乙個居廟堂之高的技術,而是成為開源流式處理的事實標準,飛入「尋常百姓家」。比如中國信通院使用了flink作為技術藍本設計流式處理標準,雲計算公司包括阿里雲等均使用flink作為流式處理的底層引擎。

社群。flink開源社群高速增長,登頂apache最活躍的郵件列表;flink專案是github提交次數最多的apache頂級專案之一。去年flink forward asia 參會⼈數達2000⼈,flink 極客挑戰賽吸引了4000+開發者參與;今年大會切換到線上、線下同時舉辦,flink 極客挑戰賽的頒獎更讓大家看到了越來越多開發者對於開源技術的熱情以及勇於挑戰的精神。

賈揚清認為:開源讓雲更標準化。他提到,雲計算越來越趨於標準化對其自身發展非常有利。雲上大量的開發技術體系日趨⼀致,這意味著大量雲計算開發者熟悉這套體系後更容易把⾃⼰的應⽤變成雲的⼀部分。

開源有助於阿⾥雲打破⾃有技術體系,在充分尊重⽤戶原有使⽤習慣基礎上,形成標準、開放、公共的技術體系。單靠⼀家公司去制定標準⾮常難。

阿里雲對於開源意味著什麼?賈揚清提到以下三點:

組織來看,去年阿⾥巴巴集團成⽴開源技術委員會,從集團層⾯統⼀梳理和推進阿⾥巴巴開源技術戰略的執行。

參與度來看,阿⾥巴巴集團⼀開始就廣泛採用開源技術構建⾃⼰的技術體系。以阿⾥雲計算平台事業部⼤資料產品為例,比如實時計算 flink都在⼤量使⽤hadoop/k8s⽣態的技術;機器學習pai同樣使⽤tensorflow等開源深度學習框架。

貢獻度來看,阿⾥巴巴集團持續為開源社群貢獻力量。以flink技術社群為例,僅去年⼀年阿⾥雲就貢獻百萬行**給apache flink社群。當前,集團開源項⽬數已超過1000個,覆蓋⼤資料、ai、雲原生、資料庫、中介軟體、硬體等多個領域,全世界有70多萬開發者為阿里點亮github star,成千上萬的愛好者參與到項⽬貢獻之中。

賈揚清表示,雲的三⼤發展趨勢主要是it基礎設施的雲化、核⼼技術的互聯⽹化、應⽤的資料化和智慧型化,這也是雲的核⼼價值所在。

企業在it上雲和業務互聯⽹化之後,其應⽤必將從流程驅動變為資料智慧型驅動,實現資料化和智慧型化。雲計算、底層iaas技術在比拼基礎設施的成熟度、穩定性和**,而上層paas技術要⽐的是資料能力、智慧型能⼒。

⽬前包括資料庫、iot等泛⼤資料仍然處於⼤資料最基礎的使⽤⽅式,需要整合更多⼤資料和ai能⼒。

所以,擁抱「融合」是大資料演進的新方向,⼤資料+⼈⼯智慧型⼀體化是⼤資料發展的必然⽅向,而人工智慧是⼤資料業務發展的終極出⼝ 。

只有ai化,⼤資料才能發揮真正的業務價值。阿⾥雲⼤資料之所以有核⼼競爭⼒,就是因為⼤資料是結合ai能⼒的⼤資料,是智慧型化公升級的⼤資料。比如flink+alink,flink不僅能夠提供流批⼀體的處理能⼒,還能借助已開源的alink機器學習演算法庫,實現flink的⼤資料+⼈⼯智慧型⼀體化。

未來,社會經濟將與互聯⽹更加融合,企業機構的業務也將全⾯轉變為互聯⽹業務。乙個企業僅僅有it基礎設施並不夠,企業應⽤也將實現從流程驅動變為資料智慧型驅動,阿⾥雲計算平台將輸出全棧⼤資料技術能⼒,並提供全球頂尖的ai技術,一起實現資料化和智慧型化。

阿里雲賈揚清 大資料和人工智慧一體化是必然趨勢

簡介 擁抱 融合 是大資料演進的新方向,資料 智慧型 體化是 資料發展的必然 向,而人工智慧是 資料業務發展的終極出 12月13日,阿里雲計算平台負責人賈揚清在flink forward asia 2020 峰會上指出,擁抱 融合 是大資料演進的新方向,大資料和人工智慧一體化是必然趨勢,而人工智慧是...

雲計算 大資料和人工智慧

參考 一 雲計算最初的目標 1 理解網路資源 儲存資源概念 2 對於一台電腦是這個樣子的,對於乙個資料中心也是同樣的。想象你有乙個非常非常大的機房,裡面堆了很多的伺服器,這些伺服器也是有cpu 記憶體 硬碟的,也是通過類似路由器的裝置上網的。這時的問題就是 運營資料中心的人是怎麼把這些裝置統一的管理...

簡介 雲計算,大資料,人工智慧

雲計算最初是實現資源管理的靈活性 雲計算不光管資源,也要管應用 大資料擁抱雲計算 資料的收集 資料的傳輸 基於硬碟的分布式佇列 資料的儲存 分布式檔案系統 資料的分析 分布式計算的方法 人工智慧擁抱大資料 推理 知識教授 基於統計的知識自學 事物間的關聯 模擬大腦的工作方式 數學單元模擬神經元 神經...