如何保證人工智慧與HPC的成功融合?

2021-09-23 06:33:43 字數 3064 閱讀 4902

人工智慧的發展經歷過很有意思的波峰與波谷,雖然目前來看,人工智慧得到了很大的釋放,價值也在各種**中正在一步步落地。而在聯想首席科學家祝明發看來:人工智慧其實遠遠沒有20世紀50年代來得猛烈。

20世紀50年代人工智慧研究曾達到過乙個高潮,設想比現在還要大膽。大家甚至擔憂過未來人工智慧的發展將非常恐怖,很多年後世界會是機械人的世界,機械人將統治這個世界。當然這樣大膽的設想並沒有實現,因為人工智慧作為乙個學科來說,是從機器推理開始取得的進展,通過搜尋取得的進展都和人工神經網路深度學習取得的進展相關。

我們看到,人工智慧正在與各種行業應用越來越緊密結合,而這,也正是當前人工智慧與20世紀50年代人工智慧研究的本質區別。

hpc----高效能計算,是各種科學研究、氣象測算、海洋勘探的必備輔助,沒有hpc,很多科學研究將無法開展。怎樣才能保證人工智慧與hpc的成功融合?

未來hpc的三大緯度

中國科學院計算所所長孫凝暉認為,高效能計算未來將向三個緯度發展,即:算得快、算得多和算得穩。

首先,傳統hpc的要求便是算得快,中國高效能計算的發展,已從1p到100p到1000p甚至1億p的發展,計算算力要求無止境,這是永遠的緯度。

其次,還要算得多,包括以下兩個層次:首先是資料多,比如網際網路的資料非常大,主要靠資料採集和處理來獲得收益;再如傳統計算密集的石油勘探領域資料量也已經達到了幾十p的量;再如中國科學院也正在產生的大量資料,中國科學院正在制定新的發展規劃,國家投入建設了上海、合肥和懷柔三個科學中心,這三個大型科學中心將配備最頂級的科學裝置,不僅是傳統的天文望遠鏡,還有生物領域觀察的裝置,對地球觀察的裝置,對物質科學的觀察裝置等等。這些大的科學裝置都會產生大量的資料。第二個層次是如何解決資料的傳輸、移動和高效計算的問題,這將比純粹的計算更加重要。因此,ai在高效能計算領域的應用,雖然需要gpu很強的計算能力,但其核心還是要解決資料處理的問題,把資料處理好才能產生更大的智慧型。因此,讓計算機如何算得多,算得更加好,是第二個非常重要的發展方向。

第三,算得穩,雲計算和物聯網發展的應用特徵,需要計算使用者質量能更好地得到保障,物聯網應用,智慧型汽車等對延遲的要求更加苛刻,因此,計算的負載保證使用者任務完成時間上要求更穩定的供給,如何在計算負載劇烈變化,負載型別多樣的情況下,保證資源利用率,保證使用者體驗的穩定,算得穩也將是高效能計算非常重要的發展方向。

算得快、算得多和算得穩這三個緯度把高效能計算空間撐得更大,未來的科學研究還是企業運用出將會有更大的發展空間。

ai成功的四大要素

顯而易見,計算、演算法和資料是人工智慧的三大基礎。如何保證ai的成功呢?聯想集團副總裁、企業服務雲計算研究室、無線研究實驗室黃瑩博士認為:ai成功需要滿足四大要素,稱之為abcd。

a是演算法上的創新;

b是商業方面要有定向,即怎麼樣才能夠應用好;

c是計算力,也就是如何將gpu、cpu、tpu進行更好的結合;

d是資料,即怎麼樣才能把資料更好處理好等等。

因此,ai的成功因素之一是演算法,演算法是很重要的乙個方面,從alphago上也可以看到演算法的重要。目前,計算engine上,nvidia、tensorflow、caffe、torch等比較領先。

第二,進行大資料處理。未來資料量將越來越龐大,需要對大資料進行很好的處理。

第三是計算力,怎麼樣能夠在tpu、gpu和fpga等加速器上進行組合則是hpc專家的研究重點。因為gpu或者tpu或者fpga不完全跟上和演算法完全匹配時,要靠人做很多的調優才能把gpu集群真正用好,這其中會面對極大的挑戰。以谷歌做翻譯訓練為例,一般的訓練要在12台帶8個gpu的機器上算一周,但如果沒有這麼好的集群,只能在一台帶8個gpu上訓練需要計算三個月;如果只有乙個gpu的機器則需要算兩年。因此,很多這種研究需要ai專家、分布式計算專家、網路、儲存工程師等一群專家在一起工作。這種深度學習的訓練便導致了ai鴻溝,因為一般企業和一般的研究所沒有這麼多專家在一起做這樣的事情。

基於上述思考,聯想推出了hpc+ai智慧型超算平台lico,lico是提供強大計算力的最佳平台,在hpc軟硬體平台上整合支撐了各種深度學習應用,並融合了主流的人工智慧框架。

聯想hpc的ai創新

聯想是全球領先的hpc廠商,聯想於2023年成立了高效能伺服器事業部,開始了在hpc領域的探索。而在剛剛結束的isc 2017上,聯想以91套高效能計算系統入圍全球hpc top500份額榜,連續三年獲得中國第一,繼續蟬聯全球第二。

在產品和技術上,聯想也正在步入世界先進行列,聯想的x86伺服器產品效能和品質全世界上共知,物理機計算節點可靠性有著很好的口碑。聯想獨創了45攝氏度溫水水冷技術,相比傳統的空氣冷卻,最高可降低40%的能耗,比其他廠商的水冷技術能耗也低了近20%。通過聯想水冷能夠使得資料中心的pue值降低到1.1,這遠低於1.8-2.0的業界平均水平,能幫助客戶大大節省整體投資,提公升ai計算的效能。目前,聯想與全球最大的7個資料中心中的6個達成了合作,繼續在hpc領域展露鋒芒。上乙個財年,聯想以17%的增長率成為全球增速最快的hpc廠商。

上圖為:聯想首席科學家祝明發

聯想首席科學家祝明發介紹:聯想近日推出的深騰8810集群由聯想自主研發,擁有多項hpc和ai的關鍵技術,包括46項國家發明專利。其搭載的全新hpc+ai智慧型超算平台lico,不僅強化了上一代lico的全部功能,更在hpc軟硬體平台上整合支撐了各種深度學習應用,融合了谷歌的tensorflow、臉書的caffe、微軟的mxnet等主流的人工智慧框架;另外,lico分布式的資源排程系統,可以幫助使用者從容應對人臉識別、自然語言處理等各種深度學習訓練不斷增長的計算需求;其任務模板可以讓不同型別的使用者,如初學者、專家、資料科學家,都能夠快速上手; 而lico端到端的解決方案包含資料預處理、訓練、引數調整、過程監控、測試等,能讓使用者能夠集中精力在ai演算法和業務應用。

採訪小記

無論如何,我們都正在進入乙個人工智慧研究及應用創新集中爆發的時代,我們不再像20世紀50年代一樣擔憂人類將會被機械人統治,我們更願意用人工智慧與應用結合,讓這個世界變得更美好。當然,人工智慧也只有在強大計算力的支援下,通過和成熟的演算法、大資料相結合,才能真正做到改變。

人工智慧 人工智慧與人類智慧型的關係

1.基本概念界定 1.1人工智慧 人工智慧是在20世紀中期以後產生的學科,人工智慧就是用機器模擬人類的智慧型活動,從而用機器代替人類行使某些方面的職能。人工智慧是通過探索人的感覺和思維的規律來模擬人的智慧型活動,電子計算機是人工智慧的媒介和基礎。阿倫 圖靈說 如果一台計算機能騙過人,使人相信它是人而...

人工智慧與大資料的應用

兩個概念 人工智慧 人造的智慧型,通過研究人類的智慧型,了解人類智慧型 看 聽 說 寫 聞 思考等能力 的實質,生產出具有人類智慧型的機器。大資料 密度大 體量大 維度多 價值高的資料。人工智慧與大資料的關係 人工智慧隨著大資料的發展,將智慧型應用發展得淋漓盡致,在各行各業都得到廣泛的應用。包括智慧...

人工智慧與大資料的區別

人工智慧和大資料是人們耳熟能詳的流行術語,但也可能會有一些混淆。人工智慧和大資料有什麼相似之處和不同之處?它們有什麼共同點嗎?它們是否相似?能進行有效的比較嗎?嵌入式定製 有人認為將人工智慧與大資料結合在一起是乙個很自然的錯誤,其部分原因是兩者實際上是一致的。但它們是完成相同任務的不同工具。但首先要...