摩爾定律失效後,AI如何保持快速發展?

2021-09-23 12:56:12 字數 1642 閱讀 7718

本月初,谷歌ceo sundar pichai在跟開發者分享從他的機器學習實驗室得到的結果時,他表現的非常興奮。因為他們實驗室的研究人員,已經找到了自動化生成機器學習軟體的方法。並且他們也發現,這個方法很容易就能部署到新的情景和行業內。

不過,該專案在ai研究領域內名聲大噪的另外乙個原因就是,它成功的證明了在機器學習領域競爭,計算資源(計算能力)才是取勝的關鍵。

對於無法訪問大型gpu集群的研究人員來說,做這樣的實驗就意味著要有大量的研究經費。如果從亞馬遜的雲計算服務中心租用800個gpu,一周就需要大約12萬美金的開銷。

人工智慧的發展需要在計算能力不斷的有所突破,但是不幸的是計算行業賴以生存了50年的兩大定律卻正在漸漸的走向滅亡,乙個是「摩爾定律」,它曾**每兩年,相同面積的晶元上的電晶體數量將會翻倍;另外乙個是dennard縮放比例定律,它指出當電晶體變小時,它們的功耗如何按比例縮小。

今天,這兩個昔日輝煌的定律都不在適用了。英特爾已經減緩了引入更小,更密集的電晶體的步伐。(詳見:moore's law is dead.now what?)在20世紀中期,隨著電晶體的不斷變小,電晶體的使用效率就很難得到提公升,所以能耗成為了最頭疼的問題。

押注人工智慧的乙個好訊息是,圖形晶元目前已經成功的進入到人們的視野中。最近,全球領先圖形晶元英偉達的首席執行官黃仁勳向公眾展示了乙個圖表,該圖表顯示,英偉達晶元的效能在以指數級加速,相比之下通用處理器cpu的效能提公升已經減緩。

致力於將新技術商業化的微軟next的工程師doug burger表示,傳統軟體和機器學習軟體之間也有類似的差距(暗指cpu和gpu之間的差距)。他說:「目前,通用軟體的效能已經到了乙個停滯期,但是人工智慧卻還在迅猛的發展。」

doug burger還認為,這種趨勢還會繼續下去。工程師們會讓gpu變得越來越強大,因為gpu可以更專業的處理圖形或者機器學習中所需要的數學問題。

同樣的理念還出現在doug burger在微軟領導的乙個專案中,它通過使用被稱作是fpgas的可重構晶元為人工智慧軟體提供了更加強大的計算能力。它同樣激勵著一些初創公司和巨頭,比如說谷歌——創造一種特殊的晶元去驅動機器學習。(詳見:google reveals a powerful new ai chip and supercomputer)。

從長遠角度來看,要使人工智慧更加強大,計算機晶元必須更加徹底的改變。開發特定的晶元是乙個主要的方向,現實情況已經證明,這些晶元確實能夠使計算機效率更高,並且不會損害機器學習軟體輸出結果的準確性。(詳見:why a chip that』s bad at math can help computers tackle harder problems)。

晶元的設計直接複製生物結構也可能會成為未來的乙個新的方向,ibm和其他公司已經構建出使用尖峰電流進行計算的晶元原型,其計算過程類似於人類神經元的激發過程。(詳見:thinking in silicon)

burger說「一些簡單的動物,能夠用很少的能量實現的功能就超過了今天我們機械人,不得不承認的是,在這些行為中一定存在很多提高效能和效率機制等待著被我們發現。」

畢竟人工智慧這條路才真正的開始,我們可以從人類的神經網路中獲取演算法模型。或許我們也可以從人類的神經網路中獲取更多的啟發。在人工智慧這條道路上,我們還需要花費很長的時間。

作者介紹:

摩爾定律失效後,AI如何保持快速發展?

本月初,谷歌ceo sundar pichai在跟開發者分享從他的機器學習實驗室得到的結果時,他表現的非常興奮。因為他們實驗室的研究人員,已經找到了自動化生成機器學習軟體的方法。並且他們也發現,這個方法很容易就能部署到新的情景和行業內。不過,該專案在ai研究領域內名聲大噪的另外乙個原因就是,它成功的...

摩爾定律失效否?

第一,什麼是摩爾定律 一般有三個說法 1.積體電路晶元上所整合的電路的數目,每隔18個月就翻一倍。2.微處理器的效能每隔18個月提高一倍,或 下降一半。3.用乙個美元所能買到的電腦效能,每隔18個月翻兩倍。在最初提出的週期是一年後來改為兩年,最後人們預設為18個月。第二,摩爾定律曾帶來了什麼 可以說...

摩爾定律要失效了嗎

1965年4月19日,著名的摩爾定律在 電子學 雜誌中被發表 積體電路上可容納的電晶體 電晶體 數目,約每隔兩年便會增加一倍。戈登 摩爾 嚴格上說,摩爾定律並非是經證明而得到的某種定律,更多的是一種經驗之談,是一種對於行業發展的 它首先是經濟上的一條定律。積體電路的設計和生產,都圍繞著利益而轉,晶元...