2017 年 10 月 10-11 號，rework 深度學習
不過真正撐起大會陣勢的是深度學習界三位元老級人物——geoffrey hinton、yann lecun、和 yoshua bengio。
麥吉爾大學教授 joelle pineau 在 rework 蒙特婁峰會台上採訪 hinton、 lecun、和 bengio。
yann lecun 在 1985 年慕名結識 geoffrey hinton，而 yoshua bengio 在讀碩士時認識 lecun。這三位科學家在相識的 32 年期間先後聲名鵲起。hinton 就此在講台上調侃到：「我的工作最先得到注意，隨後是 yann。如今 yoshua 真正發力了，我每隔幾個星期就能在 arxiv 上看到他的佳作，都有點追不上他的思路了。」
自 2012 年 alexnet 在 imagenet 比賽上獲得突破以來，學界、業界都在深度學習的高速發展中受益。然而台上的先驅們卻認為今天的人工智慧
與人類智力的還相差甚遠。目前的機器學習
系統建立在監督式學習的基礎上，不斷地犯一些人類根本不會犯的錯。系統依賴於膚淺的統計規律，並不能真正的理解世界。
面對這個困境，hinton 和 bengio 分別在大會上宣講了自己的新理論：capsules 和意識先驗（the conscious prior）。
針對目前人工智慧基礎研究的瓶頸，bengio 舉了兩個例子說明：第乙個是嬰兒理解世界。嬰兒通過不斷的互動和玩耍理解周圍的世界，這是個無監督、自發式學習過程。他（她）通過自己的觀察，明白環境中潛在的因果關係。
第二個是人類自帶的應急機制。bengio 在 18 歲時曾遭遇車禍，並在危險時刻成功自救。這是他人生第一次發生事故，然而大腦卻在「零資料」的基礎上，正確地教導身體做出了一系列應急反應。
根據以上兩個案例總結，bengio 認為現在的智慧型系統對物理架構理解的很深，卻忽略了與環境互動、和人的意識在學習中所發揮的作用。目前的無監督學習訓練目標也集中在以影象為主的畫素空間，而不是包涵語義、更高階別的抽象空間。
機器應該模擬人類，建立智慧型體在感知、表徵、和意識之間的關係。
這其中表徵（representation）是乙個非常重要的概念。從深度學習浪潮興起的最開始，科學家的目標就是不斷學習更高層次、更為抽象的表徵。目前的系統已經可以支援多維度的表徵學習，隨著抽象水平的上公升，表徵的層級也將遞增。bengio 舉例說比如在語音素材裡，從樣本、到頻譜帶、聲音、因素、詞就跨越了很多層。
這一切都可以和以自然語言為代表、更為高層次的抽象概念掛鉤，將以深度學習為代表的聯結主義和符號主義結合。bengio 提議使用無監督強化學習的方法，在虛擬環境中進行試驗。
bengio 著重提及了今年 9 月份在 arxiv 上發表了一篇標題為：意識先驗（conscious prior）的**
。這個理論認為在實際行動的抽象空間裡，應該有乙個低維度的向量來表現意識。跟潛意識的大腦相比，顯意識的維度很低，是腦海裡最高端別的表徵，通常可以用一到兩個短語表示。意識為多維度的表徵世界提供了約束，並且在陳述現實的時候比較準確，也因此在進行**時意外的好用。
hinton 也在會議上解釋了自己最新的 capsule 理論，意圖代替傳統的卷積神經網路
。capsule 把每一層神經元組合起來，裝進「膠囊」（capsule）裡面，在完成內部計算後輸出每一層的壓縮結果。這種結構的靈感來自於人腦的微柱體。乙個「膠囊」有兩個輸出值：第乙個物件的分類，第二個是物件的位置、朝向、大小、形狀、體積和顏色等特徵。
坐在台下的 bengio 向 hinton 提問
讀者可以閱讀機器之心之前發表的——** geoffrey hinton 最近提出的 capsule 計畫。介於 hinton 使用的幻燈片、演講內容和舉例與文中無差別，我們不展開複述。
就二者理論目前的應用方向來看，hinton 的著重點是幫助機器處理靜態和動態的視覺感知，能更好模擬人的視覺系統。而 bengio 著重在機器對世界從表徵延伸到語義層面的通俗理解，這個可以追溯到他早期使用神經網路做自然語言處理。從大方向上來看，bengio 在推動通用人工智慧的野心更大。
值得一提的是，二者在對智慧型的探索上都持續借鑑了人腦結構和認知神經科學。這種契合也奠定了主流人工智慧基礎研究的發展。
隨後三人在台上重聚，再度聊起了彼此長達 30 多年的的學術友誼。在談起三人之間最大的分歧時，lecun 表示：「我們在研究方向上一樣，解決的方法則大同小異。不過我記得有一段時間 geoff 很喜歡用概率。」bengio 立即披露了乙個事實：「yann 對使用概率解決問題很不感冒，他管 geoff 叫概率警察。」
在對於未來人工智慧研究的方向，lecun 認為現在的研究將逐步被完善並且引數化，它的成果不會消失，但並不夠用。我們需要新的架構，很多人看好動態架構（dynamic architecture）。自然語言處理研究也有很多有趣的進展。我們還需要訓練超大學習系統，還需要將深度學習與更加離散、諸如推理的方法結合起來。
而 hinton 的關注點更為具體：「我認為 yann 和 yoshua 也同意我的這個觀點——目前最大障礙是無監督學習沒有目標函式。我在 92 年發表的一篇**將空間一致性作為目標函式，通過這樣做我們可以學習更多層網路和更多的東西。」
最後當主持人 joelle pineau 詢問是否有那種一解決就可以退休的課題時，現年 69 歲的 hinton 表示需要解決機器翻譯
、並且讓及其真正理解所翻譯的事物，這個課題需要花 10 年左右。現年 57 歲的 lecun 希望幫助機器理解常識，認為這個課題需要花 10 年到 20 年。
「當然也有可能在乙個星期內搞定。」hinton 側頭望著台上的 lecun 和 bengio 抿嘴笑了笑。
人工智慧,機器學習,深度學習
所謂人工智慧，通俗地講是指由人工製造出來的系統所表現出來的智慧型 機器學習簡單來講就是通過演算法，使機器能從大量歷史資料中學習規律，從而對新的樣本做出智慧型識別或對未來做 機器學習是基於概率統計 矩陣或圖模型而得出的分析結論 機器學習是人工智慧的乙個分支 深度學習是機器學習的乙個新領域 監督學習 邏...
python深度學習 人工智慧雜記
人工智慧的簡潔定義如下 努力將通常由人類完成的智力任務自動化。早期的西洋棋程式僅包含程式設計師精心編寫的硬編碼規則，並不屬於機器學習。在相當長的時間內，許多專家相信，只要程式設計師精 心編寫足夠多的明確規則來處理知識，就可以實現與人類水平相當的人工智慧。這一方法被稱為符號主義人工智慧 symboli...
深度學習和人工智慧法則
2020是人工智慧爆發的一年，各種層出不窮的新技術 新概念讓人眼花繚亂。很多人都分不清人工智慧 artificial intelligence，簡稱ai 機器學習 machine learning，簡稱ml 以及深度學習 deep learning，簡稱dl 概念之間的不同。格物斯坦 來重點解釋了機...