在人工智慧研究領域，yann lecun、geoffrey hinton 和 yoshua bengio一直被公認為深度學習三巨頭。
yann lecun，自稱中文名「楊立昆」，計算機科學家，被譽為「卷積網路之父」，為卷積神經網路（cnn，convolutional neural networks）和影象識別領域做出了重要貢獻，以手寫字型識別、影象壓縮和人工智慧硬體等主題發表過 190 多份**，研發了很多關於深度學習的專案，並且擁有14項相關的美國專利。他同léon bottou和patrick haffner等人一起建立了djvu影象壓縮技術，同léon bottou一起開發了一種開源的lush語言，比matlab功能還要強大，並且也是一位lisp高手。（backpropagation，簡稱bp）反向傳播這種現階段常用來訓練人工神經網路的演算法，就是 lecun 和其老師「神經網路之父」geoffrey hinton 等科學家於 20 世紀 80 年代中期提出的，而後 lecun 在貝爾實驗室將 bp 應用於卷積神經網路中，並將其實用化，推廣到各種影象相關任務中。
yann lecun 也是facebook人工智慧研究院院長，紐約大學的 silver 教授，隸屬於紐約大學資料科學中心、courant 數學科學研究所、神經科學中心和電氣與計算機工程系。加盟facebook之前，lecun已在貝爾實驗室工作超過20年，期間他開發了一套能夠識別手寫數字的系統，叫作lenet，用到了卷積神經網路，已開源。他在 1983 年在巴黎 esiee 獲得電子工程學位，1987 年在 université p&m curie 獲得電腦科學博士學位。在完成了多倫多大學的博士後研究之後，他在 1988 年加入了 at&t 貝爾實驗室（at&t bell laboratories /holmdel, nj），在 1996 年成為 at&t labs-research 的影象處理研究部門主管。2003 年，他加入紐約大學獲得教授任職，並在 nec 研究所（普林斯頓）呆過短暫一段時間。2012 年他成為紐約大學資料科學中心的創辦主任。2013 年末，他成為 facebook 的人工智慧研究中心（fair）負責人，並仍保持在 nyu 中兼職教學。從 2015 到 2016 年，yann lecun 還是法蘭西學院的訪問學者。
lecun 是 iclr 的發起人和常任聯合主席（general co-chair），並且曾在多個編輯委員會和會議組織委員會任職。他是加拿大高階研究所（canadian institute for advanced research）機器與大腦學習（learning in machines and brains）專案的聯合主席。他同樣是 ipam 和 icerm 的理事會成員。他曾是許多初創公司的顧問，並是 elements inc 和 museami 的聯合創始人。lecun 位列紐澤西州的發明家名人堂，並獲得 2014 年 ieee 神經網路先鋒獎（neural network pioneer award）、2015 年 ieee pami 傑出研究獎、2016 年 lovie 終身成就獎和來自墨西哥 ipn 的名譽博士學位。
深度學習之Octave使用三
資料的運算 矩陣相乘a b 矩陣點乘c a.b a的每個元素與b中對應的元素相乘，cij aij bij 矩陣a.2，a中每個元素平方 矩陣1.a，將a中每個元素取倒數 矩陣log a 將a中每個元素進行求對數運算 矩陣exp a 將a中每個元素，以e為底，以這些元素為冪的運算 矩陣abs a 將a...
深度學習（三）
1 在調整超引數時，其中最終要的是 其次是動量 隱藏層單元以及mini batch，之後還可以調整層數跟學習率衰減 2 在深度學習中，隨機選擇引數的值可能更好一些，因為事先並不知道哪個引數相對比較重要，另乙個比較重要的原則是從粗略到精細，到大體確定了超引數的範圍，再在這個範圍內進行隨機取值，獲得更加...
深度學習筆記（三 之反向傳播
老規矩 妹妹鎮樓 得到損失函式以後，我們要根據損失函式來優化我們的模型，即優化w引數，更新w引數，使得損失值越低越好。這是反向傳播的過程。那麼，我們如何來優化w引數呢？這裡，我們就要計算每個w引數對於最終的損失值的重要程度。若某個w引數越大，損失值也越大，則說明應該將w引數減小。若某個w引數越大，損...