深層學習正在ai（人工智慧）社群裡嗡嗡作響。微軟的eric horvitz和facebook的yann lecun闡釋了為什麼這種機器學習如此令人興奮。
當前ai的復甦會轉變成另乙個ai的冬天嗎？兩位該領域傑出的專家——eric horvitz和yann lecun認為不會。「到底與機器智力相關的事物會發展的多快？我自己都不確定。」horvitz說。他是華盛頓雷德蒙德的微軟研究實驗室主管。「但是我 認為，顯然很快會出現一些有價值的重大發展。」
horvitz指出兩項核心發展，是它們奠定了ai今時的狀態。他稱第一項核心發展為「概率革命」——從基於邏輯的推理到不確定的推理。「該發展是站在以 下這些學科的肩膀上提出來的，包括統計學、運籌學、概率決策科學。」horvitz是在《mit technology review》舉辦的近期新興技術會議dubbed emtech上提到上述觀點。
然而，horvitz所說的第二項核心發展，很可能會引起cio的共鳴。cio應該注意到了支撐最近ai復甦的技術進步和使大資料獲得顯著地位的技術之間 的平行關係。「第二項核心發展是機器學習革命，它很大程度上被快速推進是緣於近幾年被用來捕獲資料的幾乎無限制的儲存裝置，以及通過無處不在的網路連線所 獲取的資料來源。」他說。「這些技術加上計算能力，都助推了機器學習的復興。機器學習已經成為ai當前水平的核心支柱。」
對於最近正聲音四起的ai的某方面來說，這尤其正確：深層學習，是一種機器學習的方式，支持者將它與人類大腦如何處理資訊做模擬。yann lecun，ai領域的專家，是紐約大學的教授，也是facebook的ai研究主管。他把深層學習描述成古老理念（大概追溯至上世紀50年代），正因為 技術的進步而經歷著復興。他特別指出如今能處理大資料集的機器，它需要有效地訓練或者「教授」深層學習系統。他還提到影象處理單元陣列（gpus），「他 們是高度平行，且新晶元中的大多數都內含2000個核之類的東西。」lecun在emtech上說道。
但是，深層學習並不總是得到高度評價，lecun知道這些比其他要好。
神經網路的出現
上世紀90年代，lecun在稱為卷積神經網路的一類深層學習方面記上了顯著的標記。卷積神經網路的設計是受大腦視覺皮質的啟發。卷積神經網路（卷積網） 在辨別影象或文字的那些層處理資料，從最低層辨別非結構化資料中的基本特徵開始，傳遞發現到最高層。在最高層，資料所描繪的東西最終被鑑別出來。當 lecun25年前在at&t貝爾實驗室時，他建立了一套可以識別手寫數字的神經網路。該技術被證明非常成功，以至於銀行在atm裝置上採用此技 術來檢查存款。
儘管如此，卷積網引人注目的時光轉瞬即逝。lecun說，「機器學習社群逐漸拋棄了該技術。他們認為這項理論沒有任何支撐。」導致了所謂的「神經網路第二 次死亡」。第一次死亡是在上世紀60年代，當時各研究者包括mit的marvin minsky，「揭示了人們當時採用方法的侷限性。」他說。
原來，要創造強大的神經網路，需要往混合處增加更多的處理層。但是在上世紀60年代，正如minsky指出的，技術根本無法支撐這項任務。到了80年代， 研究者們仍然受限於技術。「人們當時只能訓練兩到三層的神經網路，因為那是我們可以在機器上承載的所有，主要由於資料集非常小，」lecun說。「如果你 想用少量的資料做很大的網路，執行效果不會好。」
在那種情況下，神經網路冒著死記硬背學習的風險，這實際上得不到什麼有用的東西。唯一例外的是lecun針對手寫的卷積網路。它有「5、6、7層。」他說。然而，截止上世紀90年代，神經網路的概念以及卷積網的承諾已經失寵。
正式記錄
今年早些時候，facebook的yann lecun告訴《ieee spectrum》的lee gomes，「雖然深層學習從生物學中獲取靈感，但它離大腦實際運轉的方式還差很遠很遠。形容它就像大腦給了一點魔法光環，這是危險的。它會導致天花亂墜 的宣傳；人們宣揚了一些並不真實的事情。ai已經經歷了一連串的ai冬天，因為人們宣稱了一些他們無法實現的事情。」
「人們不相信，僅僅通過增加層，它就能工作。」他說。「部分是緣於錯誤的數學直覺。」
過去5年裡，增加神經網路的層數（10層甚至更多）已經成為標準，戲劇性地轉變了技術的效能和業界的看法。如今，「每乙個在你的智慧型手機上執行的對話認知系統……以使用深層學習結束。」他說。它也採用了計算機視覺—《人類視覺的機械人版本》—storm。
「在一年的時間內，整個從事影象認知的計算機視覺社群，不管以前用的什麼，現在都轉為使用卷積網路，」lecun說，「在我30年的研究中，我從沒見過如此情形——一門像這樣的技術能這麼快地接手。」
原文發布時間為：
2023年12月25日
讀AI經典01之什麼是AI
近期沒有開發任務，打算系統的學習一下人工智慧領域。學習乙個領域最好的讀經典，因此特開此專欄，帶領大家一起學習一下ai。書單如下 ai是目前科學與工程領域最最新的研究方向，二戰後就開始研究。ai這個名字在1956年建立的。大多數學習物理的同學都認為所有的好主意好點子都是伽利略 牛頓和愛因斯坦等大牛發現...
AI學習夥伴
前十幾個使用者是我測試程式用的，賬號從1開始，賬號1的密碼是1，其他一般是123456。第乙個純c語言專案，也是我這個開發者寫的第乙個程式 ai學習夥伴 剛剛驗收完了。留幾句話，萬一它就這樣隨風而逝可什麼都沒了。介紹一下 這是乙個為小學生編寫的學習程式，以ai 人工智慧 為主題，就是為了增加學生的學...
如何學習AI
首先，我想聊聊為何深度學習最近這麼火。外行所見的是2016年alphago 4比1 戰勝李世石，掀起了一波ai熱潮，deepmind背後所用的深度學習一時間火得不得了。其實在內行看來，alphago對陣李世石的結果是毫無懸念的，真正的突破在幾年前就發生了。2012年，gefferey hinton的...