簡評：如果人工智慧犯了錯怎麼辦？乘客看到了停車標誌，突然感到一陣恐慌，因為他搭乘的自動駕駛汽車反而開始加速。當他看到前面的鐵軌上一列火車向他們疾馳而來時，他張開嘴對前面的司機大聲喊叫，但他突然意識到汽車前坐並沒有司機。列車高速撞上來，壓碎了這輛自動駕駛汽車，乘客當場死亡。這個場景是虛構的，但是凸顯了當前人工智慧中乙個非常真實的缺陷。
在過去的幾年裡，已經有越來越多的例子表明 —— 機器可以被誤導，看見或聽見根本不存在的東西。如果出現「噪音」會干擾到人工智慧的識別系統，就可能產生誤覺。比如上面的場景，儘管停車標誌在人眼中清晰可見，但機器卻未能識別出來。
「停止」標誌上一些簡單的貼紙就足以使機器視覺演算法看不見這個告示，而在人類的眼中依然顯而易見
計算機科學家稱之為「對抗性例子」(adversarial examples)。
mit 的計算機科學家阿塔利（anish athalye）表示：
我們可以把這些東西看作是人工智慧網路會以某種方式處理的輸入資訊，但機器在看到這些輸入資訊後會做出一些意想不到的反應。到目前為止，人們主要關注的是視覺識別系統。阿塔利已經證明，將一張貓的影象稍加改動，人眼看來仍是乙隻標準的貓，卻被所謂的神經網路誤解為是鱷梨醬。
最近，阿塔利把注意力轉向了實際物體。發現只要稍微調整一下它們的紋理和顏色，就可以騙過人工智慧，把這些物體認作別的東西。
在乙個案例中，棒球被誤認為是一杯濃縮咖啡，而在另乙個案例中，3d 列印的海龜被誤認為是步槍。他們還製造了約 200 個 3d 列印物體，這些物體以類似的方式欺騙了電腦。
阿塔利表示：
起初，這只是一種好奇，然而，隨著這些智慧型系統越來越多地部署在現實世界中，人們正將其視為乙個潛在的安全問題。以目前正在進行實地試驗的無人駕駛汽車為例：這些汽車通常依靠複雜的深度學習神經網路導航，並告訴它們該做什麼。
但在去年，研究人員證明，僅僅只在路標上粘一兩張小貼紙，神經網路就可能受騙，將道路上的「停車」標誌誤認為限速標誌。
儘管對於機器學習演算法，讓海龜看起來像步槍似乎是無害的，但研究人員擔心，隨著人工智慧在現實世界中的應用，可能會帶來一些危險後果。
神經網路並不是唯一使用的機器學習框架，但其他的人工智慧框架似乎也容易遭受這些怪異事件的影響，並且不限於視覺識別系統。
谷歌大腦（google brain）正在研發智慧型機器。谷歌大腦的研究科學家卡里尼（nicholas carlini）說，
在我見過的每乙個領域，從影象分類到自動語音識別，再到翻譯，神經網路都可能受到攻擊，導致輸入訊號被錯誤分類。卡里尼作了展示，加上一些摩擦的背景噪音後，「沒有資料集的文章是無用的」這句話的讀音，機器會誤譯為「好，谷歌要瀏覽 在另乙個例子中，**的第一號無伴奏大提琴組曲（cello suit 1）中的一段**節選被記錄為「語言可以嵌入**」。
在卡里尼看來，這些對抗性的例子「最終證明，哪怕在非常簡單的任務上，機器學習也沒有達到人類的能力」。
對我們的耳朵來說，一段古典**聽起來就是樂器的交響樂，但這段**若稍作修改，人工智慧可能會理解為是乙個語音指令。
人工神經網路是大致模仿大腦（即生物神經網路）處理視覺資訊的功能並從中學習方法。
神經網路的工作原理大致是，獲取的資料通過多層人工神經元網路傳輸進行資訊處理，在接受到成百上千個相同物體的樣本（通常由人類標記）的訓練之後，神經網路開始建立此物體的視覺識別模式，從而能夠在其後認得出正在**的東西是這種物體。
其中最複雜的系統採用「深度學習」，這意味著需要擁有更多的資訊處理層。
稍微改變物體的紋理，研究人員能夠讓乙個3d列印的棒球看起來像一杯濃縮咖啡。
然而，儘管計算機科學家了解人工神經網路如何工作，但他們並不一定知道在處理大資料時的具體細節。
我們目前對神經網路的理解還不夠。比如說，無法準確解釋為什麼會存在對抗性例子，也不知道如何解決這個問題。
部分問題可能與現有技術被設計用來解決的任務的性質有關，例如區分貓和狗的影象。為了做到這一點，神經網路技術將處理大量貓和狗的模樣資訊，直到有足夠的資料點來區分兩者。
乙個真正強大的影象分類器會複製「相似性」對人類的作用，因而可以認出乙個孩子塗鴉的貓和一張貓的**以及乙隻現實生活中移動的貓代表的是同一樣東西。儘管深度學習神經網路令人印象深刻，但在對物體進行分類、感知周遭環境或處理突發事件方面，仍無法與人腦匹敵。
如果我們想要開發出能夠在現實世界中發揮作用的真正智慧型機器，或許我們應該回到人腦上來，更好地理解人腦是如何解決這些問題的。
雖然神經網路是受到人類視覺皮層的啟發，但越來越多的人認識到這種相似性只是表面現象。乙個關鍵的區別在於，除了識別物體邊緣的線條或物體本身等視覺特徵外，我們的大腦還對這些特徵之間的關係進行編碼。因此，物體的邊緣就構成了這個物體的一部分。這使我們能夠對我們所看到的模式賦予意義。
當你或我看著乙隻貓時，我們看到了構成貓的所有特徵，以及它們之間的相互關係，這種相互「**的」資訊是我們理解世界的能力和我們的一般智力的基礎。這個起關鍵作用的**資訊在當代的人工神經網路中是缺失的。
對於更具體的行為模式，科學家仍在探索。我們清楚的是 —— 大腦的工作方式與我們現有的機器深度學習模式非常不同，因此，最終可能會走上一條完全不同的路才能成功。很難說可行性有多大，以及取得成功需要多長時間。
與此同時，對於越來越多人工智慧驅動的機械人、汽車和程式，我們可能需要避免對其過於信任。因為你永遠不知道人工智慧是不是正在產生被誤導的視覺。
the 『weird events』 that make machines hallucinate
人工智慧缺陷與誤覺 讓機器產生幻覺的 怪異事件
簡評 如果人工智慧犯了錯怎麼辦？乘客看到了停車標誌，突然感到一陣恐慌，因為他搭乘的自動駕駛汽車反而開始加速。當他看到前面的鐵軌上一列火車向他們疾馳而來時，他張開嘴對前面的司機大聲喊叫，但他突然意識到汽車前坐並沒有司機。列車高速撞上來，壓碎了這輛自動駕駛汽車，乘客當場死亡。這個場景是虛構的，但是凸顯了...
人工智慧 機器學習 深度學習的區別與聯絡
ai，機器學習，深度學習，這些術語使很多人感到困惑。如果您也是其中之一，那麼人工智慧 機器學習 深度學習的區別與聯絡 ai vs machine learning vs deep learning絕對適合您。人工智慧，機器學習與深度學習 人工智慧是機器學習和深度學習應運而生的廣闊領域。您還可以在圖中...
人工智慧，機器學習與深度學習，到底是什麼關係
一 人工智慧 人工智慧 artificial intelligence 英文縮寫為ai。它是研究 開發用於模擬 延伸和擴充套件人的智慧型的理論 方法 技術及應用系統的一門新的技術科學。人工智慧是電腦科學的乙個分支，它企圖了解智慧型的實質，並生產出一種新的能以人類智慧型相似的方式做出反應的智慧型機器，...