深度學習的五個能力級別 深度學習

2021-07-25 03:36:26 字數 1312 閱讀 9986

arend hintze寫了一篇很好的短文,叫《理解ai的四種型別》,分別是反應機器(reactive machine)、有限的記憶(limited memory)、思維理論(theory of mind)、自我意識(self-awareness)。

這種分模擬把人工智慧分成「狹義」和「通用」要好很多,它試圖把狹義ai分成3類。開發者可以通過更多的概念來區分各種不同ai實現。藉此機會,我想針對深度學習領域提出更加細緻的分類,這樣,開發者就可以清楚地知道自己目前所處的位置。

下面具體闡述一下深度學習能力的五個分類。

c級別作者的定義是classification only,可以理解為只能做分類。涉及到的系統包含全鏈結神經網路(fcn)、卷積網路(cnn)以及它們的各種組合。這些系統採用高維向量作為輸入並實現單個結果,通常是輸入向量的乙個分類。你可以把這些系統當作是無狀態函式,這意味著當前的行為僅僅是輸入的乙個函式。生成模型也是熱門研究領域中的一員,也歸於此類。簡而言之,這些系統本身都是相當有能力的。

cm是classification with memory的縮寫,理解成在分類的基礎之上進行記憶。該級別包括與c級網路合併的儲存器元件,例如lstm,其中儲存器單元被嵌入在lstm節點內部。其它變體則是來自deepmind的神經圖靈機(nmt)和可微分神經計算機(dnc),它們在計算時都處於維護狀態。

ck即是classification with knowledge的縮寫,即可以形成自己的知識系統。該級別與cm級別有點類似,但並不是原始儲存器,c級網路能夠訪問的資訊是符號知識庫。實際上,我發現了三種符號整合,一種是轉移學習方法、一種是自上而下方法、最後一種是自下而上的方法。第一種主要是作為正則化矩陣的符號系統;第二種方法處於層次結構的頂部,具有在底部由神經表示構成的符號元素;最後一種則與第二種方法相反,其中c級網路實際上被附加在了符號知識庫上。

cik是classification with imperfect knowledge縮寫,可以對不完整的知識庫進行分類。該級別系統建立在ck之上,但是能對不完整資訊進行推理。該級別的典型例子是alphago和撲克系統,這些系統可以通過對自身模擬來訓練自己。

ccik的全稱是collaborative classification with imperfect knowledge,即可以對不完整的知識庫進行分類並且可以互相協作。這個級別與「心理理論」非常類似,實際上,我們有多種**神經網路組合來解決問題,這些系統旨在實現多個目標。實際上,我們在對抗網路上做過這個原始版本,通過執行泛化的競爭鑑別器和生成網路將這個概念進一步擴充套件到遊戲理論驅動的網路,能夠執行戰略和戰術解決多個目標。

每個級別都有其不同的功能產生,例如,c級系統只能夠**anti-causal關係,cm擁有非常好的翻譯能力,cik級別系統能夠進行戰略遊戲。

深度學習 Pytorch學習筆記(五)

pytorch實現卷積神經網路 執行效率相對於keras慢太多 import torch import warnings import torchvision from torchvision.datasets import mnist from torch.utils.data import da...

深度學習介紹(五)pooling

在通過卷積獲得了特徵 features 之後,下一步我們希望利用這些特徵去做分類。理論上講,人們可以用所有提取得到的特徵去訓練分類器,例如 softmax 分類器,但這樣做面臨計算量的挑戰。例如 對於乙個 96x96 畫素的影象,假設我們已經學習得到了400個定義在8x8輸入上的特徵 即400個fe...

深度學習(一)深度學習的概念

深度學習是機器學習與神經網路 人工智慧 圖形化建模 優化 模式識別和訊號處理等技術融合後產生的乙個領域。深度學習網路是神經網路革命性的發展,人們甚至認為可以用它來建立更加強大的 模型。深度學習使用多層機器學習模型對資料進行有監督學習或無監督學習。模型中的不同層由非線性資料變換的多個階段組成,資料的特...