神經網路與深度學習(學習筆記一)

2021-09-29 23:48:30 字數 1315 閱讀 7080

圖靈測試:乙個人在不接觸對方的情況下,通過一種特殊的方式,和對

方進行一系列的問答。如果在相當長時間內,他無法根據這些問

題判斷對方是人還是計算機,那麼就可以認為這個計算機是智

能的。當我們最後得到輸出結果時,我們並不清楚其中每個元件的貢獻是多少。這個問題叫做貢獻度分配問題(credit assignment problem,cap)貢獻度分配問題也經常翻譯為信用分配問題或功勞分配問題。

2023年的達特茅斯(dartmouth)會議,john mccarthy提出了人工智慧的定義:人工智慧就是要讓機器的行為看起來就像是人所表現出的智慧型行為一樣。

目前,人工智慧的主要領域大體上可以分為以下幾個方面: 人之一,2023年圖靈獎得主。

感知即模擬人的感知能力,對外部刺激資訊(視覺和語音等)進行感知和加工。主要研究領域包括語音資訊處理和計算機視覺等。

學習即模擬人的學習能力,主要研究如何從樣例或與環境互動中進行學習。主要研究領域包括監督學習、無監督學習和強化學習等。

認知即模擬人的認知能力,主要研究領域包括知識表示、自然語言理解、推理、規劃、決策等。

機器學習(machine learning,ml)是指從有限的觀測資料中學習(或「猜測」)出具有一般性的規律,並利用這些規律對未知資料進行**的方法。 機器學習是人工智慧的乙個重要分支,並逐漸成為推動人工智慧發展的關鍵因素。

為了提高機器學習系統的準確率,我們就需要將輸入資訊轉換為有效的特 徵,或者更一般性稱為表示(representation)。如果有一種演算法可以自動地學習出有效的特徵,並提高最終機器學習模型的效能,那麼這種學習就是可以叫做表示學習(representation learning)。

在機器學習中,我們經常使用兩種方式來表示特徵:區域性表示(local representation)和分布式表示(distributed representation)。

深度學習的資料處理流程

人腦有兩種記憶:長期記憶和短期記憶。短期記憶持續時間

不超過一分鐘。如果乙個經驗重複足夠的次數,此經驗就可儲存在長期記憶中。短期記憶轉化為長期記憶的過程就稱為凝固作用。人腦中的海馬區為大腦結構凝固作用的核心區域。

人工神經網路模型的塑造任何函式的能力大小可以稱為網路容量(network capacity),與可以被儲存在網路中的資訊的複雜度以及數量相關。

書本的組織架構

神經網路與深度學習筆記

1 代價函式 在當前小批量資料中的所有訓練樣本 2 改進神經網路的學習方法 更好的代價函式的選擇 交叉熵代價函式 四種 規範化 方法 l1和l2規範化,棄權和訓練資料的人為擴充套件,讓我們的網路在訓練集之外的資料上更好地泛化。3 在錯誤不是很好地定義時,學習過程會變得很緩慢。但在犯錯時也存在學習緩慢...

神經網路與深度學習(一)

參考 關於權重和偏置的合理解釋 這周開始考慮在基於mp實現一些特定應用的時候,其實我心中是有幾個雛形的,但是涉及到技術細節的時候,還是有些缺乏,所以就想找本書能提供些參考。巧合的是,發現了這本 神經網路與深度學習 正好也是基於python的,有用武之地。本章通過神經網路來識別手寫數字,在這一章中涉及...

神經網路與深度學習(一)

最近學習了andrew ng在網易雲開放的深度學習與神經網路課程,受益匪淺,特來做乙個初學者的總結。其實在學習神經網路之前,掌握基本的機器學習知識很重要,要不學起來還是比較吃力,從監督學習的梯度下降演算法 對後面的學習應用很廣泛 到極大似然估計,從啟用函式的種類與選擇,到損失函式的確定,以及正則化,...