2023年5月28日晚上8點40
對之前內容乙個零碎的後續
書中嘗試了一組引數為 隱藏層神經元30個，學習迭代期為30，小批量資料大小為10，學習速率η=3.0的網路
識別率的峰值為95.42%，但是我們要注意的是我們在一直按照這組引數做實驗訓練網路也不一定能得到相同的結果，因為我們使用的是隨即權重和偏置來初始化我們的網路，後面的訓練過程就可能會有所出入。
之後我們再吃嘗試隱藏層神經元數量為100個，其餘引數不變，這樣最後的結果提公升到了96.59%。只是從這兩組實驗相比，我們可以認為更多的隱藏層神經元可以使得網路有更好的結果。
在之後我們嘗試調整了我們的學習效率η=0.001，我們得到的結果是
第1次迭代 1139/10000
第2次迭代 1136/10000
第3次迭代 1135/10000
。。。第28次迭代 2101/10000
第29次迭代 2123/10000
第30次迭代 2142/10000
看上去效果並不十分理想，但是我們也可以看出，隨著迭代次數的增加，是別的效果也逐漸變好了。這表明我們應該增大我們的學習效率。可以嘗試η=1.0或者之前實驗的引數3.0。
我們繼續嘗試再增大啊=學習效率η=100.0。我們得到了以下的結果
第1次迭代 1009/10000
第2次迭代 1009/10000
第3次迭代 1009/10000
。。。第28次迭代 982/10000
第29次迭代 982/10000
第30次迭代 982/10000
這樣看效果也不理想，我們的的學習效率太高了。但是如果我們第一次如果遇到這種問題，並不意味著這就是因為學習效率的問題，我們應當想到，我們是否使用到了難以學習的初始化權重和偏置？沒有足夠的資料進行有意義的學習？沒有使用足夠的迭代期？網路的結構不適合解決當前的問題。這些都是值得我們思考的。
反向傳播演算法
下面書中介紹了一種快速計算梯度的演算法——反向傳播演算法。
首先給出網路中權重的清晰定義，
表示從第(l-1)層的第k個神經元到第l層的第j個神經元的連線上的權重
我們用第l層的第j個神經元的啟用值表示為
對於上面的公式我們有個簡潔的向量形式，如下：
其中各個向量從左到右分別表示第l層的啟用值（輸出），第l層的權重向量，第(l-1)層的啟用值（輸入），第l層的偏置向量。σ函式又被稱作向量化函式。
上面的公式是σ函式的一部分，這部分也可以稱作第l層神經元的帶權輸出。
下面說一下關於代價函式的兩個假設
反向傳播的目的就是計算代價函式c的關於權重ω和偏置b的偏導數
我們複習一下二次代價函式的形式：
n為訓練樣本的數量，求和運算遍歷了每乙個訓練樣本x，y=y(x)是對應的目標輸出；l表示網路的層數，al(x)為輸入為x時網路輸出的啟用值向量。
第乙個假設就是：代價函式可以被寫成乙個在每個訓練樣本x上的代價函式cx的均值
其中
第二個假設就是代價可以寫成神功網路輸出的函式：
因為
這是輸出的啟用值函式，也是乙個依賴於目標輸出y的函式。
神經網路與深度學習筆記
1 代價函式 在當前小批量資料中的所有訓練樣本 2 改進神經網路的學習方法 更好的代價函式的選擇 交叉熵代價函式 四種 規範化 方法 l1和l2規範化，棄權和訓練資料的人為擴充套件，讓我們的網路在訓練集之外的資料上更好地泛化。3 在錯誤不是很好地定義時，學習過程會變得很緩慢。但在犯錯時也存在學習緩慢...
深度學習 神經網路筆記
rnn 遞迴神經網路 一 神經網路的種類 基礎神經網路 單層感知機，執行緒神經網路，bp神經網路，hopfield神經網路等 高階神經網路 玻爾茲曼機，受限玻爾茲曼機，遞迴神經網路等 深度神經網路 深度置信網路，卷積神經網路，迴圈神經網路，lstm聖經網路等 一 感知機 svm 有n個輸入資料，通過...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...