新教程內容太繁複，有空再看看，這節看的還是老教程：
之前討論的神經網路是在有監督的學習中的應用，而自編碼神經網路是一種無監督的學習演算法。它的特點是使用了bp，並且把輸入值當作目標值。
當隱藏層單元的個數小於輸入的個數時，相當於完成了降維，而當輸出時，又相當於重新恢復。
為了給隱藏單元加入稀疏性限制，可限制隱藏單元的平均活躍度，讓其接近於0：
在優化目標函式時，可通過加入懲罰項來對其進行限制（類似於防止過擬合的方法）：
裡面的那個式子叫相對熵，它的性質如圖所示：在兩變數相等時值最小為0；隨著兩變數差異變大值也遞增。因此，
最小化這一懲罰因子具有使得
總體代價函式可如下所示：
結合前面的後向傳播演算法，第二層的殘差可替換為：
關於替換的推導，可參考：
關於自編碼和稀疏編碼，可參考：以及
UFLDL之棧式自編碼
參考資料 ufldl教程及tornadomeet的部落格 個人 github位址 在自我學習的章節中，結合自編碼特徵提取與有監督的模型訓練來 資料的標籤。假設使用的有監督模型是logistic classifier，則全部的結構圖如下 將輸入 x 對映到特徵層啟用量 a 的權值網路為 w 是由全部資...
自編碼演算法
自編碼神經網路是一種無監督學習演算法，它使用了反向傳播演算法，並讓目標值等於輸入值，它是一種盡可能復現輸入訊號的神經網路。為了實現這種復現，自動編碼器就必須捕捉可以代表輸入資料的最重要的因素，就像pca那樣，找到可以代表原資訊的主要成分。一 autoencoder演算法的思路 1 給定無標籤資料，用...
自編碼與變分自編碼
神經網路的本質是資訊壓縮特徵提取，神經網路公式h w x 做內積，所以神經網路是個相關性判斷 研究ai頂級公司研究損失。無監督學習是在沒有資料標籤的情況下，尋找資料特徵。但是無監督學習的標籤是自身，自監督學習，是無監督學習的一種特殊情況，他是將資料切分n塊，然後用各個塊來 其他塊。弱監督學習，是將無...