這篇文章還不錯，有一些值得繼續思考的地方。
《周志華教授：關於深度學習的一點思考》
hinton 等通過「逐層訓練後聯合微調」來緩解梯度消失，使人們看到訓練深層神經網路是可能的，由此激發了後來的研究，使得深度神經網路得以蓬勃發展。
例如該領域乙個重要技術進步就是用圖 2 右邊的 relu 函式來代替以往常用的 sigmoid 函式，由於前者在零值附近的導數比後者更「平緩」，使得梯度不會因下降得太快而導致梯度消失。
深度學習讀書筆記（1）
欠擬合 模型不能在訓練集上獲得足夠低的誤差 過擬合 訓練誤差和測試誤差之間的差距太大。通過調整模型的容量，可以控制模型是否偏向過擬合或者欠擬合。從預先知道的真實分布p x,y 而出現的誤差被稱為貝葉斯誤差。任何模型容量小於最優容量的固定引數模型會漸進到大於貝葉斯誤差的誤差值。在所有可能的資料生成分布...
python深度學習讀書筆記 一
機器學習的要素 機器學習和深度學習的核心問題在於有意義的變換資料，換句話說在於學習輸入資料的有用表示 學習指的是尋找更好資料表示的自動搜尋過程 深度學習 學習資料表示的多級方法 1 深度學習的目標 尋找權重引數 2 深度學習的衡量標準 損失函式 3 深度學習的核心演算法 反向傳播演算法 載入kera...
《Python深度學習》讀書筆記（二）
整個深度學習問題可以分為兩類 化繁為簡 給出一堆資料，含有輸入和標籤，讓機器自己去學習到乙個規則，其中包含分類 回歸兩大問題。化簡為繁 如現在給機器一些，讓機器自己學習然後生成一些或者文字，比如訓練集給的是人類平時的對話，讓機器能夠學習生成一些文字或影象等。如 gnn等 首先看一下keras官方提供...