神經網路剖析
訓練神經網路主要圍繞以下四個方面:
據對映為**值。然後損失函式將這些**值與目標進行比較，得到損失值，用於衡量網路預
測值與預期結果的匹配程度。優化器使用這個損失值來更新網路的權重。
層：深度學習的基礎元件
層是乙個資料處理模組，將乙個或多個輸入張量轉換為乙個或多個輸出張量。
有些層是無狀態的，但大多數的層是有狀態的，即層的權重。
權重是利用隨機梯度下降學到的乙個或多個張量，其中包含網路的知識。
不同的張量格式與不同的資料處理型別需要用到不同的層。
簡單的向量資料儲存在形狀為 (samples, features) 的 2d 張量中，通常用密集連線層［ 也
叫全連線層或密集層，對應於 keras 的 dense 類］來處理。
序列資料儲存在形狀為 (samples, timesteps, features) 的 3d 張量中，通常用迴圈
層（ recurrent layer，比如 keras 的 lstm 層）來處理。
影象資料儲存在 4d 張量中，通常用二維卷積層（ keras 的 conv2d）來處理。
模型：層構成的網路
深度學習模型是層構成的有向無環圖。
常見的網路拓撲結構：
1.線性堆疊
2.雙分支（ two-branch）網路
3.多頭（ multihead）網路
4.inception 模組
損失函式（ 目標函式）
在訓練過程中需要將其最小化。它能夠衡量當前任務是否已成功完成。
優化器
決定如何基於損失函式對網路進行更新。它執行的是隨機梯度下降（ sgd）
的某個變體。
如何選擇損失函式
python深度學習讀書筆記 一
機器學習的要素 機器學習和深度學習的核心問題在於有意義的變換資料，換句話說在於學習輸入資料的有用表示 學習指的是尋找更好資料表示的自動搜尋過程 深度學習 學習資料表示的多級方法 1 深度學習的目標 尋找權重引數 2 深度學習的衡量標準 損失函式 3 深度學習的核心演算法 反向傳播演算法 載入kera...
《Python深度學習》讀書筆記（二）
整個深度學習問題可以分為兩類 化繁為簡 給出一堆資料，含有輸入和標籤，讓機器自己去學習到乙個規則，其中包含分類 回歸兩大問題。化簡為繁 如現在給機器一些，讓機器自己學習然後生成一些或者文字，比如訓練集給的是人類平時的對話，讓機器能夠學習生成一些文字或影象等。如 gnn等 首先看一下keras官方提供...
深度學習讀書筆記（1）
欠擬合 模型不能在訓練集上獲得足夠低的誤差 過擬合 訓練誤差和測試誤差之間的差距太大。通過調整模型的容量，可以控制模型是否偏向過擬合或者欠擬合。從預先知道的真實分布p x,y 而出現的誤差被稱為貝葉斯誤差。任何模型容量小於最優容量的固定引數模型會漸進到大於貝葉斯誤差的誤差值。在所有可能的資料生成分布...