模型分類問題主要包含二分類和多分類兩種場景。
1、二分類為什麼會採用sigmoid啟用函式
模型在實際輸出時值可能不在【0,1】區間，我們需要把模型的輸出對映到【0,1】區間。
二分類問題需要採用邏輯回歸的思路解決問題。原因是邏輯回歸服從0-1分布,即 p(y=1|x) = p(x) p(y=0|x)=1-p(x) 我們希望模型**輸出p(x) 越大越接近1越好。非常巧妙把兩個公式整合在一起，l=p(x)^y(1-p(x))^(1-y)。這個公式被叫做
最大似然函式。因此二分類問題採用的損失函式為 -log(p(x)^y(1-p(x))^(1-y)) 。
2、為什麼分類問題的損失函式採用交叉熵損失函式而不是mse損失函式。
具體參考
3、多分類問題
當多個類別不是互斥關係，可以採用對每個類別進行邏輯回歸的方式。
當多個類別是互斥關係是，可以採用softmax啟用函式。
深度學習模型訓練基本步驟
原文 這裡 一.資料預處理 二.將資料輸入神經網路 每個神經元先輸入值加權累加再輸入啟用函式作為該神經元的輸出值 正向傳播，得到得分 三.將 得分 輸入誤差函式loss function 正則化懲罰，防止過度擬合 與期待值比較得到誤差，多個則為和，通過誤差判斷識別程度 損失值越小越好 四.通過反向傳...
深度學習模型訓練小技巧
這篇文章主要介紹一些在深度學習模型訓練時的一些小技巧。warmup可以理解為預熱 熱身的意思，它的思想是一開始以較小的學習率去更新引數，然後逐步提高學習率。這樣的好處是 有助於減緩模型在初始階段對mini batch的提前過擬合現象，保持分布的平穩 有助於保持模型深層的穩定性。線性warmup nu...
機器學習之分類學習（模型訓練）
完成資料的預處理，接下進入分類學習中的重點 模型訓練。在前面我們得到了一批資料，現在我們需要從中提取出一部分資料作為我們訓練的資料，當然我們也可以把全部的資料作為我們訓練的資料，但是如果我們把全部的資料都拿來作為訓練就沒有資料來測試我們模型的效能了，因為訓練資料和測試資料不能重疊，不然就是作弊了，這...