損失函式（loss function）是用來估量模型的**值(我們例子中的output)與真實值（例子中的y_train）的不一致程度，它是乙個非負實值函式，損失函式越小，模型的魯棒性就越好。我們訓練模型的過程，就是通過不斷的迭代計算，使用梯度下降的優化演算法，使得損失函式越來越小。損失函式越小就表示演算法達到意義上的最優。這裡有乙個重點：因為pytorch是使用mini-batch來進行計算的，所以損失函式的計算出來的結果已經對mini-batch取了平均。
pytorch 常見的損失函式
欠擬合：
過擬合 ：
正則化：
利用正則化來解決high variance 的問題，正則化是在 cost function 中加入一項正則化項，懲罰模型的複雜度，這裡我們簡單的介紹一下正則化的概念。
l1正則化和l2正則化
l2正則化具有唯一性 l1正則化沒有唯一性
l1正則化易懂
l1損失函式基礎上加上權重引數的絕對值 l2損失函式基礎上加上權重引數的平方和
l1正則化就是在 loss function 後面加上l1範數，這樣比較容易求到稀疏解。l2 正則化是在 lf 後面加 l2範數 平方，相比l1正則來說，得到的解比較平滑（不是稀疏），但是同樣能夠保證解中接近於0（不等0）的維度比較多，降低模型的複雜度。
pytorch 深度學習
pytorch深度學習實踐 訓練集 開發集 模型評估 測試集。f x wx b f x wx b f x w x bloss 乙個樣本 cost mean square error training set 區域性最優，不一定全域性最優。鞍點 梯度為0，但無法繼續迭代。w w c ost ww w ...
深度學習 安裝pytorch
1 官網 2 cmd中執行 注意 直接複製run this command 裡面的安裝 注意 把pip3的3刪除 第一步 pip install i 第二步 pip install torchvision 注意 第一步和第二步可以合併為pip install i torchvision 3 安裝技巧...
PyTorch 深度學習 筆記
方差 偏差 線性回歸來確定兩種或兩種以上變數間相互依賴的定量關係。線性回歸對於輸入x和輸出y有乙個對映 類似ax b 而我們是訓練a b這兩個引數。以下 使用pytorch建立乙個線性的模型來對其進行擬合，即訓練過程。def linear ex x np.random.rand 256 noise ...