感謝蔡超老師的講授，給予了我很大的啟發～
svm是我最初學習的分類器之一，svm線性分類器求解過程的推導還是十分優美的～
使用了拉格朗日乘子法；
（具體的推導過程可以參考蔡超老師講授的ppt）
這是因為在數值分析法求解的過程中，需要計算矩陣或者張量
在進行這個運算時，會涉及到所有的樣本值，而在目標檢測中，輸入影象一般都是高維張量，
我們幾乎是不可能將所有樣本同時輸入記憶體進行計算的，現有的硬體無法滿足這樣的要求；
於是，為了解決這個問題，我們採用了另一種巧妙的pratical的策略——隨機梯度下降法（sgd）；
深度學習 最優化隨記
計算流程圖中的方向叫前向傳播。通過反向傳播來優化權重。batchsize批處理的大小一般是2的整數倍 32,64,128 64和128居多。乙個epoch值表示迭代一輪全部資料。一次迭代表示跑完乙個batchsize資料。圖中的loss出現上下浮動是非常正常的。通常情況下需要看第1萬次，2萬次，3萬...
深度學習入門課程學習筆記05 最優化問題
通過對之前課程的學習，我們已經能夠對於乙個輸入資料得出它的最終的乙個loss值，那麼下面就該咱們如何去找到乙個最優的引數矩陣，使得最終的loss值達到乙個最小的範圍。這就引入了咱們的最優化問題。下面咱們通過幾種解決方案來詳細討論如何處理這個最優化的問題 首先咱們就算不經過大腦思考也能得出一種方法，我...
最優化和深度學習的區別
如今訓練神經網路最常見的方法是使用梯度下降或 adam 等變種。梯度下降是尋找函式極小值的迭代優化演算法。簡單的說，在最優化問題中，我們對某個度量 p 感興趣，想找到乙個在某些資料 或分布 d上最大化 或最小化 該度量的函式 或函式的引數 這聽起來就像是機器學習或深度學習。我們有一些指標，例如準確率...