1.損失函式(loss function):用於評價分類器表現，變數為**值和實際值（判斷**結果）
multiclass svm loss function:
考慮第i張，xi為其畫素值，yi為其標籤，s為其分類結（是乙個向量，
我們將所有的非目標類別的值與分別與目標類別的值做差，如果結果大於一定值（這裡是-1），則意味著這個結果是需要改進的，就把他加入到損失函式中。
否則則是可以接受的，其損失為0。累加所有的這些損失，可以得到分類器對於這一張的總損失。
換句話說，如果syi的值要至少比非目標類別的值高出1（正確類別的分類結果要大於錯誤類別一定值，才認為是正確的分類），才認為這一類別的損失為0。
ps:hinge loss：max(0,f(x)) margin:1
損失函式的目的是給不同的錯誤類別以不同的權重係數（更關心什麼樣的錯誤），從而在優化分類器的過程中能夠更好的去解決我們需要的問題。
2.正則化（regularization）：約束可調引數的複雜程度，作為懲罰項（penalty）防止過擬合
正則化超引數（regularization hyper-parameter）
l2正則化：各引數平方和（l2範數）
l1正則化：各引數絕對值之和（l1範數）
elastic net：l1,l2的線性組合
最大正則化：l0範數:統計零項和非零項的個數
dropout, batch normalization, stochastic depth...
3.softmax classifier(multinomial logistic regression)
將各個類別的值按概率密度重新分配，考慮類別與類別之間的相對大小關係。
4.優化 optimization
梯度：numerical gradient: 可以用於測試，但不適於魔性訓練
analytic gradient：微積分求導
梯度下降：讓引數沿著梯度減小的方向進行迭代：weights += -step_size*weights_gradient
高階梯度下降：動量和adam優化器
隨機梯度下降：從全體樣本中取出一小批計算梯度，作為整體梯度的估計值以減小運算量
5.特徵
（1）顏色直方圖 color histogram
（2）方向梯度特徵，hog特徵
（3）詞袋：bag of words: 對影象進行小塊的隨機取樣，然後用k-means進行聚類以獲得類中心作為words
CS231n 學習筆記（五）
注意 在計算機上計算梯度的乙個簡單方法是有限差分法 迭代計算所有w維度，一直重複下去直到計算完dw。這種方法是數值梯度法，過程非常慢。實際上，我們會使用另一種分析梯度法，提前計算出梯度的表示式 除錯策略 使用數值梯度作為單元測試來確保解析梯度是正確的 梯度下降演算法 注意 隨機梯度下降 之前我們定義...
cs231n筆記總結
cs231n的課程以及作業都完成的差不多了，後續的課程更多的涉及到卷積神經網路的各個子方向了，比如語義分割 目標檢測 定位 視覺化 遷移學習 模型壓縮等等。assignment3有涉及到這些中的一部分，但需要深入了解的話還是得看 了。所以在看 前把之前已學的知識，筆記和作業 一起做個整理。部落格裡主...
CS231n理解筆記
linear classification notes 該方法的組成 乙個是評分函式 原始影象資料到類別分值的對映 乙個是損失函式 用來量化 分類標籤的得分和真實標籤之間的一致性。影象分類的任務是從已有的固定分類標籤中選擇乙個並分配一張影象，我們介紹了knn分類器，該分類器的基本思想是通過將測試影象...