學習函式的優化策略
**斯坦福cs231n第三講課程（優化部分）
1.梯度下降策略的公式與描述（sgd, adam）
使用有限差分法計算會很複雜、很慢，w很可能是成千上萬維的
使用微積分計算就會很方便，直接寫出梯度的表示式，只要計算乙個公式就可以了。
數值梯度不好用，解析梯度好用
但是數值梯度是很好的除錯工具，梯度檢查就是使用數值梯度作為單元測試來檢測解析梯度的正確性
步長是乙個超引數，其也叫做學習率，訓練網路時是第乙個要檢查的超引數，其他的比如模型的大小以及正則化會晚點再做
我們定義資料的損失值是所有訓練集損失值的平均值，但實際上n會很大，那麼計算該損失值的計算成本會很高，需要很長一段時間來跟新w。所以實際操作中我們往往使用隨機梯度下降法，它並非計算整個訓練集的誤差和梯度值。而是在每次迭代時選取一小部分訓練樣本成為minibatch(小批量)，利用minibatch來估算誤差總和以及實際梯度。每次迭代minibatch都是隨機選取的。
2.影象識別兩步走策略的步驟 ，輸入影象特徵的動機
線性分類器就是將影象的原始畫素取出，然後直接傳入線性分類器，但是這樣做效果並不好，所以在深度神經網路大規模運用之前，常用的方法就是首先計算原始的各種特徵代表，比如說是可能與形象有關的數值，然後將不同的特徵向量組合到一起，得到影象的特徵表述，最後將這一特徵表述傳入到線性分類器，而不是將原始畫素傳入到線性分類器。
這樣做的動機就是
對於左側的點的分布不能用乙個線性決策邊界來劃分點的種類。但是我們採用乙個特徵轉換（此處使用極座標轉換），得到乙個轉換特徵，就可以把乙個複雜的資料集轉化成線性可分的。
3.常見的影象特徵有哪些，任意選擇兩個進行描述（複習hog與sift）
顏色直方圖，獲取每個畫素值對應的光譜，計算每個畫素點出現的次數，從全域性上告訴我們影象中的有哪些顏色
方向梯度直方圖，將影象按八個畫素區分為八份，計算每個畫素值的主要邊緣方向。
詞袋，首先獲得一推影象，然後從這些影象中進行小的隨機塊的取樣，然後採用k均值等方法將他們聚合成簇，從而得到不同的簇中心，這些簇中心可能代表了影象中不同型別的視覺單詞
這些視覺單詞就像乙個碼本，用這些視覺單詞對影象進行編碼，看這些視覺單詞在影象**現過多少次
4.傳統方式與神經網路處理影象問題有哪些不同點
神經網路不需要提前對影象提取特徵，而是直接從影象中學習特徵。
優化方法是用來獲取最好的w
影象分類：先提取影象的特徵，然後進行模型的學習，最後用訓練好的分類對特徵進行分類。
cs231n筆記總結
cs231n的課程以及作業都完成的差不多了，後續的課程更多的涉及到卷積神經網路的各個子方向了，比如語義分割 目標檢測 定位 視覺化 遷移學習 模型壓縮等等。assignment3有涉及到這些中的一部分，但需要深入了解的話還是得看 了。所以在看 前把之前已學的知識，筆記和作業 一起做個整理。部落格裡主...
CS231n理解筆記
linear classification notes 該方法的組成 乙個是評分函式 原始影象資料到類別分值的對映 乙個是損失函式 用來量化 分類標籤的得分和真實標籤之間的一致性。影象分類的任務是從已有的固定分類標籤中選擇乙個並分配一張影象，我們介紹了knn分類器，該分類器的基本思想是通過將測試影象...
CS231n官方筆記的鏈結整理
cs231n的全稱是cs231n convolutional neural networks for visual recognition，即面向視覺識別的卷積神經網路。該課程是史丹福大學計算機視覺實驗室推出的課程。需要注意的是，目前大家說cs231n，大都指的是2016年冬季學期 一月到三月 的最...