討論尋找凸路徑時可能會遇到的臨界點。
1 臨界點型別：
為了最小化函式
當梯度等於0的時候，該點為臨界點，也就是區域性最優解，對於強凸函式，也就是全域性最小點。
對於非凸函式，例如
為了區分這種情況，需要考慮二階導數，
2 如何優化演算法避開鞍點：
因為大多數自然目標函式都有指數級的鞍點。
許多學習問題都可以被抽象為尋找k 個不同的分量（比如特徵，中心）。例如在聚類問題中，有n個點，我們要尋找k個簇，使得各個點離它們最近的簇的距離之和最小，又如在乙個兩層的神經網路中，我們試圖在中間尋找乙個含有k個不同神經元的網路。
最流行的方法是設計乙個目標函式： 設x1，x2，...,xk
3 避開鞍點
3.1 優化函式在鞍點處也要向最優解前進，最簡單的方法是二階泰勒展開式。
3.2 一階方法避開鞍點： 一階導數在鞍點為0，非常不穩定，為了 形式化這種直覺，我們嘗試使用乙個帶有雜訊嗯但梯度下降法，
這裡的計算雜訊梯度通常比計算真正的梯度更加省時，雜訊並不會干擾凸優化的收斂，反而有助於收斂。
3.3 複雜鞍點：
非凸函式的外形更加複雜，含有退化鞍點(hessian 矩陣是半正定的，有0 特徵值，這種退化結構往往展示了乙個更為複雜的鞍點)
提出了一種演算法可以處理這些退化的鞍點。
深度學習複習
1.深度學習的那些大牛們 2.全連線網路 第4章 需要掌握的知識 重點 ppt week08神經網路入門.pdf 或 python神經網路程式設計高畫質版.pdf 前向傳播過程 在神經網路中，資訊從上乙個神經元直接流轉到下乙個神經元，直到輸出，依據每乙個神經元的輸入並根據相應規則可以計算出輸出，最終...
《動手學深度學習》 深度學習基礎複習
交叉熵只關心對正確類別的 概率，因為只要其值足夠大，就可以確保分類結果正確，而平方損失則過於嚴格，例如y i 1 y i 2 0比y i 1 0,y i 2 0.4的損失要小很多，雖然兩者都有同樣正確的分類 結果。正則化通過為模型損失函式新增懲罰項使學出的模型引數值較小，是應對過擬合的常用手段。權重...
點雲深度學習
參考部落格 研究背景 我們周圍的世界是三維，三維研究可以讓機器更好地感知周圍環境。有效的三維特徵表示是實現點雲配準 三維模型重建 三維形狀檢索 場景語義分割等視覺任務的基礎。三維資料表示 point cloud polygonal meshes volumetric multi view image...