教材：bernard widrow等著的自適應訊號處理
牛頓法：(一步迭代，不符合實際，但對理論分析大有裨益)
最重要的是相關矩陣，以及從普通座標系到平移座標系最後到主軸座標系的過渡。
理清楚什麼是學習曲線，效能曲面，以及最重要的權值更新公式！然後推導效能，計算步長取值。
w(k+1) = w(k)-μ×
r−1×
∇ ，
μ 為步長
最速下降法：（實踐相較於牛頓法用的多）
重要的點差不多，但總體是和牛頓法是比較起來學習的
w(k+1) = w(k)-μ×
∇ 可以看出來，權值更新公式和牛頓法比較而言就在於相關矩陣的逆的有無，牛頓法（在二次型效能表面中）之所以能夠一次學到最佳權就是因為理論上通過相關矩陣r將學習方向對準了最佳權，但實際不常用的原因，第一，輸入訊號都是測量值x，也就是說，不可混免的代入雜訊！因此相關矩陣也只能是估計出來的，這樣實際權值調整的時候不可能一步到位。而最速下降法，嚴格依照梯度下降的方向進行，更易於操作。
lms演算法:（實用）
最速下降法的精簡版本，只採一次樣作為當前估計，理論證明，lms演算法確實收斂（略）。
總體推導還是從效能表面出發，中心思想比較簡單，就是權值更新，重點在梯度。
書後部分習題結果圖
詳細**參考資源:
擬牛頓法與最速下降法
擬牛頓法是求解非線性優化問題最有效的方法之一。dfp bfgs l bfgs演算法都是重要的擬牛頓法。對f x 在xn附近做一階泰勒展開 f x f xn f xn x xn 假設xn 1是該方程的根 那麼就得到 xn 1 xn f xn f xn 通過不斷迭代從而得到真正的函式的根x 即是對一階導...
機器學習 最速下降法和牛頓下降法
入門教材常用二分法來求解實數求根的問題。我們現在來用普通迭代法 下降法來求解實數開立方根的問題。設當前實數為n，求根次數為k，根為s,那麼有s k n。所得偏差函式為f s s k n。顯然當代價函式f s 0時，我們便求出了n的k次根。現在我們開立方根，那麼k 3，代價函式為f s s 3 n。普...
最速下降法 and 共軛梯度法
註明 程式中呼叫的函式jintuifa.m golddiv.m我在之前的筆記中已貼出 最速下降法 最速下降法求解f 1 2 x1 x1 9 2 x2 x2的最小值，起始點為x0 9 1 演算法根據最優化方法 天津大學出版社 97頁演算法3.2.1編寫 v1.0 author liuxi bit fo...