1. 座標下降法
coordinate descent method
對於乙個最優化問題：min_x f(x_1,x_2,...x_n)，其求解過程如下：
loop until convergence:
for i=1:n
x_i = arg min_x_i f(x_1,x_2,...,x_i-1,x_i,x_i+1,...,x_n);
可以看出：
（1）座標下降法在每次迭代中在當前點處沿乙個座標方向進行一維搜尋 ，固定其他的座標方向，找到乙個函式的區域性極小值。
（2）座標下降優化方法是一種非梯度優化演算法。在整個過程中依次迴圈使用不同的座標方向進行迭代，乙個週期的一維搜尋迭代過程相當於乙個梯度迭代。
（3）gradient descent 方法是利用目標函式的導數（梯度）來確定搜尋方向的，該梯度方向可能不與任何座標軸平行。而coordinate descent方法是利用當前座標方向進行搜尋，不需要求目標函式的導數，只按照某一座標方向進行搜尋最小值。
此種演算法，在latensvm-dpm中有使用。
2. 牛頓法
3. 梯度下降法
最優化方法
1無約束約束方法 梯度下降 求解線性回歸，有明確的目標函式。利用目標函式的梯度來更新引數，使用最小二乘時，用loss的梯度更新。範數為2的最速下降。牛頓法 目標函式已知，用泰勒展開的近似作為近似解，把近似值帶入目標函式求出近似的引數作為更新值。由於捨棄了泰勒公式的高階項，新的引數值會更接近真實解。在...
機器學習總結（四） 最優化方法
機器學習中所謂的訓練其實就是損失函式的優化過程，求損失函式的最優化解，主要是得靠一些常規套路，去一點一點地接近最優化目標。常用的有梯度下降法 牛頓法和擬牛頓法 共軛梯度法 啟發式優化方法 拉格朗日乘數法等。一 梯度下降法 gradient descent 梯度下降法實現的原理簡單，是最常用最簡單的最...
最優化方法 概述
乙個簡單的問題描述如下 周長一定，圍成怎樣的形狀能使得面積最大。西元前212 187年，古希臘數學家阿基公尺德 archimedes 就曾證明了已知周長，圓所包圍的面積最大的等周問題。這算是乙個基本的最優化問題。最優化方法定義 應用數學的重要研究領域。它是研究在給定約束之下如何尋求某些因素 的量 以...