對於無約束優化問題，一般是採用迭代法進行計算，其標準格式為：
x(k+1)=x(k)+a*s 其中a稱作步長，s稱作方向。步長a一般可以通過一維不精確線搜尋（armijo準則）計算，而根據方向s選擇的不同，無約束優化問題一般有最速下降法、bfgs、共軛梯度法，牛頓及擬牛頓法等等，今天只講最速下降法。
最速下降法的前進方向是目標函式f(x)的負梯度方向。其c語言**如下：
// zhuxu12-4.cpp : 定義控制台應用程式的入口點。
//float fun(float x, float y)
void gfun(float x, float y, float& g1, float& g2)
float min(float a, float b)
return i;
}int main(int argc, char* argv)
printf(「最優解是：x=%f,y=%f\n」, x,y);
return 0;
}
機器學習 最速下降法和牛頓下降法
入門教材常用二分法來求解實數求根的問題。我們現在來用普通迭代法 下降法來求解實數開立方根的問題。設當前實數為n，求根次數為k，根為s,那麼有s k n。所得偏差函式為f s s k n。顯然當代價函式f s 0時，我們便求出了n的k次根。現在我們開立方根，那麼k 3，代價函式為f s s 3 n。普...
最速下降法 and 共軛梯度法
註明 程式中呼叫的函式jintuifa.m golddiv.m我在之前的筆記中已貼出 最速下降法 最速下降法求解f 1 2 x1 x1 9 2 x2 x2的最小值，起始點為x0 9 1 演算法根據最優化方法 天津大學出版社 97頁演算法3.2.1編寫 v1.0 author liuxi bit fo...
最速下降法與Newton法
乙個簡單的最優化問題如下 在二維空間上尋找函式的最大值。一般我們常見的解析法，是求導，得極值點。這裡不再討論。很多情況下解析法很難求解，常會用到一種迭代慢慢逼近的方法，就是迭代法。如下圖。迭代法由乙個基本的可行點出發，依次產生乙個可行點列，x1,x2,xk，f xk 1 迭代法基本步驟如下 1.乙個...