1.最優化問題的數學模型
f(x) 是目標函式，圖中最優化問題就是求解f(x)的極小值（此處的min的意義不是最小值）。
s.t. 是 「subject to " subject有受限制的的意思，加上乙個to就是 受限制於。。。的意思。也就是函式f(x)的定義域受限制於以下函式。
ci(x)是約束函式。
rn表示乙個n維向量空間，裡面的元素是乙個n維列向量，其實4維以上的空間都可以看成是三維空間，只不過是點的分量增多了。
值得一提的就是求f(x)的最大值，可以用min(-f(x))來求，因為只有當f(x)取極大值的時候， -f(x)才會極小。
圖中標記的1式叫做等式約束，因為該種約束函式是等式。2式是不等式約束，因為該種約束是不等式。
最優化方法
1無約束約束方法 梯度下降 求解線性回歸，有明確的目標函式。利用目標函式的梯度來更新引數，使用最小二乘時，用loss的梯度更新。範數為2的最速下降。牛頓法 目標函式已知，用泰勒展開的近似作為近似解，把近似值帶入目標函式求出近似的引數作為更新值。由於捨棄了泰勒公式的高階項，新的引數值會更接近真實解。在...
最優化筆記
最優化筆記 上 尋找能使損失函式值最小化引數w的過程。評分函式 基於引數的函式對映 損失函式 svm為分段性結構 最優化 後兩者形式較穩定 對於svm分類器來說，由於max操作，損失函式存在一些不可導點，這些點使得損失函式不可微，梯度是沒有定義的，但次梯度依然存在且常常被使用。假設x train的每...
機器學習筆記 數值最優化 1 最優化條件
方向導數 設x k是經k 步迭代後 得到的迭 代點，d k是xk 在xk使 f x 下降的方 向，k 0是 沿k的步 長,則第 k 1個 迭代待是 xk 1 x k k dk滿足 f xk 1 f xk 終止準則 f xk 1 f x k 足夠小 設 當前點為xk 搜尋方向是dk 視為 的 函式 h...