最優化理論與方法知識點總結 1
一、最優化簡介： 2
1.1最優化應用舉例 2
1.2基本概念 2
1.3向量範數 3
1.4矩陣範數 3
1.5極限的定義 3
1.6方向導數存在性和計算公式 4
1.7梯度定義 4
1.8海塞矩陣 5
1.9泰勒展開式： 5
1.10凸集定義 5
1.11凸集性質 5
1.12凸函式定義 6
1.13凸函式判斷 6
1.14矩陣正定與半正定判斷 6
1.15例題（判斷矩陣是否正定） 7
1.16凸優化 7
二、線性規劃 7
2.1線性規劃數學模型的一般形式 7
2.2解的基本定理 7
2.3解的分類 8
2.4**法 8
2.5例題（**法） 8
2.6標準型的化法 9
2.7例題（化為標準型） 9
2.8單純形法 10
2.9例題（單純形法） 11
三、對偶線性規劃 13
3.1對偶問題 13
3.2單純形法解對偶問題 13
3.3對偶單純形法求解線性規劃問題過程 14
四、無約束優化 14
4.1無約束優化概述 14
4.2搜尋區間的確定 15
4.3區間消去法原理 16
4.4**分割法 17
4.5插值方法 17
4.6常見的終止準則 19
4.7最速下降法 20
4.8牛頓類方法 20
4.9例題（牛頓類方法） 21
已有知識點+例題詳解
方向導數與梯度
向量範數和矩陣範數
最優化複習要點
i.必要時需要引入鬆弛變數mi nz c txs.t.ax bx 0 ii.退化b 1b 0 基變數的取值全為正 右邊係數全正 i.典式 ii.單純形表 初始基可行解 初始單純形表 非基變數入基 選取最合適的xk 遵循兩個原則 最大 最小 初等行變換 iii.大m法 2個重點 原問題min 對偶問題...
最優化方法
1無約束約束方法 梯度下降 求解線性回歸，有明確的目標函式。利用目標函式的梯度來更新引數，使用最小二乘時，用loss的梯度更新。範數為2的最速下降。牛頓法 目標函式已知，用泰勒展開的近似作為近似解，把近似值帶入目標函式求出近似的引數作為更新值。由於捨棄了泰勒公式的高階項，新的引數值會更接近真實解。在...
複習筆記 最優化方法 2 線性規劃
線性規劃問題的解 1.lp 是乙個凸規劃 2.基矩陣 3.由 基矩陣 發展而來的其他概念 4.基解 可行解是指滿足條件，基本解是指基矩陣對應的解，兩者同時滿足為基本可行解 定理 1 基可行解對應的a的列向量線性無關 定理 2 可行解是基可行解 x是可行域的極點 定理 3 lp有可行解則必有基可行解 ...