機器學習7 認識凸優化

計算幾何研究的物件是幾何圖形。早期人們對於影象的研究一般都是先建立座標系，把圖形轉換成函式，然後用插值和逼近的數學方法，特別是用樣條函式作為工具來分析圖形，取得了可喜的成功。然而，這些方法過多地依賴於座標系的選取，缺乏幾何不變性，特別是用來解決某些大撓度曲線及曲線的奇異點等問題時，有一定的侷限性。

我們假設兩個點不相同:x1!

=x2x 1 !=x 2

x1!=x2

​那麼就有直線方程：y=θ

x1+(

1−θ)

x2y=θx 1 +(1−θ)x2

y=θx1+

(1−θ)x2

計算幾何與平面幾何（初高中學習）的區別就是維度的不一樣，計算幾何在平面的基礎上新增了角度的維度，這意味著計算的複雜性提高了，但是計算的結果更加的廣泛，更加的精確，更容易全方位的表達一條直線，舉個例子說，就是我們的視覺從180度擴充套件到了360度。

在凸幾何中，凸集是在凸組合下閉合的仿射空間的子集。更具體地說，在歐氏空間中，凸集是對於集合內的每一對點，連線該對點的直線段上的每個點也在該集合內。例如，立方體是凸集，但是任何中空的或具有凹痕的例如月牙形都不是凸集。

凸集是單點或一條不間斷的線，二、三維空間中的凸集就是直觀上凸的圖形，例如二維中有扇面、圓、橢圓等，三維中的實心球體等，所以，直線屬於凸集。

仿射集亦稱仿射流形、線性流形、仿射簇，是實線性空間中的一類子集。所以直線屬於仿射集，且為維數為1

三維空間中的平面主要通過建立公式模型來表達。

我們假設三維的直線方程為:

a x+

by+c

z+d=

0ax+by+cz+d=0

ax+by+

cz+d

=0然後通過特定的方法求解abcd：

解法一、是已知三個點，建立三個方程，解三個未知數；

解法二、克萊姆法則

解法三…（很多方法）

高維度超平面的表達

在數學中，超平面（hyperplane）是n維歐氏空間中余維度等於1的線性子空間。這是平面中的直線、空間中的平面之推廣。設f為域其中

f =i

rf=ir

f=ir

則n維空間fn中的超平面是由如下方程表示：

a 1x

1+..

.+an

xn=b

a1 x 1 +...+a n x n =b

a1x1+.

..+a

nxn=

b超平面h是從n維空間到n-1維空間的乙個對映子空間，它有乙個n維向量和乙個實數定義。設d是n維歐式空間r中的乙個非零向量，a是實數，則r中滿足條件dx=a的點x所組成的集合稱為r中的一張超平面。

凸函式的簡單定義

任意兩點的函式值的連線上的點都在曲線的上方，我們成為凸函式。

什麼是hessen矩陣

hessian matrix（黑塞矩陣、海森矩陣、海瑟矩陣、海塞矩陣etc.）,它是乙個多元函式的二階偏導數構成的方陣，用以描述函式的區域性曲率。黑塞矩陣最早於19世紀由德國數學家ludwig otto hesse提出，並以其名字命名。黑塞矩陣常用於牛頓法解決優化問題。

一元函式的判別

對於一元函式f(x)，我們可以通過其二階導數f′′(x)的符號來判斷。

如果函式的二階導數總是非負，即f′′(x)≥0 ，則f(x)是凸函式

多元函式的判別

對於多元函式f(x)，我們可以通過其hessian矩陣的正定性來判斷。如果hessian矩陣是半正定矩陣，則是f(x)是凸函式

凸規劃定義：

設f (x

)f(x)

f(x)

及g i(

x),i

=1,.

..,m

gi(x),i=1,...,m

gi(x),

i=1,

...,

m均為r

nr^n

rn上的凸函式，則稱最優化問題為凸規劃。

如何判別乙個規劃問題是凸規劃問題？

與一般的最優化問題標準形式相比，凸規劃有三點附加條件： （1）目標函式f(x)必須是凸函式；

（2）不等式約束函式gi(

x)gi(x)

gi(x

)必須是凸函式，不等式gi(x)≤0組成的區域為凸集；

（3）等式約束函式hj(

x)=a

tjx−

bjhj(x)=atjx−bj

hj(x)=

atjx

−bj 必須是仿射的（即線性函式和常函式的和函式）。

因此我們得出以下結論：凸規劃的可行域是凸集。因為每個約束條件的點集都是凸集，它們的交集也是凸集。

第一步：

求解f(x)與g1(x)、g2(x)、g3(x)的hessen矩陣：

四個都是凸函式，所以為凸規劃！

機器學習 凸優化基礎

來扯一些理論基礎。凸集的定義 定義集合c為凸集當且僅當 任取x,y c，0,1 都有 x 1 y c 從幾何意義上來說，就是凸集c中的任意線段，若他的的頭尾屬於該集合，則其整體屬於該集合 凸函式的定義 函式f為從r n對映到r的可積函式，且它需要滿足 1 定義域為凸集 2 f x 1 y f x 1...

機器學習之凸優化基礎二

20.共軛函式 21.凸優化 優化問題的基本形式 告訴幾個等式約束求最值 區域性最優問題 22.非凸優化問題的變形 23.對偶問題 24.lagrange對偶函式 dual function lagrange 對偶函式 若沒有下確界，定義 根據定義，顯然有 對 0，v，若原優化問題有最優值p 則 進...

凸優化等 機器學習數學知識等

總結 數學知識 非約束優化 梯度下降，牛頓法 等式約束 1.非嚴格滿足等式約束 自己設定懲罰函式係數大小。2.嚴格滿足等式約束 拉格朗日乘子法。不等式約束 1.只要滿足kkt條件 karush kuhn tucker conditions 依然可以使用拉格朗日乘子法解決 2.內點法 除了以上的數值優...