原文：
我們知道壓縮感知主要有三個東西：訊號的稀疏性，測量矩陣的設計，重建演算法的設計。那麼，在重建演算法中，如何對問題建立數學模型並求解，這就涉及到了最優化或凸優化的相關知識。
在壓縮感知中，大部分情況下都轉換為凸優化問題，並通過最優化方法來求解，因此了解相關知識就顯得尤為重要了。
主要內容：
問題引出
凸集
凸函式
凸優化
最優化
在n維空間中，對於任意兩個點，對於0<=μ<=1，則表示式μx+(1-μ)y表示x和y連線之間的所有點。
證明略。
定義：
對於某集合中的任意x, y兩個點，若x和y連線之間的所有點（0<=μ<=1，μx+(1-μ)y）仍屬於這個集合，則稱此集合為凸集。
維基百科：
直觀的幾何表示：
左邊的是凸集，右邊的不是凸集，因為右邊的集合中任意兩點x和y連線之間的所有點有時不屬於這個集合（右圖中的連線）。
定義：
對於f(x)是定義在某凸集（非空的，空集也被規定為凸集）上的函式，對於凸集中的任意兩點x1和x2，若
f[μx1+(1-μ)x2]<=μf(x1)+(1-μ)f(x2)
則稱函式f(x)為凸函式。
維基百科：
直觀的幾何表示：
也就是說兩點對應的函式值f(x1)和f(x2)的之間的連線（μf(x1)+(1-μ)f(x2)）大於等於相應的（即同乙個μ值）兩點之間連線（μx1+(1-μ)x2）所對應的函式值f[μx1+(1-μ)x2]。
這其實應叫下凸。
如果把上面不等式中的等號去掉，即
f[μx1+(1-μ)x2]
則稱f(x)為嚴格凸函式。
凸函式的判定方法：
求導計算判斷：
一階充要條件：
其中要求f一階可微。
二階充要條件：
其中要求f二階可微，表示二階導數需大於0才是凸函式。
常用函式分析法：
指數函式是凸函式；
對數函式是凹函式，然後負對數函式就是凸函式；
對於乙個凸函式進行仿射變換，可以理解為線性變換，結果還是凸函式；
二次函式是凸函式（二次項係數為正）；
高斯分布函式是凹函式；
常見的範數函式是凸函式；
多個凸函式的線性加權，如果權值是大於等於零的，那麼整個加權結果函式是凸函式。
定義：
同時滿足如下兩個條件的優化問題稱為凸優化：
1）目標函式(objective function)是凸函式；
2）可行集合(feasible set)必須是凸集；
即在凸集上尋找凸函式的全域性最值的過程稱為凸優化。
對於一下的優化問題：
若目標函式f(x)是凸函式且可行集r是凸集，則稱這樣的問題為凸優化問題。
或者：
如果目標函式f(x)和共l個約束函式gi(x)都是凸函式，則稱這樣的問題為凸優化問題。
實際上，可以證明，約束函式gi(x)都是凸函式，則它的可行集是凸集。
凸優化的特點：
1）如果乙個實際的問題可以被表示成凸優化問題，那麼我們就可以認為其能夠得到很好的解決。
2）還有的問題不是凸優化問題，但是凸優化問題同樣可以在求解該問題中發揮重要的左右。比如鬆弛演算法和拉格朗日鬆弛演算法，將非凸的限制條件鬆弛為凸限制條件。
3）對於凸優化問題來說，區域性最優解就是全域性最優解。
4）若f(x)在非空可行集r上是嚴格凸函式，則全域性極值點是唯一的。
也就是說如果把乙個非凸優化問題轉化為凸優化問題（鬆弛演算法），則若求得乙個區域性最優解即為得到了全域性最優解（若目標函式在可行集上是嚴格凸函式，則此解還是唯一的），並且凸優化問題能夠比較好的得解決，因此在看壓縮感知的文獻時經常會看到如何如之何修改一下約束條件使之變為乙個凸優化問題。
非凸優化問題如何轉化為凸優化問題：
1）修改目標函式，使之轉化為凸函式
2）拋棄一些約束條件，使新的可行域為凸集並且包含原可行域
實際建模中判斷乙個最優化問題是不是凸優化問題的方法：
1、目標函式f如果不是凸函式，則不是凸優化問題
2、決策變數x中包含離散變數（0-1變數或整數變數），則不是凸優化問題
3、約束條件寫成g(x)<=0時，g如果不是凸函式，則不是凸優化問題
最優化問題：
線性規劃
二次規劃
二次約束的二次規劃
半正定規劃
最優化手段：
梯度上公升（下降）法
牛頓法 / 擬牛頓法
座標下降法：
最優化 凸集 凸函式
一 凸集 定義 給定乙個集合c rnc rn,滿足下列條件則稱為凸集 x,y c tx 1 t y cx,y c tx 1 t y c 對於任意的 0 t 1 凸集 如果集合a中任意兩個元素的連線上的點也在集合內，則為凸集 二 凸函式 定義 給定對映f rn rf rn r 並且 dom f rn ...
凸集 凸函式 凸優化和凸二次規劃
凸集 集合c內任意兩點間的線段均包含在集合c形成的區域內，則稱集合c為凸集 或參考 凸集 凸函式 凸優化和凸二次規劃 定義1 凸函式影象的上方區域，一定是凸集。定義2 集合c內任意兩點間的線段均包含在集合c形成的區域內，則稱集合c為凸集。凸集 非凸集 例如 保持凸集凸性的運算 1 兩個凸集的和為凸集...
凸優化筆記 三 凸函式
1 若函式f rn r 是凸的，有個很重要的前提，do mf是凸集。2 函式是凸的，當且僅當其在與其定義域相交的任何直線上都是凸的？直線x tv與dom f 相交，且f x tv 是凸的，為什麼能證明f x 是凸的？3 拓展值延伸，起到自動定義定義域的作用，引出示性函式。4 一階條件，f 可微是由梯...