是在有線性約束條件的情況下，最小化或最大化多個變數的二次函式(函式的最高次為二次的函式)。二次規劃是一種特殊的非線性規劃。
是在有線性約束的條件下，優化多個變數的線性函式。（與二次規劃的區別在於，目標函式為線性函式。）
是實質相同但從不同角度提出不同提法的一對問題。
(1)定義：
設m是n階方陣，如果對任何非零向量z，都有ztmz> 0，其中zt 表示z的轉置，就稱m為正定矩陣。
(2) 性質：
行列式恒為正
實對稱矩陣a正定當且僅當a與單位矩陣合同；
若a是正定矩陣，則a的逆矩陣也是正定矩陣；
兩個正定矩陣的和是正定矩陣；
正實數與正定矩陣的乘積是正定矩陣。
(1)設目標函式為minf(x),約束條件(等式)：s.t. hi(x)=0,i=1,2…,m
把等式hi(x)用乙個係數與目標函式f(x)寫為乙個式子，成為拉格朗日函式，而係數稱為拉格朗日乘子：
約束條件為乙個等式：
u為拉格朗日乘子，通過對拉格朗日各個變數求導，令其為零，可以求得候選值集合，然後驗證求得最優值。
要想得到最小值，則需滿足f(x)的梯度=u*h(x)的梯度，u為常數。=>令l(x,u)對x的梯度為零，即可求得最優解。
(2)約束條件為多個等式：
f(x)為目標函式，ui為拉格朗日乘子，hi(x)為約束條件。
要想得到最小值。=>令l(x,u)對x的梯度為零，即可求得最優解。
機器學習常用API總結
df.mean 等價於df.mean 0 把軸向資料求平均，得到每列資料的平均值。df.mean 1 按照另外乙個axis的方向來求平均，得到每行資料的平均值。np.linalg.inv 矩陣求逆 np.linalg.det 矩陣求行列式 標量 pandas.get dummies data,pre...
機器學習 數學 機器學習涉及的數學知識
簡單總結 機器學習涉及的數學知識有 線性代數，概率論和統計學，多變數微積分，演算法和複雜優化，以及其他等。原文 在過去幾個月裡，有幾個人聯絡過我，說他們渴望進軍資料科學領域，使用機器學習 ml 技術探索統計規律，並打造資料驅動的完美產品。但是，據我觀察，一些人缺乏必要的數學直覺和框架，無法獲得有用的...
機器學習 數學基礎
scalar 標量 sunspot number dalton minimum exponentiation 指數化 資訊理論 對數函式 log2 sigmod 啟用函式 relu 啟用函式 vector 向量 vector space 向量空間 歐幾里德空間 笛卡爾座標系 極座標系 norm of...