《統計學習方法》學習筆記(3 1) 對偶問題

2021-07-15 06:18:41 字數 486 閱讀 6630

知乎答案:

每乙個線性規劃問題,我們稱之為原始問題,都有乙個與之對應的線性規劃問題我們稱之為對偶問題。原始問題與對偶問題的解是對應的,得出乙個問題的解,另乙個問題的解也就得到了。並且原始問題與對偶問題在形式上存在很簡單的對應關係:

目標函式對原始問題是極大化,對對偶問題則是極小化

原始問題目標函式中的收益係數(優化函式中變數前面的係數)是對偶問題約束不等式中的右端常數,而原始問題約束不等式中的右端常數則是對偶問題中目標函式的收益係數

原始問題和對偶問題的約束不等式的符號方向相反

原始問題約束不等式係數矩陣轉置後即為對偶問題的約束不等式的係數矩陣

原始問題的約束方程數對應於對偶問題的變數數,而原始問題的變數數對應於對偶問題的約束方程數

對偶問題的對偶問題是原始問題

總之他們存在著簡單的矩陣轉置,係數變換的關係。當問題通過對偶變換後經常會呈現許多便利,如約束條件變少、優化變數變少,使得問題的求解證明更加方便計算可能更加方便。

《統計學習方法》學習筆記

最近把李航的 統計學習方法 看完了,感覺很不錯,從概論到各個統計方法,由易到難層層推進,每個方法都有詳盡的數學公式推倒,感覺很適合有一定數學功底的人作為機器學習入門來看。可惜本人自幼愚鈍,資質欠佳,以前學的概率論與數理統計的知識都忘得差不多了,看得雲裡霧裡的,前面還好,越到後面越看不明白,遇到不懂的...

統計學習方法 學習筆記(1)

統計學習方法的三要素 模型 策略和演算法,統計學習的物件是資料 方法 模型 策略 演算法。監督學習,也就是利用訓練資料學習乙個模型,在用這個模型對測試樣本進行 而由於訓練資料是由人為提供的,所以稱之為監督學習。1 模型 模型即是假設空間對應的條件概率或者是決策樹函式。2 策略 這裡引入了損失函式和風...

李航 統計學習方法 學習筆記 1 統計學習方法概論

1.4 模型評估與模型選擇 1.5 其他.考研終於告一段落,接下來是安心等待入學。想利用這段時間系統學習一下機器學習基礎,簡單記錄一下自己的學習過程,也算是對自己的一種監督。下面詳細介紹一下 策略 首先引入損失函式與風險函式的概念。損失函式度量模型一次 的好壞,風險函式度量平均意義下模型 的好壞。統...