模型調參的三種常用方法

模型調參的三種常用方法：

1.貪心演算法

（1）概念：

所謂貪心演算法是指，在對問題求解時，總是做出在當前看來是最好的選擇。也就是說，不從整體最優上加以考慮，它所做出的僅僅是在某種意義上的區域性最優解。

貪心演算法沒有固定的演算法框架，演算法設計的關鍵是貪心策略的選擇。必須注意的是，貪心演算法不是對所有問題都能得到整體最優解，選擇的貪心策略必須具備無後效性（即某個狀態以後的過程不會影響以前的狀態，只與當前狀態有關。）

所以，對所採用的貪心策略一定要仔細分析其是否滿足無後效性。

（2）思路：

(3)存在的問題：

2.網格調參

（1）概念：

一種調參的方法，當你演算法模型效果不是很好時，可以通過該方法來調整引數，通過迴圈遍歷，嘗試每一種引數組合，返回最好的得分值的引數組合。每個引數都能組合在一起，迴圈過程就像是在網格中遍歷，所以叫網格搜尋。

（2）存在的問題：

原來的資料集分割為訓練集和測試集之後，其中測試集起到的作用有兩個，乙個是用來調整引數，乙個是用來評價模型的好壞，這樣會導致評分值會比實際效果要好。（因為我們將測試集送到了模型裡面去測試模型的好壞，而我們目的是要將訓練模型應用在沒使用過的資料上。

（3）解決方式：

把資料集劃分三份，乙份是訓練集（訓練資料），乙份是驗證集（調整引數），乙份是測試集（測試模型）。

為了防止模型過擬合，我們使用交叉驗證的方法。

3.貝葉斯調參

（1）概念

貝葉斯優化通過基於目標函式的過去評估結果建立替代函式（概率模型），來找到最小化目標函式的值。貝葉斯方法與隨機或網格搜尋的不同之處在於，它在嘗試下一組超引數時，會參考之前的評估結果，因此可以省去很多無用功。

超引數的評估代價很大，因為它要求使用待評估的超引數訓練一遍模型，而許多深度學習模型動則幾個小時幾天才能完成訓練，並評估模型，因此耗費巨大。貝葉斯調參發使用不斷更新的概率模型，通過推斷過去的結果來「集中」有希望的超引數。

（2）貝葉斯優化問題有四個部分：