背景: 由於深度學習和傳統機器學習的超引數性質差異較大,二者的超引數優化演算法原理和偏向也不同, 以下演算法整理更適用於傳統機器學習.
1.先盲目地搜尋
網格搜尋(grid search, gs) 和 隨機搜尋(random search,rs)
2.要有繼承性地搜尋
貝葉斯優化演算法(bayesian optimization,bo)
bo演算法能很好地吸取之前的超引數的經驗，更快更高效地最下一次超引數的組合進行選擇。
但是bo演算法也有它的缺點:強假設條件(避免非凸、異常平滑、高維噪音等情況)
因此催生出bo的啟發式演算法: tpe(一種高斯混合模型)、etpe等
3.搜尋資源發現不夠了
successivehalving、hyperband
隨著超引數的新增以及模型的龐大,但是引數優化本質都是跑馬燈形式得到評估值,再做引數選擇, 開銷越來越大
ps: 深度學習可以將網路拆解進行引數搜尋
因此需要對候選引數進行一些資源限制,產生了上述的演算法, 隨著迭代次數的變化動態變化分配搜尋資源.類似遺傳演算法思想.
4.now
bohb
貝葉斯引數優化器+hyperband類評價策略的組合.
從頭設計乙個聊天機械人（進化史）
啦啦啦，讓我們來設計乙個智障聊天機械人吧！首先，在1960s，在第一次人工智慧浪潮，最早的聊天機械人是設計用於 臨床心理患者。這些患者因為心理缺乏安全感，會反覆的詢問醫生一些問題求得安慰，於是最早的智障玩意聊天機械人問世了，聊天機械人會反覆的回答病人的提問。所以我們準備乙個excel表或者資料庫，來...
機器學習之超引數
學習器模型中一般有兩種引數 一種引數是可以從學習中得到 一種無法靠資料裡面得到，只能靠人的經驗來設定，這類引數就叫做超引數 超引數定義 超引數是在開始學習過程之前設定值的引數。相反，其他引數的值通過訓練得出。定義關於模型的更高層次的概念，如複雜性或學習能力。不能直接從標準模型培訓過程中的資料中學習，...
機器學習 超引數搜尋
模型中除了在訓練中自己更新的引數，需要在預先設定的引數稱為超引數。大概有如下 bachsize,epoch,learniing rate,四種主要策略可用於搜尋最佳配置 1.babysitting，又名試錯 trial error 2.網格搜尋 grid search 3.隨機搜尋 random s...