學習器模型中一般有兩種引數：
一種引數是可以從學習中得到
一種無法靠資料裡面得到，只能靠人的經驗來設定，這類引數就叫做超引數
超引數定義
超引數是在開始學習過程之前設定值的引數。 相反，其他引數的值通過訓練得出。
定義關於模型的更高層次的概念，如複雜性或學習能力。
不能直接從標準模型培訓過程中的資料中學習，需要預先定義。
可以通過設定不同的值，訓練不同的模型和選擇更好的測試值來決定
超引數示例：
聚類中類的個數
話題模型中話題的數量
模型的學習速率
深層神經網路隱藏層數
迭代次數
每層神經元的個數
學習率 η
正則化引數
神經網路的層數
學習的回合數epoch
小批量資料 minibatch 的大小
代價函式的選擇
權重初始化的方法
。。。
超引數調節方法
網格搜尋
隨機搜尋
貝葉斯優化
基於梯度的優化
遺傳演算法的實踐
機器學習 超引數搜尋
模型中除了在訓練中自己更新的引數，需要在預先設定的引數稱為超引數。大概有如下 bachsize,epoch,learniing rate,四種主要策略可用於搜尋最佳配置 1.babysitting，又名試錯 trial error 2.網格搜尋 grid search 3.隨機搜尋 random s...
機器學習中的引數和超引數
模型內部的配置變數，例如 神經網路中的權重w和偏置b，svm中的支援向量，線性回歸或邏輯回歸中的係數 使用資料進行估計 優化演算法 或者學習得到 模型外部設定的變數，例如 神經網路中的學習速率 learning rate 迭代次數 epoch 隱藏層層數 每層的神經元個數 啟用函式的選擇，svm中的...
機器學習中超引數的理解
什麼是超引數？在看機器學習時，經常碰到乙個叫超引數的引數 hyperparameter 所以到底什麼是超引數？超引數的定義 在機器學習的上下文中，超引數是在開始學習過程之前設定值的引數，而不是通過訓練得到的引數資料。通常情況下，需要對超引數進行優化，給學習機選擇一組最優超引數，以提高學習的效能和效果...