模型內部的配置變數，例如：神經網路中的權重w和偏置b，svm中的支援向量，線性回歸或邏輯回歸中的係數；
使用資料進行估計（優化演算法）或者學習得到；
模型外部設定的變數，例如：神經網路中的學習速率（learning rate）、迭代次數（epoch）、隱藏層層數、每層的神經元個數、啟用函式的選擇，svm中的c和sigma，k近鄰中的k。
在學習過程中不會改變的模型引數，由人直接設定或者搜尋演算法選擇，用來估計模型引數。
定義模型屬性或者訓練過程的引數。
概述：超引數調優是乙個「黑盒優化」問題，即在調優的過程中只能看到輸入和輸出。而且模型訓練需要耗費各種資源（時間、硬體）。需要「準確和高效」的超引數調優（選擇）演算法。
選擇不當會導致：1. 梯度消失 2. 結果不收斂
選擇的方法：1. 經驗 2. 隨機搜尋（random search） 3. 貝葉斯優化（bayesian optimizaiton） 4. 網格搜尋（grid search） 5. 遺傳演算法（genetic algorithm） 6. 粒子群優化（paticle swarm optimization，pso)
機器學習中引數和超引數的區別
簡單來說，模型引數就是模型內部的配置變數，可以用資料估計它的值。具體來講，模型引數有以下特徵 1 進行模型 時需要模型引數 2 模型引數值可以定義模型功能 3 模型引數用資料估計或資料學習得到 4 模型引數一般不由實踐者手動設定 5 模型引數通常作為學習模型的一部分儲存 通常使用優化演算法估計模型引...
機器學習中超引數的理解
什麼是超引數？在看機器學習時，經常碰到乙個叫超引數的引數 hyperparameter 所以到底什麼是超引數？超引數的定義 在機器學習的上下文中，超引數是在開始學習過程之前設定值的引數，而不是通過訓練得到的引數資料。通常情況下，需要對超引數進行優化，給學習機選擇一組最優超引數，以提高學習的效能和效果...
機器學習之超引數
學習器模型中一般有兩種引數 一種引數是可以從學習中得到 一種無法靠資料裡面得到，只能靠人的經驗來設定，這類引數就叫做超引數 超引數定義 超引數是在開始學習過程之前設定值的引數。相反，其他引數的值通過訓練得出。定義關於模型的更高層次的概念，如複雜性或學習能力。不能直接從標準模型培訓過程中的資料中學習，...