機器學習中超引數的理解

2021-10-07 01:15:57 字數 479 閱讀 4135

什麼是超引數?

在看機器學習時,經常碰到乙個叫超引數的引數(hyperparameter),所以到底什麼是超引數?

超引數的定義:在機器學習的上下文中,超引數是在開始學習過程之前設定值的引數,而不是通過訓練得到的引數資料。通常情況下,需要對超引數進行優化,給學習機選擇一組最優超引數,以提高學習的效能和效果。

理解:超引數也是乙個引數,是乙個未知變數,但是它不同於在訓練過程中的引數,它是可以對訓練得到的引數有影響的引數,需要訓練者人工輸入,並作出調整,以便優化訓練模型的效果。

超引數:

定義關於模型的更高層次的概念,如複雜性或學習能力。

不能直接從標準模型培訓過程中的資料中學習,需要預先定義。

可以通過設定不同的值,訓練不同的模型和選擇更好的測試值來決定

超引數的一些示例:

聚類中類的個數

話題模型中話題的數量

模型的學習率

深層神經網路隱藏層數

參考

機器學習中的引數和超引數

模型內部的配置變數,例如 神經網路中的權重w和偏置b,svm中的支援向量,線性回歸或邏輯回歸中的係數 使用資料進行估計 優化演算法 或者學習得到 模型外部設定的變數,例如 神經網路中的學習速率 learning rate 迭代次數 epoch 隱藏層層數 每層的神經元個數 啟用函式的選擇,svm中的...

機器學習中引數和超引數的區別

簡單來說,模型引數就是模型內部的配置變數,可以用資料估計它的值。具體來講,模型引數有以下特徵 1 進行模型 時需要模型引數 2 模型引數值可以定義模型功能 3 模型引數用資料估計或資料學習得到 4 模型引數一般不由實踐者手動設定 5 模型引數通常作為學習模型的一部分儲存 通常使用優化演算法估計模型引...

機器學習之超引數

學習器模型中一般有兩種引數 一種引數是可以從學習中得到 一種無法靠資料裡面得到,只能靠人的經驗來設定,這類引數就叫做超引數 超引數定義 超引數是在開始學習過程之前設定值的引數。相反,其他引數的值通過訓練得出。定義關於模型的更高層次的概念,如複雜性或學習能力。不能直接從標準模型培訓過程中的資料中學習,...