機器學習中引數和超引數的區別

2021-09-25 16:19:49 字數 959 閱讀 1994

簡單來說,模型引數就是模型內部的配置變數,可以用資料估計它的值。

具體來講,模型引數有以下特徵:

(1)進行模型**時需要模型引數

(2)模型引數值可以定義模型功能

(3)模型引數用資料估計或資料學習得到

(4)模型引數一般不由實踐者手動設定

(5)模型引數通常作為學習模型的一部分儲存

通常使用優化演算法估計模型引數,優化演算法是對引數的可能值進行的一種有效搜尋。

模型引數的一些例子包括:

(1)人工神經網路中的權重

(2)支援向量機中的支援向量

(3)線性回歸或邏輯回歸中的係數

模型超引數是模型外部的配置,其值不能從資料估計得到。

具體特徵有:

(1)模型超引數常應用於估計模型引數的過程中

(2)模型超引數通常由實踐者直接指定

(3)模型超引數通常可以使用啟發式方法來設定

(4)模型超引數通常根據給定的**建模問題而調整

怎樣得到它的最優值: 對於給定的問題,我們無法知道模型超引數的最優值。但我們可以使用經驗法則來探尋其最優值,或複製用於其他問題的值,也可以通過反覆試驗的方法。

模型超引數的一些例子包括:

(1)訓練神經網路的學習速率

(2)支援向量機的c和sigma超引數

(2)k鄰域中的k

當針對特定問題調整機器學習演算法時,例如在使用網格搜尋或隨機搜尋時,你將調整模型或命令的超引數,以發現乙個可以使模型**最熟練的模型引數。許多模型中重要的引數無法直接從資料中估計得到。例如,在k近鄰分類模型中…這種型別的模型引數被稱為調整引數,因為沒有可用的分析公式來為其計算乙個合適的值。

模型超引數通常被稱為模型引數,這種叫法很容易讓人產生誤解。解決這個問題的乙個很好的經驗法則如下:如果你必須手動指定乙個「模型引數」,那麼它可能就是乙個模型超引數。

總而言之,模型引數是從資料中自動估計的,而模型超引數是手動設定的,並用於估計模型引數的過程。

機器學習中的引數和超引數

模型內部的配置變數,例如 神經網路中的權重w和偏置b,svm中的支援向量,線性回歸或邏輯回歸中的係數 使用資料進行估計 優化演算法 或者學習得到 模型外部設定的變數,例如 神經網路中的學習速率 learning rate 迭代次數 epoch 隱藏層層數 每層的神經元個數 啟用函式的選擇,svm中的...

機器學習中的引數與超引數之間的區別

機器學習中的模型引數和模型超引數在作用 等方面都有所不同,而模型超引數常被稱為模型引數,這樣,很容易對初學者造成混淆。本文給出了模型引數和模型超引數的定義,並進行了對比,指出了二者本質上的區別 模型引數是模型內部的配置變數,可以用資料估計模型引數的值 模型超引數是模型外部的配置,必須手動設定引數的值...

引數和超引數的區別

計算機學科裡有太多的術語,而且許多術語的使用並不一致。哪怕是相同的術語,不同學科的人理解一定有所不同。比如說 模型引數 model parameter 和 模型超引數 model hyperparameter 對於初學者來說,這些沒有明確定義的術語肯定很令人困惑。尤其是對於些來自統計學或經濟學領域的...