機器學習中的模型引數和模型超引數在作用、**等方面都有所不同,而模型超引數常被稱為模型引數,這樣,很容易對初學者造成混淆。本文給出了模型引數和模型超引數的定義,並進行了對比,指出了二者本質上的區別:模型引數是模型內部的配置變數,可以用資料估計模型引數的值;模型超引數是模型外部的配置,必須手動設定引數的值。
我們在做研究的時候,會碰到很多術語。有時,在不同的研究領域還會出現同樣名稱的術語。比如,統計學、經濟學中經常使用的「模型引數」和「模型超引數」,在機器學習中也同樣存在。
機器學習領域中的「模型引數」「模型超引數」在作用、**等方面都有所不同,初學者如果對二者沒有明確的認識,學習起來往往會比較吃力,尤其是那些來自統計學和經濟學領域的初學者們。
為了讓大家在應用機器學習時,對「引數模型」和「超引數模型」有乙個清晰的界定,在這篇文章中,我們將具體討論這兩個術語。
首先,我們來看一下「引數」是什麼?
引數作為模型從歷史訓練資料中學到的一部分,是機器學習演算法的關鍵
。
統計學中的「引數」:
在統計學中,你可以假設乙個變數的分布,比如高斯分布。高斯分布的兩個引數分別是平均值(μ)和標準差(sigma)。這在機器學習中是有效的,其中這些引數可以用資料估計得到並用作**模型的一部分。
程式設計中的「引數」:
程式設計中可以將引數傳遞給函式。在這種情況下,引數是乙個函式引數,可以有乙個值範圍。在機器學習中,您正在使用的具體模型就是函式,需要引數才能對新資料進行**。
「引數」和「模型」有什麼關係?
根據經典的機器學習文獻,可以將模型看作假設,而引數是根據特定的資料集對假設進行的具體調整。
模型是否具有固定或可變數量的引數,決定了模型是「引數」模型或「非參」模型。
什麼是模型引數?
簡單來說,模型引數就是模型內部的配置變數,可以用資料估計它的值。
具體來講,模型引數有以下特徵:
通常使用優化演算法估計模型引數,優化演算法是對引數的可能值進行的一種有效搜尋。
模型引數的一些例子包括:
什麼是模型超引數?
模型超引數是模型外部的配置,其值不能從資料估計得到。
具體特徵有:
怎樣得到它的最優值:
對於給定的問題,我們無法知道模型超引數的最優值。但我們可以使用經驗法則來探尋其最優值,或複製用於其他問題的值,也可以通過反覆試驗的方法。
模型超引數的一些例子包括:
「模型引數」和「模型超引數」
二者的聯絡:
當針對特定問題調整機器學習演算法時,例如在使用網格搜尋或隨機搜尋時,你將調整模型或命令的超引數,以發現乙個可以使模型**最熟練的模型引數。許多模型中重要的引數無法直接從資料中估計得到。例如,在k近鄰分類模型中...這種型別的模型引數被稱為調整引數,因為沒有可用的分析公式來為其計算乙個合適的值。-第64-65頁,
應用**建模,2013
區分:
模型超引數通常被稱為模型引數,這種叫法很容易讓人產生誤解。解決這個問題的乙個很好的經驗法則如下:如果你必須手動指定乙個「模型引數」,那麼它可能就是乙個模型超引數。
進一步閱讀
總結 讀完這篇文章可以了解模型引數和模型超引數的明確定義和區別。
總而言之,模型引數是從資料中自動估計的,而模型超引數是手動設定的,並用於估計模型引數的過程。
機器學習中的引數和超引數
模型內部的配置變數,例如 神經網路中的權重w和偏置b,svm中的支援向量,線性回歸或邏輯回歸中的係數 使用資料進行估計 優化演算法 或者學習得到 模型外部設定的變數,例如 神經網路中的學習速率 learning rate 迭代次數 epoch 隱藏層層數 每層的神經元個數 啟用函式的選擇,svm中的...
機器學習中引數和超引數的區別
簡單來說,模型引數就是模型內部的配置變數,可以用資料估計它的值。具體來講,模型引數有以下特徵 1 進行模型 時需要模型引數 2 模型引數值可以定義模型功能 3 模型引數用資料估計或資料學習得到 4 模型引數一般不由實踐者手動設定 5 模型引數通常作為學習模型的一部分儲存 通常使用優化演算法估計模型引...
機器學習中超引數的理解
什麼是超引數?在看機器學習時,經常碰到乙個叫超引數的引數 hyperparameter 所以到底什麼是超引數?超引數的定義 在機器學習的上下文中,超引數是在開始學習過程之前設定值的引數,而不是通過訓練得到的引數資料。通常情況下,需要對超引數進行優化,給學習機選擇一組最優超引數,以提高學習的效能和效果...