舉例：假設有乙個根據身高h和衣服顏色飽和度s兩個引數的模型來估計乙個人是男的還是女的性別識別系統
思考：既然我們選擇了乙個模型，用這個模型去預估觀測值來得到的最大似然權值，那麼又有什麼手段來評估我們這個模型選擇的好壞
公式證明：−ln
p(w|
d)=∑
ni=1
−lnp(
xi|w
)−lnp
(w)=
nln(2
π−−√
σ)+∑
ni=1
e22σ
2+∥w
∥222
α2按照線性最小二乘回歸將我們的高斯分布帶入到後驗概率中（此處省略掉過程，直接寫最終過程，不懂的看上節筆記）
省略掉常數項之後進行極小化負對數後驗改寫： w∗
=arg
minw
∑ni=
1e2i
+λ∥w
∥22
分別為平方誤差項和正則化項，這也就是嶺回歸的基礎公式
擴充套件：當function為線性函式時候，f(
x,w)
=wtx
minew=∥
∥y−w
tx∥∥
2+λ∥
w∥22
引入三個二次型矩陣求導公式：
當假設p(w
) 服從拉普拉斯分布，那麼正則項就變為了λ|
w|其優勢是在於更容易使模型變為稀疏的，有些權值為0，有些權值不為0，即結果有值的特徵就是有用的，為0的就是沒用的，降低緯度降低儲存空間。也就是所謂的：lasso回歸。
統計學下的四種損失函式：
正則化的作用：
後驗概率與條件概率區別
後驗概率就是一種條件概率，但是與其它條件概率的不同之處在於，它限定了目標事件為隱變數取值，而其中的條件為觀測結果。一般的條件概率，條件和事件都可以是任意的。貝葉斯公式就是由先驗概率求後驗概率的公式 舉例區分普通條件概率與後驗概率的區別 1 那麼如果我們出門之前我們聽到新聞說今天路上出了個交通事故，那...
先驗概率與後驗概率
先驗概率和後驗概率的名字讓人覺得是相反的，但是其實在理解中二者關係不大。先驗概率指根據觀察到的現象或者根據經驗，提出的某類事件發生的概率 表述可能不夠準確 這種概率與在樣本足夠大時，這類事件發生的 真實概率 並不一定相等。例如，拋一枚均勻的硬幣會哪面朝上，我們認知中的正反面朝上的概率都是50 這是一...
後驗概率與條件概率區別
後驗概率就是一種條件概率，但是與其它條件概率的不同之處在於，它限定了目標事件為隱變數取值，而其中的條件為觀測結果。一般的條件概率，條件和事件都可以是任意的。貝葉斯公式就是由先驗概率求後驗概率的公式 舉例區分普通條件概率與後驗概率的區別 1 那麼如果我們出門之前我們聽到新聞說今天路上出了個交通事故，那...