1、基本概念
2、pac理論
3、vc維
4、極大似然，最大後驗概率，貝葉斯估計
5、模型評估與評價指標
6、模型診斷調參
在pac理論中，我們用假設空間的取值n
nn來描述模型的複雜度，然而很多時候假設空間的取值是無限的，比如線性模型中模型屬於連續空間，我們無法用取值來衡量模型的複雜度，vc維的主要價值在於用vc維（維度）衡量模型的複雜度，同時給出了誤差上界（個人見解）。
vc維：給定乙個樣本集s
=s=\,x^,...,x^\}
s=，我們稱假設空間h
hh可以打散s
ss，當且僅當對於樣本集s
ss的任何一種標籤（與樣本的分布無關）都能被h
hh線性可分。一般來說： 等於假設類的引數個數
比如下圖：乙個二維的假設空間其最大能打散（線性可分）的樣本集數為3，vc維為3。
對於假設空間h
hh，其vc(
h)=d
vc(h)=d
vc(h)=
d，那麼至少以1−σ
1-\sigma
1−σ的概率，對於假設空間下h
hh，我們有：
p (∣
ϵ(hk
)−ϵ^
(hk)
∣≤dm
logm
d+1m
log1
σ)≥1
−σp\left(|\epsilon(h_)-\hat (h_)|\leq \sqrtlog\frac+\fraclog\frac}\right)\geq 1-\sigma
p(∣ϵ(h
k)−
ϵ^(h
k)∣
≤md
logd
m+m
1lo
gσ1
)≥1
−σ也就是說至少1−σ
1-\sigma
1−σ的概率有，泛化誤差與訓練誤差的方差滿足下式：
ϵ (h
^)≤ϵ
^(h∗
)∣+d
mlog
md+1
mlog
1σ\epsilon(\hat)\leq \hat (h^)|+ \sqrtlog\frac+\fraclog\frac}
ϵ(h^)≤
ϵ^(h
∗)∣+
mdl
ogdm
+m1
log
σ1
其中h ^=
argminh
∈h∼d
^min
(ϵ^(
h))\hat=arg\min_}min(\hat(h))
h^=arg
minh∈h
∼d^
min(
ϵ^(h
)),h ∗=
argminh
∈h∼d
min(
ϵ(h)
)h^=arg\min_min(\epsilon(h))
h∗=arg
minh∈h
∼dm
in(ϵ
(h))
。上式可以看作是pac理論誤差分析的vc版，而vc維中定義的假設空間的複雜度是定義在vc維上的，一般而言，vc維與模型的引數有關，特徵的維度。
學習理論 PAC理論
1 基本概念 2 pac理論 3 vc維 4 極大似然，最大後驗概率，貝葉斯估計 5 模型評估與評價指標 6 模型診斷調參 概率近似正確 pac 理論是從概率的角度來衡量模型的正確率，給出了pac可辨識，樣本複雜度界，誤差上界。偏差 方差 偏差和方差是機器學習中很重要的兩個概念，在分析模型時對應於欠...
統計學習理論簡介
統計學習理論是一種研究訓練樣本有限情況下的機器學習規律的學科。它可以看作是基於資料的機器學習問題的乙個特例，即有限樣本情況下的特例。統計學習理論從一些觀測 訓練 樣本出發，從而試圖得到一些目前不能通過原理進行分析得到的規律，並利用這些規律來分析客觀物件，從而可以利用規律來對未來的資料進行較為準確的 ...
機器學習理論 GMM模型
李航.統計學習方法中高斯混合模型僅介紹一元高斯分布的情況，周志華.機器學習則採用多元高斯分布的寫法，但求解過程不夠突出em演算法的思想。此外，李航.統計學習方法中的一些寫法會產生誤解。因此下面過程主要根據李航.統計學習方法中的推導方法，但會有部分修正。gmm演算法主要利用em演算法來估計高斯混合模型...