統計學習三要素：模型、策略和演算法。
模型分類有幾種，監督非監督，引數非引數等。監督學習又分為生成方法和判別方法。
生成模型有：樸素貝葉斯和隱馬爾科夫。
判別模型有：k近鄰，感知機，決策樹，邏輯回歸，em，svm，boost,crf.
引數個數固定，與訓練資料無關。
非引數模型
引數個數依賴於訓練資料的個數，會變(不是沒有引數)。
舉例：最近鄰方法。每個點與資料之間的距離均為引數，與資料有關。
控制理論中，講求反饋。其實，這也是自然界中的重要的規律。人生好比海上的波浪，時起時落。社會上很多現象也這樣，物極必反。當我們要做出一些改進，決策的時候需要一些反饋，從而不斷的調整我們的決策。模型中有很多改進，需要一些反饋。可能是正反饋，也可能是負反饋。像梯度下降是一種負反饋，蟻群演算法資訊素的更新是一種正反饋。反饋一般是監督學習才有的，明顯只有知道結果的好壞才能給出應變，即代價函式（cost function）。下面說一下下面模型的評價標準。
1. 線性回歸
2. 邏輯回歸
3. 決策樹（id3，c45）
4. 神經網路
5. svm
6. 貝葉斯分類器
7. bagging與隨機森林
8. 聚類
公式如下：y(
x,w)
=w0+
w1x1
+...
+wdx
d 或者寫成向量相乘：y(
x,w)
=wtx
（x 是乙個向量）
最小化平方和誤差函式：e(
w)=
12∑n
n=12
擴充套件：y(x
,w)=
wtx 中的
x 為ϕj
(x)=
xj基函式是x的冪指數形式，則為多項式擬合。
順便說一句：用多項式擬合資料，最小化平方和誤差函式可以看成高斯雜訊模型假設下的最大似然解。
還有其他基函式如高斯基函式（rbf）：ϕj
(x)=
exp 還有sigmoid基函式。在svm中也常用這些核函式，此外還有拉普拉斯核等。
正則化
常用l1,l2正則化。
min e(
w)=
12∑n
n=12
上面又稱為 經驗風險最小化。加上正則項之後（防止過擬合），又稱為結構風險最小化。
min e(
w)=
12∑n
n=12
+λj(
w)
l1與l2區別：
兩者都是限制w的大小。l2會限制w的大小，減少過擬合，但得不到稀疏效果，使w均趨於0。l1會產生乙個稀疏的模型,使一些w變為0。
l1：lasso回歸 j(
w)=∑
w|w|
l2：ridge回歸j(
w)=∑
ww2
稍微提一下，關於l1,l2的貝葉斯解釋。
其實正則項就是對w的先驗分布。而這些措施都是一些先驗知識。
lasso回歸——>laplace先驗分布+最大後驗估計（map）。
ridge回歸——>gaussian分布+map。
參考：正則項解釋hw
(x)=
g−1(
wtx+
b)
使用sigmoid 函式, z=
wtx+
b h
w(x)
=11+
exp(
−z)
將hw(x
) 看做後驗概率。p(
y=1|
x,w)
=hw(
x) p
(y=0
|x,w
)=1−
hw(x
) 這樣似然函式可以寫成p(
y|x,
w)=h
w(x)
y(1−
hw(x
))1−
y 極大似然函式l(
w)=p
(y|x
,w)=
∏ni=
1p(y
(i)|
x(i)
,w)
=∏nn=1h
w(x(
i))y
(i)(
1−hw
(x(i
)))1
−y(i
) 然後取似然函式的負對數（又稱交叉熵誤差函式）取最小值，即可。e(
w)=−
lnl(
w)=−
∑nn=
1y(i
)ln(
hw(x
(i))
)+(1
−y(i
))ln
(1−h
w(x(
i)))
id3演算法：
應用資訊增益準則選擇特徵。
c4.5應用資訊增益比來選擇特徵，是id3的改進。
資訊增益準則
資訊增益表示：得知特徵x資訊使y類資訊不確定性減少的程度。
資訊增益比
資訊增益比：資訊增益與訓練資料集關於特徵a的熵的比。相當於多除以乙個關於特徵的熵。以減小偏向於選擇取值較多的特徵。
決策樹的剪枝：防止過擬合，簡化模型。
cart演算法（分類與回歸樹）
對於分類樹用基尼指數（gini index）最小化準則，選擇特徵.
回歸樹用最小化平方誤差。
基尼指數，假設樣本k個類別，第k類概率為pk
。 gi
ni（p
）=1−
∑kk=
1p2k
prml
機器學習——周志華
統計學習方法——李航
機器學習筆記（一） 了解機器學習
1 人工智慧是我們想要達成的目標，機器學習是想要達成目標的手段，深度學習就是機器學習的其中乙個方法。2 機器學習，根據你提供的資料尋找乙個function，如下圖，輸入一段語音知道是 how are you 輸入貓的知道是 貓 怎樣找出這個function呢？第一，要有一系列的function，即模...
機器學習筆記（一）
機器學習筆記 1,2課 一.線性回歸模型 1.數學模型 對於乙個具體的問題，x1,x2 是我們所選取的特徵，h x 是我們所建立的模型，其中有n 1個引數。我們希望所建立的數學模型可以很好的刻畫實際問題，而我們所擁有的就是訓練資料集。很自然的，我們希望數學模型可以較好的表述訓練資料集的情況。雖然對訓...
機器學習筆記（一）
總結自 機器學習 周志華 基本術語 資料 類似日常生活中的經驗，記錄關於乙個事件或物件的描述 屬性或特徵 反映事件或物件在某方面的表現或性質的事項，eg 顏色 根蒂 屬性值 屬性上的取值，eg 烏黑 青綠 屬性空間 樣本空間 輸入空間 屬性構成的空間，eg 用顏色 根蒂構成乙個關於西瓜的二維空間系，...