監督學習的任務就是學習乙個模型，應用這一模型，對給定的輸入**對應的輸出。這個模型的一般形式為決策函式： y=
f(x)
y =f
(x
)或者條件概率分布： p(
y|x)
p (y
|x
)監督學習方法又可以分為生成方法和判別方法，所學到的模型稱為生成模型和判別模型。
生成方法由資料學習聯合概率分布p(
x,y)
p (x
,y
)，然後求出條件概率分布p(
y|x)
p (y
|x
)作為**的模型，即生成模型： p(
y|x)
=p(x
,y)/
p(x)
p (y
|x)=
p(x,
y)/p
(x
)這樣的方法之所以稱為生成方法，是因為模型表示了給出輸入x產生輸出y的生成關係。典型的生成模型有：樸素貝葉斯法和隱馬爾科夫模型。
判別方法由資料直接學習決策函式f(
x)f (x
)，或者條件概率分布p(
y|x)
p (y
|x
)作為**模型，即判別模型。判別方法關心的是對於給定的輸入x x
，應該**什麼樣的輸出
y' role="presentation">y
y，典型的判別模型包括k近鄰法，感知機，決策樹，邏輯斯帝回歸模型，最大熵模型，支援向量機，提公升方法和條件隨機場等。
生成方法的特點：生成方法可以還原出聯合概率分布p(
x,y)
p (x
,y
)，而判別方法不能；生成方法的學習收斂速度更快。即當樣本容量增加時，學到的模型可以更快的收斂於真是模型；當存在隱變數時，仍可以用生成方法學習，此時判別方法就不能用。
判別方法的特點：判別方法直接學習的是條件概率
p(y|x})
p(y|x})
或決策函式f(
x)f (x
)，直接面對**，往往學習的準確率更高；由於直接學習
p(y|x})
p(y|x})
或f(x) f(x
)，可以對資料進行各程度上的抽象、定義特徵並使用特徵，因此可以簡化學習問題。
《統計學習方法》學習筆記
最近把李航的 統計學習方法 看完了，感覺很不錯，從概論到各個統計方法，由易到難層層推進，每個方法都有詳盡的數學公式推倒，感覺很適合有一定數學功底的人作為機器學習入門來看。可惜本人自幼愚鈍，資質欠佳，以前學的概率論與數理統計的知識都忘得差不多了，看得雲裡霧裡的，前面還好，越到後面越看不明白，遇到不懂的...
統計學習方法 學習筆記（1）
統計學習方法的三要素 模型 策略和演算法，統計學習的物件是資料 方法 模型 策略 演算法。監督學習，也就是利用訓練資料學習乙個模型，在用這個模型對測試樣本進行 而由於訓練資料是由人為提供的，所以稱之為監督學習。1 模型 模型即是假設空間對應的條件概率或者是決策樹函式。2 策略 這裡引入了損失函式和風...
李航 統計學習方法 學習筆記 1 統計學習方法概論
1.4 模型評估與模型選擇 1.5 其他.考研終於告一段落，接下來是安心等待入學。想利用這段時間系統學習一下機器學習基礎，簡單記錄一下自己的學習過程，也算是對自己的一種監督。下面詳細介紹一下 策略 首先引入損失函式與風險函式的概念。損失函式度量模型一次 的好壞，風險函式度量平均意義下模型 的好壞。統...