習題解答
得到乙個有限的訓練資料集合
確定包含所有可能的模型的假設空間，即學習模型的集合確定模型選擇的準則，即學習的策略實現求解最優模型的演算法，即學習的演算法通過學習方法選擇最優的模型
利用學習的最優模型對新資料進行**或分析
假設空間f
\mathcal f
f輸入空間x
\mathcal x
x輸出空間y
\mathcal y
y引數空間
決策函式
f
=y=f_(x), \theta \in \bf r \it ^n\}
y=fθ(
x),θ
∈rn}
變數變數
r
n\bf r\it ^n
rn條件概率分布
f
=x), \theta \in \bf r \it ^n\}
x),θ∈r
n}隨機變數
隨機變數
r
n\bf r\it ^n
rn損失函式數值越小，模型就越好
經驗風險最小化(erm)與結構風險最小化(srm)
統計學習方法筆記1 統計學習方法概論
統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。從資料出發，提取資料的特徵，抽象出資料的模型，發現資料中的知識，又回到對資料的分析與 中去。統計學習關於資料的基本假設是同類資料具有一定的統計規律性，這是統計學習的前提。這裡的同類資料是指具有某種共同性質的資料，例如...
統計學習方法筆記
1.損失函式 期望，就是均值 極大似然估計 似然就是概率 可能性，所以也是極大可能性估計 對數損失是用於最大似然估計的。一組引數在一堆資料下的似然值，等於每一條資料的概率之積。而損失函式一般是每條資料的損失之和，為了把積變為和，就取了對數 再加個負號是為了讓 最大似然值和 最小損失對應起來 w 是w...
《統計學習方法》閱讀筆記 Ch8 提公升方法
提公升 boosting 是一種常用的統計學習方法，是整合 ensemble 學習的一種。它通過改變訓練樣本的權重 概率分布 學習多個弱分類器 基本分類器 並將這些分類器按權重線性組合來構成乙個強分類器提高分類的效能。核心思想 序列序列訓練弱分類器，每一輪訓練步驟中，通過提高那些被前一輪弱分類器錯誤...