1 統計學習三要素
方法 = 模型 + 策略 + 演算法1.1 模型
模型：
所要學習的條件概率分布或決策函式模型的假設空間：
包含所有可能的條件概率分布或決策函式由決策函式表示的模型為非概率模型，由條件概率表示的模型為概率模型。
1.2 策略
損失函式：
度量模型一次**的好壞風險函式：
度量平均意義下模型**的好壞損失函式和風險函式
用乙個損失函式（loss function）或代價函式（cost function）來度量**錯誤的程度. 損失函式是**值f(x)和真實值y的非負實值函式，記作l(y, f(x)).
統計學習的損失函式有以下幾種：
(1) 0-1損失函式(0-1 loss function)
(2) 平方損失函式(quadratic loss function)
(3) 絕對損失函式(absolute loss function)
(4) 對數損失函式(logarithmic loss function)或對數似然損失函式(loglikelihood loss function)
l(y, p(y|x)) = -logp(y|x)期望風險和經驗風險
期望風險是模型關於聯合分布的期望損失，經驗風險是模型關於訓練樣本集的平均損失。
經驗風險最小化和結構風險最小化
經驗風險最小化會產生「過擬合」現象。結構風險最小化是為了防止過擬合而提出來的策略。結構最小化等價於正則化。結構風險在經驗風險上加上表示模型複雜度的正則化項和罰項。
懶得敲了，大家去看統計學習方法吧，書上都有。
歡迎使用CSDN markdow
本markdown編輯器使用stackedit修改而來，用它寫部落格，將會帶來全新的體驗哦 markdown 是一種輕量級標記語言，它允許人們使用易讀易寫的純文字格式編寫文件，然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題，將某些文字標記為粗體或者斜體，建立乙個鏈結等，詳細...
歡迎毛毛與妞妞使用CSDN markdown編輯器
建立乙個自定義列表 如何建立乙個註腳 注釋也是必不可少的 katex數學公式 新的甘特圖功能，豐富你的文章 uml 圖表 flowchart流程圖 匯出與匯入 你好！這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章，了解一下mar...
歡迎使用CSDN markdow1n編輯器
本markdown編輯器使用stackedit修改而來，用它寫部落格，將會帶來全新的體驗哦 markdown 是一種輕量級標記語言，它允許人們使用易讀易寫的純文字格式編寫文件，然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題，將某些文字標記為粗體或者斜體，建立乙個鏈結等，詳細...