錯誤率：分類錯誤的樣本佔樣本總數的比例。 e = a／m
精度：1 - a／m
訓練誤差／經驗誤差：訓練集上的誤差
泛化誤差：新樣本上的誤差。
區分資料集，把資料集分為兩部分，一部分是訓練集s另外一部分是測試集t
乙個資料集分成互斥的兩部分，分別作為訓練集和測試集。可以通過分層取樣的方法，保證兩個資料集的資料分布一致。
一般會多次區分資料集得到多次結果，然後得出平均值最為最終結果。
從資料集d中通過分層取樣得到k個大小相似的互斥子集。
每次選擇k-1個子集的並集作為訓練集，另外乙個作為測試集。最終可以進行k次訓練和測試。最終返回k次的平均值。這種方法通常也被成為「k折交叉驗證」。k的最常用取值是10.
如果在每次劃分k個不同子集的時候，根據不同的劃分規則，可以得到不同的k個子集。結合之前的留出法，就可以產生p次k折交叉驗證。最常見的是10次10折交叉驗證。
當k等於樣本個數時，變成留一法。
從資料集d中取出放回m次形成乙個新的資料集d'，d'與d相同大小。但是會存在部分資料重複。d中會有
（1−1/m）m個資料不會被放到d'中。大約佔0.368。然後用d'作訓練集，d作測試集。
自助法在資料集較小，難以有效劃分訓練／測試集的時候很有用。但是自助法改變了初始資料集的分布，會引入估計偏差。所以當資料足夠時，還是使用留出法和交叉驗證法。
調整演算法引數和最終使用全部資料訓練出最終模型。
效能度量：衡量模型泛化能力的評價標準。
回歸任務最常用的效能度量時「均方誤差」。
真正例tp、假正例fp、真反例tn、假反例fn
可以組成混淆矩陣
分類結果混淆矩陣
**結果
真實情況
正例反例
正例真正例tp
假反例fn
反例假正例fp
真反例tn
查準率p = tp ／ tp+fp
查全率r = tp ／ tp+fn
查全和查準都時針對正例，查準率是**為正例中正確的概率。查全率是正例中被**為正例的概率。
查準率-查全率曲線-p-r曲線-p-r圖
通過「平衡點」bep 查準率=查全率時的取值，對比不同學習器的優劣。
因為bep過於簡單，所以通常使用f1度量來評判學習器的好壞。
f1 = (2 * p * r) / (p + r) = （2 * tp）／ (m + tp -tn)
fβ = ((1+β2)∗p∗r) / ((β2∗p)+r) 。β=1退化為標準f1度量，β<1查全率有更大影響，β>1查準率有更大影響。
多個混淆矩陣綜合考察時有兩種方法。
第一種，平均每個混淆矩陣的p，r，f的平均值，稱為 「巨集」
第二種，平局tp、fp、tn、fn之後計算p、r、f，成為 「微」
roc:一般情況下泛化效能的好壞。
根據學習器的**結果對樣例進行排序，按此順序逐個把樣本作為正例進行**，每次計算出兩個重要量的值，分別以他們為橫、縱座標作圖，就得到了roc曲線。
周志華 機器學習 讀書筆記
分類 classification 的是離散值,比如 好瓜 壞瓜 回歸 regression 的是連續值,例如西瓜成熟度 0.79 0.95 泛化 generalization 學得模型適用於新樣本的能力，稱為 泛化 generalization 能力.資料探勘 data mining 從海量資料中...
《機器學習》周志華讀書筆記（一）緒論
什麼是機器學習？mitchell，1997 假設用p來評估電腦程式在某任務類t上的效能，若乙個程式通過利用經驗e在t中任務上獲得了效能改善，則我們就說關於t和p，該程式對e進行了學習。全文第1章緒論部分重點介紹了機器學習中的基本術語 假設空間 歸納偏好 發展歷程與現狀 基本術語 以一批西瓜為例 估計...
《機器學習》周志華 讀書筆記二補充（原創）
第2章 模型評估與選擇 p24 p51 2017 2 24 fri model selection模型選擇 選用哪種學習演算法 使用哪種引數配置 理想的解決方案 對候選模型的泛化誤差進行評估，再選擇泛化誤差最小的那個模型 通過實驗來對學習器的泛化誤差進行評估並進而做出選擇 hold out留出法 將...