這學期，將學習周志華老師的《機器學習》這本書，一周兩章，每章我都會做上一點筆記，筆記或多或少，或工整或潦草，一切根據我當時的時間和心情而定，簡單的定義或者易理解的知識我可能附上定義甚至不寫，不懂的地方會特別強調指出。所以這個學習系列我稱為《機器學習》隨心記。
第一部分
問題：p24 第一段話是什麼意思？p=np是什麼意思？
首先介紹多項式時間這個概念，在計算複雜度理論中，指的乙個問題的計算時間不大於問題的多項式倍數。
那麼p就是指的是求解決乙個問題的時間的問題。
np就是求對於乙個問題驗證乙個答案是否正確的時間的問題。
p38 第二段話中全都分類正確的概率是（m m』）是什麼意思？
是組合的另一種寫法，上下顛倒就行。
p38 左邊注釋的a是什麼？
a是自己給定的判定錯誤的上限，意思就是自己認為在什麼概率內允許這個**是錯誤的。
p38 對最後一段及39頁第一段理解不了？後面的t分布也有點理解不了？
到現在也還是有點理解不了
p45 e是什麼意思？
期望的意思
p45 演算法的期望泛化誤差怎麼會要平方，式（2.41）的第一行。
為了求出的結果為恆正。
p45 式（2.41）第四行的內容怎麼到下一步消去了？
主要是要令第乙個括號裡面的式子為零。
證法如下：
由（2.37）
式第二項可以轉化為前一項的期望，由於這個是乙個常數，所以常數的期望為本身，可以約去。
第二部分
第二章 模型評估與選擇
本章講述的主要是對於模型的選擇的問題，對檢測指標，以及一些模型比較方法進行了比較詳細的介紹。
p23錯誤率：如果m個樣本有a個分類錯誤，則錯誤率e=a/m
精度：1-e
訓練誤差：模型（學習器）在訓練集上的誤差稱為訓練誤差。
過擬合：把訓練樣本自身的一些特點當作了所有潛在樣本都會具有的一般性質，導致泛化效能下降。
（注：過擬合無法徹底避免，能做的只是減小其風險）
p24-p28
評估方法
留出法：直接將資料集d分為兩個互斥的集合。其中乙個作為訓練集s，另乙個作為測試集t。常見的方法是將3/2~4/5的樣本用於訓練。
交叉驗證法：將資料集劃分為k個大小相似的互斥子集，每個子集通過分層取樣得到，每次用k-1個子集的並集作為訓練集，餘下的那個子集作為測試集。。從而可以進行k次訓練和測試，返回k個測試結果的平均值。常用的k值為10
（注：兩種方法都要多次實驗取平均值）
交叉驗證法的特例，留一法：每個子集就是乙個樣本。只能針對資料集較小的用。
自助法（以自助取樣法為基礎）：給定m個樣本的資料集，對它進行取樣產生資料集d』，每次隨機從d中挑選乙個樣本，拷貝放入d』，重複m次，就可以得到包含m個樣本的資料集d』。其中樣本不被採集到的概率為0.368。我們將d』作為訓練集，將d\d』作為測試集。（\為集合減法）
p28-p36
效能度量
錯誤率：
精度：查準率（precision）：真正例/（真正例+假正例）
查全率（recall）：真正例/（真正例+假反例）
f1度量：f1=2*p*r/（p+r） 基於查準率與查全率的調和平均。更一般的形式為f
tpr = tp/(tp+fn) 真正利率
fpr = tp/(tn+fp) 假正利率
auc：roc曲線下的面積
代價敏感錯誤率：
代價曲線：
p37比較檢驗
假設檢驗：二項分布，t分布
在38頁裡提到了二項分布，送上360百科解釋：
t分布：
p40交叉驗證t檢驗：兩個學習器在第i折訓練/測試集上的結果，如果求差分別為，delta1，delta2，…，deltak，求出變數tt小於臨界值的，假設就不能被拒絕，即兩個學習器沒有顯著差別。
5*2交叉驗證：做5次2折交叉驗證
p41
mcnemar檢驗
p42friedman檢驗
nemenyi後續檢驗
先用前乙個檢驗是否相同，後面乙個檢驗效能誰更好。
p44偏差-方差分解
式2.42證明泛化誤差是偏差、方差和雜訊之和。
偏差：度量了學習演算法的期望**與真實結果的偏離程度，表示擬合能力
方差：度量了訓練集的變動所導致的的學習效能的變化，表示資料擾動的影響
雜訊：表達了期望泛化誤差的下界，表示學習問題的難度。
機器學習（周志華版）學習筆記（二）假設空間
科學推理的兩大手段 歸納 從特殊到一般的泛化過程。泛化 從樣本中學習訓練出不在樣本中的資料集的共同特徵 使其適用於整個樣本空間。演繹 從一般到特殊的特化過程。特化 與泛化相反 整體樣本的共同特徵推演出具體特徵。例子理解 編號色澤 根蒂敲聲好瓜1 青綠蜷縮濁響是 2烏黑蜷縮濁響是3 青綠硬挺清脆否 4...
機器學習中評估指標 周志華《機器學習》筆記
問題環境 挑出來的西瓜有多少比例是好瓜 好瓜中有多少被挑出來了 混淆矩陣可以這麼解讀 第乙個字母表示我 的結果對還是錯，t就是true，f就是false 第二個字母表示，我 的是什麼正p positive 還是負 negative 矩陣對角線上的是我 對的 查準率，準確率，precision 挑出來...
機器學習評估方法
訓練 測試集的劃分要盡可能保持資料分布的一致性，避免因資料劃分過程引入額外的偏差而對最終結果產生影響，例如 在分類任務中，至少要保持樣本的類別比例類似。如果從取樣的角度來看待資料集的劃分過程，則保留類別比例的取樣方式稱為 分層取樣 單詞使用留出法得到的估計結果往往不夠穩定可靠，在使用留出法，一般要採...