決策樹學習就是學習用來作決策的樹，是一種逼近離散值目標函式的方法，學習到的函式被表示為一棵決策樹
一棵決策樹，一般包含乙個根節點，若干個內部節點和若干個葉子節點，內部節點對應屬性測試，葉子節點對應決策結果，根結點包含全部訓練樣本，從根節點到每個葉子節點的路徑對應了一條決策規則
最佳劃分的度量問題
①熵減最大
②基尼指數減最大
③誤分類率減最大
處理連續屬性值問題
決策樹：①離散屬性②連續屬性–>離散化技術—>①無監督離散化：等深分箱法，等寬分箱法②有監督離散化：二分法
怎樣解決過擬合問題
剪枝：解決過擬合問題的主要手段
預剪枝：在演算法完美劃分訓練資料之前就停止樹生長
後剪枝：允許樹過度擬合訓練資料，然後對樹進行後修剪
使用與訓練樣例截然不同的一套分離的樣例，來評估通過後剪枝從樹上修剪結點的效果；訓練集：形成學習到的假設（2/3作為訓練集）；驗證集：評估這個假設在後續資料上的精度（1/3）
模式識別與機器學習（2）
參考部落格 隨機梯度下降 clear all x load ex2data ex2x.dat y load ex2data ex2y.dat x 1.15 1.9 3.06 4.66 6.84 7.95 10,14,16 x power x,0.5 y power x,0.5 m length y ...
模式識別與機器學習（4）
講了推理，以及主要收穫為，原來是對損失函式求導。不過公式不是很對，因為 clear x load ex4data ex4x.dat y load ex4data ex4y.dat m,n size x x ones m,1 x figure pos find y neg find y 0 plot ...
模式識別與機器學習（5）
clear x load ex5data ex5linx.dat y load ex5data ex5liny.dat x load linear regression ex2data ex2x.dat y load linear regression ex2data ex2y.dat plot x...