1.決策樹是一種常見的機器學習方法，也稱為「判定樹」。決策樹是基於樹結構來進行決策的。
2.決策過程的最終結論對應了我們所希望的判定結果。決策過程中提出的每個判定問題都是對某個屬性的「測試」。每個測試的結果或是匯出最終結論，或是匯出進一步的判定問題，其考慮範圍是在上次決策結果的限定範圍之內。
3.一顆決策樹包含乙個根節點、若干個內部結點和若干個葉結點。
4.決策樹學習的目的是為了產生一顆泛化能力強，即處理未見示例能力強的決策樹，其基本流程遵循簡單且直觀的「分而治之」策略。基本演算法如下：
（1）當前結點包含的樣本全屬於同一類別，無需劃分；
（2）當前屬性集為空，或是所有樣本在所有屬性上取值相同，無法劃分；
（3）當前結點包含的樣本集合為空，不能劃分。
一般而言，隨著劃分過程不斷進行，我們希望決策樹的分支結點所包含的樣本盡可能屬於同一類別，即結點的「純度」越來越高。
1.資訊增益
2.增益率
3.基尼指數
剪枝是決策樹學習演算法對付「過擬合」的主要手段。
1.連續值處理
2.缺失值處理
現實任務中常會遇到不完整樣本，即樣本的某些屬性值缺失。
多變數決策樹就是能夠實現「斜劃分「甚至更複雜劃分的決策樹。在多變數決策樹的學習過程中，不是為每個非葉結點尋找乙個最優劃分屬性，而是試圖建立乙個合適的線性分類器。
1.神經網路中最基本的成分是神經元模型，即」簡單單元「。」m-p神經元模型「---在這個模型中，神經元接收到來自n個其他神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權重的連線進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然後通過」啟用函式「處理以產生神經元的輸出。
2.理想中的啟用函式是階躍函式，但階躍函式具有不連續、不光滑等不太好的性質，實際常用sigmoid函式作為啟用函式，也稱為」擠壓函式「。
3.把許多個神經元按一定的層次結構連線起來，就構成了神經網路。
1.感知機是由兩層神經元組成。
2.多層功能神經元--解決非線性可分問題。
3.神經網路學習的過程就是根據訓練資料來調整神經元之間的」連線權「（connection weight）以及每個功能神經元的閾值。
1.多層網路的學習能力比單層感知機強得多，誤差逆傳播演算法是用於訓練多層網路的代表演算法，它是迄今為止最成功的神經網路學習演算法。bp演算法不僅可用於多層前饋神經網路，還可用於其他型別的神經網路，例如訓練遞迴神經網路，但通常說」bp網路「時，一般是指用bp演算法訓練的多層前饋神經網路。
2.bp演算法基於梯度下降策略，以目標的負梯度方向對引數進行調整。
3.bp演算法的工作流程：先將輸入示例提供給輸入層神經元，然後逐層將訊號前傳，直到產生輸出層的結果；然後計算輸出層的誤差，再將誤差逆傳播至隱層神經元，最後根據隱層神經元的誤差來對連線權和閾值進行調整。該迭代過程迴圈進行，直到達到某些停止條件為止。
4.bp演算法的目標是要最小化訓練集d上的累積誤差。
5.標準bp演算法--每次僅針對乙個訓練樣例更新連線權和閾值，引數更新頻繁，對不同樣例進行更新的效果可能出現」抵消「現象。
累積bp演算法--根據標準bp演算法推導出基於累積誤差最小化的更新規則，直接針對累積誤差最小化，引數更新頻來低，但在很多任務中，累積誤差下降到一定程度之後，進一步下降會非常緩慢，這時標準bp演算法往往會更快獲得較好的解。
6.緩解bp網路的過擬合
引數空間內梯度為零的點，只要其誤差函式值小於鄰點的誤差函式值，就是區域性極小點。可能存在多個區域性極小值，但卻只會有乙個全域性最小值。
1.rbf網路--單隱層前饋神經網路，它使用徑向基函式作為隱層神經元啟用函式，而輸出層則是對隱層神經元輸出的線性組合。
2.art網路--競爭型學習是神經網路中一種常用的無監督學習策略，在使用該策略時，網路的輸出神經元相互競爭，每一時刻僅有乙個競爭獲勝的神經元被啟用，其他神經元的狀態被抑制，這種機制也稱為」勝者通吃「原則。art網路是競爭型學習的重要代表。
3.som網路--競爭學習型的無監督神經網路，它能將高維輸入資料對映到低維空間，同時保持輸入資料在高維空間的拓撲結構，即將高維空間中相似的樣本點對映到網路輸出層中的鄰近神經元。
4.級聯相關網路--一種結構自適應網路。級聯是指建立層次連線的層級結構，在開始訓練時，網路只有輸入層和輸出層，處於最小拓撲結構，隨著訓練的進行，新的隱層神經元逐漸加入，從而建立起層級結構。當新的隱層神經元加入時，其輸入端連線權值是凍結固定的。相關是指通過最大化新神經元的輸出與網路誤差之間的相關性來訓練相關的引數。
5.elman網路--一種遞迴神經網路。隱層神經元的輸出被反饋回來，與下一時刻輸入層神經元提供的訊號一起，作為隱層神經元在下一時刻的輸入。
6.boltzmann機--基於能量的模型，其神經元分為顯層與隱層。顯層用於表示資料的輸入與輸出，隱層則被理解為資料的內在表達。boltzmann機的訓練過程就是將每個訓練樣本視為乙個狀態向量，使其出現的概率盡可能大。
機器學習（周志華） 西瓜書簡要筆記（2）
1.錯誤率 分類錯誤的樣本數佔樣本總數的比例。精度 精度 1 錯誤率 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 學習器在訓練集上的誤差，也稱為 經驗誤差 泛化誤差 在新樣本上的誤差 2.過擬合 當學習器把訓練樣本學得 太好 了的時候，很可能已經把訓練樣本自身的一些特點當作了所有潛...
《機器學習（周志華）》 西瓜資料集3 0
書上的乙個常用資料集 編號,色澤,根蒂,敲聲,紋理,臍部,觸感,密度,含糖率,好瓜 1,青綠,蜷縮,濁響,清晰,凹陷,硬滑,0.697,0.46,是 2,烏黑,蜷縮,沉悶,清晰,凹陷,硬滑,0.774,0.376,是 3,烏黑,蜷縮,濁響,清晰,凹陷,硬滑,0.634,0.264,是 4,青綠,蜷縮...
周志華西瓜書筆記 1 3 假設空間
歸納 induction 是從特殊到一般的 泛化 generalization 過程,即從具體的事實歸結出一般性規律 演繹 deduction 是從一般到特殊的 特化 specialization 過程,即從基礎原理推演出具體狀況.e.g.在數學公理系統中,基於一組公理和推理規則推導出與之相洽的定理...