首先，有兩個概念：歸納和演繹。簡言之，歸納就是特殊推一般，演繹就是一般推特殊。機器學習是從大量樣本訓練，再利用測試資料進行測試。很顯然，機器學習屬於歸納的過程，亦稱：歸納學習。
以西瓜舉例，西瓜成熟與否和西瓜的色澤、根蒂、敲聲這三個屬性有關係，色澤的屬性值：烏黑、青綠。根蒂的屬性值：蜷縮、硬挺。敲聲的屬性值：濁響、沉悶。由這三種屬性值可以構成24種不同的組合，這稱為假設空間。其中，滿足（色澤：烏黑，根蒂：蜷縮，敲聲：濁響）其中任意乙個屬性可以認為是好瓜。
通過學習得到的模型對應了假設空間的乙個假設。但是，假如現在有三個與訓練集一致的假設，但是他們對應的模型在遇到相同的問題時，會產生不同的**結果。那麼，應該選擇哪種模型？我們無法通過訓練模型得知哪個模型「更好」。這時，學習演算法本身的「偏好」就會起到決定性作用。機器學習演算法在學習過程中對某種型別假設的偏好，稱為：「歸納偏好」。
任何乙個有效的機器學習演算法必有歸納偏好，否則它將被假設空間中看似在訓練集上等效的假設所迷惑，而無法產生確定的學習結果。
演算法的歸納偏好可以通過「奧卡姆剃刀」來實現，即，「若有多個假設與觀察一致，則選最簡單的那個」。如何選擇「最簡單」？難易的標準又是什麼？需要nfl（no free lunch theorem）定理解決。
機器學習西瓜書 學習筆記（一） 緒論
開始學ml了！第一次用csdn寫blog，聊以自娛，也算是監督和動力叭 基本概念 機器學習 研究如何通過計算的手段，利用經驗來改善系統自身的效能 研究物件 學習演算法 統計學習 是一套以理解資料為目的的龐大工具集 學習演算法 在計算機上從資料中產生模型的演算法l mathcal l 模型 學習器 從...
Abee 吃掉西瓜 西瓜書學習筆記（七）
內容包含 第八章 整合學習一般是多個個體學習器以某種策略結合起來，其中的個體學習器可以是同質 homogeneous 的，成為 基學習演算法 也可以是異質 heterogenous 的，個體學習器成為元件學習器 component learner 目前的整合學習主要分兩類 1.序列進行的序列化方法，...
西瓜書 學習筆記 （1）緒論
個人自學筆記，內容摘自原書 個人理解，不一定正確，若有誤，歡迎指出。機器學習的定義 假設用p來評估電腦程式在某任務類t上的效能，若乙個程式通過利用經驗e在任務t中獲得了效能改善，則我們就說關於t和p，該程式對e進行了學習。mitchell,1997 通俗地說，機器學習即是通過學習演算法，從經驗 資料...