一、假設空間
科學推理的兩大手段：歸納（induction）和演繹（deduction）
歸納：泛化過程，從具體的事實歸結出一般性規律
演繹：特化過程，從基礎原理推演出具體狀況
學習過程可以看作乙個在所在假設組成的空間中進行搜尋的過程，搜尋目標是找到與訓練集「匹配」（fit）的假設，即可以將訓練集中的樣本判斷正確的結果。學習過程基於有限樣本集時，所得到的與訓練集一致的「假設空間」可以稱為「版本空間」。
二、歸納偏好
歸納偏好可看做學習演算法自身在乙個龐大的假設空間中對假設進行選擇的啟發式或「價值觀」，對應了學習演算法本身所做出的關於「什麼樣的模型更好」的假設，即演算法的歸納偏好是否與問題本身匹配。
三、學習領域和渠道
機器學習最重要的國際學術會議時國際機器學習會議（icml）、國際神經資訊處理系統會議（nips）和國際學習理論會議（colt），重要的區域性會議主要有歐洲機器學習會議（ecml)和亞洲機器學習會議（acml)；最重要的國際學術期刊時journal of machine learning research 和machine learning；人工智慧領域的重要會議如ijcai、aaai以及重要期刊如artificial intelligence、journal of artificial intelligence research，資料探勘領域的重要會議如kdd、icdm以及重要期刊如acm transaction on knowledge discovery from data、data mining and konwledge discovery，計算機視覺與模式識別領域的重要會議如cvpr以及重要期刊ieee transacitons on pattern analysis and machine intelligence，神經網路領域的重要期刊如neural computation，ieee transactons on neural networks and learning systems等。
周志華機器學習筆記（一）
新人一枚，既是機器學習的初學者，也是首次發部落格。謹以此記錄我的學習體會，做一些總結。望與大家共同學習 共同進步。文中若有內容錯誤或有措詞不嚴謹之處，望大家不吝指出。謝謝！根據上圖我們可以用乙個三維空間來了解以下幾個基本術語。屬性與屬性值 屬性反映事件或物件在某方面的表現或性質的事項，在此圖表示為軸...
機器學習周志華筆記
1，監督學習 分類 回歸 無監督學習 聚類 2，決策樹 根據資訊增益的大小來確定節點 資訊熵 描述事務確定性程度的值 需要多少個bit來描述資訊 ent d pklog2pk 資訊增益 資訊熵 某個屬性劃分的平均資訊熵 該屬性劃分純度 3，支援向量機中對超平面的理解 劃分超平面用以下線性方程表示 w...
周志華 機器學習 筆記
學習演算法自身的歸納偏好與問題是否相配，往往會起到決定作用。對於上面這句話 你的輸入資料被怎麼處理，最終得到什麼結果，我認為偏好指的就是這個處理的過程。線性非線性？那些feature忽略掉？怎麼利用這些資料？更具體一些，你用網路處理，還是傳統方法，資料的分布和你的處理方法相符嗎？沒有免費的午餐定理 ...