一、監督學習
從給定的訓練資料集中學習出乙個函式（模型引數），當新的資料到來時，可以根據這個函式**結果。監督學習的訓練集要求包括輸入輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。監督學習就是最常見的分類（注意和聚類區分）問題，通過已有的訓練樣本（即已知資料及其對應的輸出）去訓練得到乙個最優模型（這個模型屬於某個函式的集合，最優表示某個評價準則下是最佳的），再利用這個模型將所有的輸入對映為相應的輸出，對輸出進行簡單的判斷從而實現分類的目的。也就具有了對未知資料分類的能力。監督學習的目標往往是讓計算機去學習我們已經建立好的分類系統（模型）。
監督學習是訓練神經網路和決策樹的常見技術。這兩種技術高度依賴事先確定的分類系統給出的資訊，對於神經網路，分類系統利用資訊判斷網路的錯誤，然後不斷調整網路引數。對於決策樹，分類系統用它來判斷哪些屬性提供了最多的資訊。
常見的有監督學習演算法：回歸分析和統計分類（regression&classification）。
二、無監督學習
輸入資料沒有被標記，也沒有確定的結果。樣本資料類別未知，需要根據樣本間的相似性對樣本集進行分類試圖使類內差距最小化，類間差距最大化。通俗點就是實際應用中，不少情況下無法預先知道樣本的標籤，也就是說沒有訓練樣本對應的類別，因而只能從原先沒有樣本標籤的樣本集開始學習分類器設計。
非監督學習目標不是告訴計算機怎麼做，二是讓它自己去歇息怎樣做事情。非監督學習有兩種思路/第一種思路實在指導agent時不為其指定明確分類，而是在成功時，採用某種形式的激勵制度。需要注意的是，這類訓練通常會置於決策問題的框架裡，因為它的目標不是為了產生乙個分類系統，而是做出最大回報的決定，這種思路很好的概括了現實世界，agent可以對正確的行為做出激勵，而對錯誤行為做出懲罰。
三、二者不同點
1.有監督學習方法必須要有訓練集和測試樣本。在訓練集中找規律，而對測試樣本使用這種規律。而非監督學習沒有訓練集，只要一組資料，在該組資料集內尋找規律。
2.有監督學習的方法就是識別事物，識別的結果表現在待識別資料加上了標籤。因此訓練樣本集必須 必須由帶標籤的樣本組成。而非監督學習方法只要有分析的資料集的本身，預先沒有什麼標籤。如果發現資料集呈現某種聚集性，則可按自然的聚集性分類，但不予以某種預先分類標籤對上號為目的。
3.非監督學習方法在尋找資料集中的規律性這種規律性並不一定達到劃分資料集的目的，也就是說不一定要分類
4.用非監督學習方法分析資料集的主分量與用k-l變換計算資料集的主分量又有區別。後者從方法上講不是學習方法。因此用k-l變換找主分量不屬於無監督學習方法，即方法上不是。而通過學習逐漸找到規律性這體現了學習方法這一點。在人工神經元網路中尋找主分量的方法屬於無監督學習方法。
概念學習記錄
靜態方法 不對特定例項進行操作，靜態方法只能訪問類中的靜態成員，而不能使用例項成員，訪問靜態方法只能使用類名，而不需要建立物件，也不能使用物件名來引用。例項方法 可以使用類的任何成員，呼叫例項方法時，必須使用類的例項或物件來引用，例項方法對類的某個給定的例項進行操作，在例項方法類中可以使用this來...
機器學習 Bayesian概念學習
這篇文章中我想由beta分布 二項分布這組常用的共軛分布來介紹bayesian概念學習 concept learning 在開始之前，我想先回答兩個問題。第一，機器學習中為什麼要引入概率？在機器學習中，我們通過已知的資訊希望能夠推斷出一些未知的資訊，但在推斷過程中有時並不能唯一確定目標值，這時便可以...
機器學習導論 概念學習
一 概念學習 是指從有關某個布林函式 是或否 的輸入輸出訓練樣例中推斷出該布林函式 二 訓練集 訓練樣例 用來進行訓練，也就是產生模型或演算法的資料集 三 測試集 測試樣例 通常只知道特徵，用來進行 用來專門進行測試已經學習好的模型或演算法的資料集 四 特徵向量 屬性的集合，通常用乙個向量來表示，附...