本篇主要講支援向量機，關於決策邊界
在上面這個圖中，如何區分正例和負例，前面我們講過的最近鄰，識別樹，神經網路三種方法，他們的決策邊界的畫法可以是上面這樣。然而支援向量機的概念與他們都不同，是通過畫直線的方式，找到一條直線（圖中虛線），能夠將分割正負例的街道最寬。
首先我們要考慮，如何制定一條決策規則來使用這個決策邊界。
我們有乙個向量w，它垂直於中線，長度未知。然後還有乙個未知位置u，有乙個向量指向它，現在我們感興趣的是，這個未知位置是位於街道的左側還是右側。因此，我們將u投影到w上，這樣就有了u在w方向的距離，從而判斷出未知位置在右側還是左側。我們可以寫出公式，向量w點成u是否大於某個常數c，點積的作用就是向w投影，如果大於等於，那麼就是在街道右側。改寫一下形式，得到上圖框中的決策規則。
現在，我們還不知道w和b，b是位置常數，w我們只知道他是垂直於中線的向量。現在我們要新增一些約束條件。讓我們能夠計算出乙個b和乙個w。
我們對上面的公式w點成u+b>=0作進一步約束。假設向量w和乙個正例相量xi+的點積+b>=1，向量w和乙個負例相量xi-的點積+b<=1。如上圖，並設yi，當使用的是正例時，yi=+1，當使用的是負例時，yi=-1；用yi乘以前式，得到乙個對於正例負例都相同的式子，同時，對於邊界例子，我們假設是等於0的。
現在，讓我們再回顧一下最初的問題，我們想求出如何設定直線，讓街道能夠以最寬的形式分割正例和負例。所以我們還需要表達出兩個邊緣之間的距離。
重新畫一下圖，我們標記街道邊緣的乙個正例x+和乙個負例x-，那麼x+ - x- 點成垂直於街道的單位向量就得到街道的寬度。我們得到上圖中的wide式子，重要的是，根據
到這裡，轉化為求極值問題，而且是條件極值，即在所有這些未知點xi的情況下求（1/2|w|的平方）的最小值。使用拉格朗日函式。得到這個公式
條件極值，對他求導。對向量求導和對標量求導一樣。
由這裡，我們發現，w是未知向量xi的線性和。
同理還能得到對b的偏導。
然後，我們再把偏導的結果反代回去。
即求這個式子的極值。
關注這個式子，我們發現，極值的結果只與未知向量之間的點積有關。
重新整理我們得到乙個全新的額決策規則。
向量w用未知向量的點積表示。
麻省理工公開課人工智慧筆記六
此節課程的目的是根據乙個線條圖，確定其中有多少個物體 例如下面這張圖，我們可以觀察得出其中有兩個物體 第乙個方法是guzman的貢獻，他研究了大量的積木模型，得出乙個結論，三個面的交點有以下兩種表示，稱其為鏈結 第乙個箭頭表示箭頭兩側的面在乙個物體上，第二個叉表示三個面在同乙個物體上。根據這種思路，...
麻省理工公開課人工智慧筆記九
本篇主要關於最近鄰學習思想 下面是關於人類學習的乙個簡單總結 最近鄰演算法是一種基於模式識別的演算法，他的主要流程如下 首先有乙個特徵檢測器，他檢測進入的物體並輸出其特徵，所有輸出值組成乙個向量進入乙個比較器，並於庫中可能存在的向量值進行比較，輸出乙個值。用下面這四種插座蓋來做例子 每個插座蓋都要檢...
麻省理工公開課人工智慧筆記十三
本篇主要講聲韻學的機制。基於英語 英語中dog的複數dogs最後發音為z，二cat的複數cats最後發音為s，為什麼這樣，基於區別性特徵理論，如下 人發出的聲音進入耳朵，得到處理，並生成乙個區別性特徵向量的序列，區別性特徵是乙個二進位制變數，例如音是否有聲，即發音時聲帶是否震動，震動就是有聲 否則就...