《andrew ng 機器學習筆記》這一系列文章文章是我再**andrew ng的stanford公開課之後自己整理的一些筆記，除了整理出課件中的主要知識點，另外還有一些自己對課件內容的理解。同時也參考了很多優秀博文，希望大家共同討論，共同進步。
邏輯回歸
在之前的學習中，我們一直使用的是線性回歸，因為我們將目標函式看作是連續變化的。即便當問題不能用線性模型解決，我們也可以使用區域性加權回歸的方法。
對於目標值是離散變數的分類問題來說，線性模型就不是很適用，雖然也有一些分類可以通過線性模型解決，但並不是最好的方法。
對於目標值是離散變數的分類問題，我們假設目標值為，構造乙個新的**函式，這種方法就叫
邏輯回歸。
改變模型使其**值在[0,1]之間，我們選擇這樣乙個函式（
其中函式g被稱為
logistic函式或sigmoid函式。）：
g(z)的函式圖如下：
有了這個函式，對於乙個樣例，我們就可以得到它分類的概率值：
將兩式組合起來，可以簡化得到：
這樣，我們得到了函式h在整個資料集上的似然函式為：
同樣的，為了計算方便，對似然函式取對數：
因為要求最大似然函式，可應用
梯度上公升演算法
，更新引數值：
當有乙個樣本(m==1)時，對l(θ)求導可得：
當有多個樣例時，θ更新為：
上式與最小二乘的形式一樣，實際上，這並不是巧合，這幾乎是一種通用的規則。
你可以選擇不同的假設，但如果使用梯度下降（上公升）演算法的話，得到的更新規則都是這種形式。
感知器演算法
感知器演算法強迫函式輸出為離散值而不是概率。其**函式為：
引數θ的更新規則為：
這樣，就得到了
感知器演算法
。
感知器演算法
coding utf 8 created on thu oct 15 13 58 06 2015 author think 感知器演算法 import mkdata as mk import numpy as np import matplotlib.pyplot as plt n 100 生成測試...
感知器演算法
感知器演算法步驟 1.給出m個帶有標籤的樣本,其中yi 1 or 1 xi xi1,xi2,xin 2.將資料的標籤併入訓練樣本，形成增廣向量，每個資料的維數為n 1 3.在 0,1 均勻分布區間內生成1x n 1 權值矩陣w 4.將資料依次送入感知器進行學習。如果w data k,yk 0 說明訓...
感知器演算法
clc clear all fprintf 感知器演算法 n x 1,4,1 2,6,1 1,2,1 2,2,1 x 0,0,0,1 1,0,0,1 1,0,1,1 1,1,0,1 0,0,1,1 0,1,1,1 0,1,0,1 1,1,1,1 n,n size x 獲取樣本數目和維數 n為樣本數目...