梯度下降法計算引數最優解，過程是對代價函式的每個引數求偏導，通過迭代演算法一步步更新，直到收斂到全域性最小值，從而得到最優引數。
正規方程是一次性求得最優解。
思想：對於乙個簡單函式，對引數求導，將其值置為0，就得到引數的值。像下面這樣：
現實例子有很多引數，我們要對這些引數都求偏導數，得到各個引數的最優解，也就是全域性最優解。但是困難在於，這樣做非常浪費時間。
舉例如下：
這裡4個樣本，以及4個特徵變數x1,x2,x3,x4，觀測結果是y，在列代價函式的時候，需要加上乙個末尾引數x0，如下：
再將特徵引數儲存在x矩陣中，對觀測結果做同樣的操作並儲存在向量y中，如圖：
然後我們通過下面這個公式得出引數θ最優解。
關於這個式子推到：
對於乙個訓練樣本的所有特徵引數可以用x(i)向量來表示（注意x0(i)要加上） ，而設計矩陣就可以表示為x，是所有樣本向量的轉置，y是觀測結果的向量，這樣表示之後可以用上面那個公式直接計算θ的最優解。
注意到正規方程有乙個
首先，這是兩個必要條件，
根據性質：r(ata) = r(a)，ata可逆性可轉化為a的可逆性。
第二種：
m < n時，也就是維度小於向量個數，在這裡也就是樣本數小於特徵數，線性相關
m = n時，當|a| = 0時不可逆，|a| != 0時可逆
梯度下降法：
缺點：需要選擇學習率α
需要多次迭代
優點：當特徵引數大的時候，梯度下降也能很好工作
正規方程：
缺點：需要計算，
特徵引數大的時候，計算緩慢
優點：不需要學習率α
不需要多次迭代
總結：取決於特徵向量的個數，數量小於10000時，選擇正規方程；大於10000，考慮梯度下降或其他演算法。
機器學習系列6 正規方程
求乙個函式的引數，例如下面這個方程，我們一般都會用梯度下降法去求。還會不會有其他方法求引數呢？答案是有的，可以用正規方程 normal equation 去求引數。那麼問題來了，什麼是正規方程呢？這個方程長什麼樣子，就讓我們來見識一下。其中 x 是乙個矩陣，這個矩陣的每一行都是一組特徵值，y 是資料...
機器學習 正規方程，正則化
對於某些線性回歸問題，正規方程方法很好解決 fracj theta j 0 假設我們的訓練集特徵矩陣為 x 包含了 x0 並且我們的訓練集結果為向量 y，則利用正規方程解出向量 theta x tx x ty 注意 x tx 如果特徵數量n較大，運算代價就很大，一般小於10000即可 只適用於線性模...
機器學習 線性回歸，梯度下降演算法與正規方程
個人對這方面的理解，文字純手打，來自於coursera的課件 1.線性回歸的定義 給出若干的訓練集 訓練集中x j i 表示樣本j中第i個項 然後擬合為一條直線，使得cost最小 不妨先看乙個例子，拿課程中的例子，賣房 現在已經知道了若干的房子的大小以及賣出去的 現在跟著這些資訊，來推斷一些房子的 ...