本章由線性回歸開始。
treaingset（訓練集）一些已經確定的資料。
learing algorithm（學習演算法）該演算法會輸出乙個函式（假設函式）,該函式引導從x到y。
size of house ? h（函式） ? pricce
在這裡單變數指的是x只有乙個。
本章及以後經常用到的變數：
m：訓練樣本的數量。
x：輸入變數。
y：輸出 .
假設函式：引導從x到y的函式，我們希望它越得出的y值與真實值越接近越好，這樣我們給出估計的x值它就能給出更加貼近真實的y值。
代價函式：為尋找到合適的假設函式引數，從而得到更適合的假設函式。而合理引數是根據代價函式最小化得到的。
e.g注：本例中用a代替threat
在本章的例子中,代價函式的作用就是尋找兩個變數a1和a2，使得**值與樣本中的值的誤差盡量減小。其具體做法為：對 **值減去樣本中已給的真實值的平方 進行求和。最後再除以2m（m為樣本的數量，前面已提到）進行簡化形成代價函式。然後對應不同的a1和a2代價函式的值也不相同，找到最小的得出對應的a1和a2，然後將其反代給假設函式，達到其目的。
在本圖中h(x)為假設函式，而j(a1)為代價函式，當a1取值為1時j(a1)有最小值，所以選a1=1，帶回至h(x)。
平方誤差：解決回歸問題最常用的手段。
但在一些問題中我們可以看到，引數值不止乙個這個時候如何確定代價函式最小值那？畫圖是乙個不錯的選擇，但一旦引數過多我們無法正確的將對應的影象畫出來。這個時候就引入了乙個新的演算法---梯度下降演算法。
梯度下降演算法：其演算法的思想在下面的例子中給出解釋。
eg：以j(a0,a1)為例。開始時（a0=0，a1=0)不斷的給它們其他的值，使得j(a0,a1)變小，直到我們找到j(a0,a1)的最小值或區域性最小值。更形象的說法如下。
但我們稍微思考就會發現乙個問題，如果初始點不同，那麼最低點是否會相同那？答案是不同。不同的初始點那麼最後收斂的點也不相同。下面給出梯度下降演算法的具體數學公式。
其中α代表學習率，我們不難看出學習率越大那麼下降的速度就越快。而其中的倒數項(在本公式中是偏導)，則確定其下降的方向(以只有乙個引數為例，當斜率大於0時，我們不難得出該點位於上公升段，因此要求其最小點，該點應向後移動，而學習率永遠大於0，因此決定aj是增大還是減小就需要 後面的倒數來確定了。此時倒數大於0，因此aj:=aj-α d(j(a0,a1))/d(aj),所以aj向後移動，即變小。同理當該點處於下降段aj需要增大時，其倒數為負數，所以可得aj:=aj-α d(j(a0,a1))/d(aj)，即aj增大）。
注：當該點逐漸移動到最低點或及低點時，我們不難得出影象的斜率越來越趨於0，因此反映出來就是，變化率越來越小，如果是乙個人下山，那麼他的步伐約接近山底那麼步伐越小。
但梯度下降演算法也有自己的不足，如果學習率過大那麼其反應出的影象變化大致如下
可以認為這個人每一步都太大，當他到達山谷時，他下一步直接踏到另乙個山坡上了。而當學習率過小時雖然不會出現這樣的情況，但其變化率卻會很小。
有一點思考的是，假如剛開始該點就已經在最低點那麼梯度演算法會怎樣那？
答案是不變，因為最低點的斜率為0.那麼原式就會變成aj:=aj 不會變化。
現在我們還要回到問題的本質
我們因為要對樣本給出的x和y建立函式關係以及確定我們以後能估計的y值，我們提出假設函式。而為了使得假設函式的**值接近訓練集中的樣本，我們提出代價函式以此來確定合適的引數將其反代給假設函式。而代價函式求引數的方法就是最小化代價函式，我們一般採取畫圖然後取代價函式最小值的方法來確定代價函式最小值，但如果引數過多，影象我們無法得出，我們為了得出包含多個引數的代價函式的最小值提出梯度下降演算法。準備工作已經做完。
我們先將其列出如下圖所示。左邊梯度下降演算法的數學表示式，右邊為假設函式和代價函式。
注：今天又一次看筆記想著為什麼假設函式要求最小的那？最後想到其取值為**值減去真實值平方的累加。這樣的話，其值越小，那麼**值與真實值之間的差值越小。**的越準確。
現在，我們要做的就是將其帶入。如下圖。
即
這便是最終結果。即線性回歸演算法。
吳恩達機器學習 第二章 單變數線性回歸
我們知道機器學習可以分為監督學習和無監督學習，簡單來講監督學習就是每個樣本都有正確的答案，而無監督學習沒有。監督學習又包括了回歸問題和分類問題，回歸問題就是 乙個具體數值的輸出，分類問題就是 離散值的輸出 線性回歸解決的是最小化問題，接下來我們要學的代價函式和梯度下降函式就為我們提供的是我們要最小化...
吳恩達機器學習 單變數線性回歸 學習筆記
說明 本文是本人用於記錄學習吳恩達機器學習的學習筆記，如有不對之處請多多包涵.一 模型的描述 下面的這張是對於課程中一些符號的基本的定義 吳老師列舉的最簡單的單變數線性回歸方程 二 代價函式 這節課的主要目標是如何選擇這個模型的兩個引數 下圖是吳老師的分析怎麼將模型轉化求解需要的兩個引數 h x 的...
機器學習筆記 吳恩達 一 單變數線性回歸
代價函式詳解 梯度下降法 個人blog 我們有關於房屋面積和房屋 的資料集，現在想擬合一條直線通過房屋的面積來 房屋 這條直線應該盡可能的符合已有的資料。這裡我們簡單的假設該直線的方程為 h x x h x theta x h x x其中x表示房屋的面積，h x 表示 出的房價。有了這個假設函式我們...