我們開始吧！！！
m：訓練集的樣本個數
x』s：輸入變數/特徵
y』s：輸出變數/特徵
(x, y)：乙個訓練樣本
(x(i), y(i))：第i個訓練樣本
h：假設函式，h maps from x』s to y』s
= 表示判斷
:= 表示賦值
我們要做regression，那麼應該最小化平均誤差值，即優化函式為：
所以我們定義代價函式j(θ0, θ1)為：
注意：j是θ的函式
假設我們需要擬合的資料為房屋面積與房價，做一次線性回歸：
則針對不同的θ0, θ1，有不同的代價函式值，j(θ0, θ1)為三維空間中的乙個曲面：
轉化為等高線圖：
故更好的假設函式的引數θ0, θ1對應更小的假設代價函式值，直觀上看就是尋找j(θ0, θ1)在空間中的最低點。
α：學習率
注意：θ0, θ1要同步更新左下為正確的更新步驟，右下為不正確的更新步驟：
令自變數向著令因變數（代價函式）減小的方向變化，而每次變化的幅度大小由學習率和當前位置的偏導數確定。
如果處於區域性最低點，則梯度下降結束。但是線性回歸的代價函式沒有區域性極小值，總是乙個碗狀的函式（凸函式）。
注意：我們每一步得到更新都用到了訓練集中所有樣本的偏導數，這又稱為「bach」梯度下降
以後的課程中會使用normal equations methods 來求代價函式j的最小值，不需要用迭代即可。
線性模型（二） 線性回歸公式推導
我們在初中學習線性方程的時候就已經接觸過回歸的相關概念，在這裡簡單介紹一下機器學習中的 回歸 機器學習的目的有兩個 回歸和分類，回歸是解決連續資料的 問題，而分類是為了解決離散資料的 問題。線性回歸是機器學習演算法中最簡單的演算法之一，它是監督學習的一種演算法，主要思想是在給定訓練集上學習得到乙個線...
TensorFlow入門篇 二 線性回歸
理論知識 環境 python 3.7 tensorflow 1.12 numpy 1.15.4 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt 生成帶有雜訊的隨機點 x data np.linspa...
（二）線性分類器 上
線性分類概述 這次我們介紹一種更強大的方法來解決影象分類問題，這個方法主要有兩部分 評分函式，它將對影象進行每個類別的評分。另外一部分是損失函式，它將衡量類別得分與真實標籤之間的差異。最終將影象分類問題轉化為乙個最優化問題，在優化過程中，一步一步更新評分函式的引數來減低我們的損失函式值。從影象到標籤...