房屋面積
房價2104
4001600
330……
房屋面積 → 輸入/特徵x → x(
i)，
房價 → 輸出/目標變數y →y(
i)，
一對x,y叫做訓練樣本，第i個為(x
(i),
y(i)
) m為樣本大小，m個訓練樣本叫做訓練集，
從樣本中得到x和y的關係叫做假設函式，用h表示。 y=
h(x)
=θ0+
θ1x
房屋面積
臥室數房價
2104
3400
1600
2330……
在基礎栗子中，影響房價的因素只有乙個。而在這個栗子中，我們有兩個x，函式變為 hθ
(x)=
θ0+θ
1x1+
θ2x2
其中θ 稱為引數or權重。
n個輸入or特徵時，（設x0
=1） h(x
)=∑i
=0nθ
ixi=
θtx
判斷訓練出來的函式好壞與否，就看h(x)是否足夠靠近y，也就是說要讓二者差值盡量小。根據這個想法得到cost function： j(
θ)=1
2∑i=
1m(h
θ(x(
i))−
y(i)
)2.
這實質上就是普通最小二乘法。
為了讓j(θ)盡量小，我們就需要選擇合適的θ，因此使用梯度下降演算法。 θj
:=θj−
α∂∂θ
jj(θ
) 其中α稱為learning rate，也叫步長。
如果我們只有一對訓練樣本(x
,y) ，帶入計算： ∂∂
θjj(
θ)=∂
∂θj1
2(hθ
(x)−
y)2=
2⋅12
(hθ(
x)−y
)⋅∂∂
θj(h
θ(x)
−y)=
(hθ(
x)−y
)⋅∂∂
θj(∑
i=0n
θixi
−y)=
(hθ(
x)−y
)⋅xj
如果我們有乙個訓練集 θ
j:=θj
+α(y
(i)−
hθ(x
(i))
)⋅x(
i)j.
這叫做lms演算法
機器學習筆記 監督學習，無監督學習，半監督學習
這個問題可以回答得很簡單 是否有監督 supervised 就看輸入資料是否有標籤 label 輸入資料有標籤，則為有監督學習，沒標籤則為無監督學習。什麼是學習 learning 學習 乙個成語就可概括 舉一反三。此處以高考為例，高考的題目在上考場前我們未必做過，但在高中三年我們做過很多很多題目，懂...
機器學習日記 監督學習 無監督學習
監督學習是指 利用一組已知類別的樣本調整 分類器的 引數，使其達到所要求效能的過程，也稱為 監督訓練或有教師學習。無監督學習 現實生活中常常會有這樣的問題 缺乏足夠的 先驗知識 因此難以人工標註類別或進行人工類別標註的成本太高。很自然地，我們希望計算機能代我們完成這些工作，或至少提供一些幫助。根據類...
機器學習中的有監督學習，無監督學習，半監督學習
在機器學習 machine learning 領域，主要有三類不同的學習方法 監督學習 supervised learning 非監督學習 unsupervised learning 半監督學習 semi supervised learning 監督學習 通過已有的一部分輸入資料與輸出資料之間的對應...