@(機器學習演算法)
感知機2023年由rosenblatt提出，是神經網路與支援向量機的基礎，對神經網路的學習與深度學習有著重要的意義。感知機（ perceptron）是二類分類的線性分類模型，其輸入為例項的特徵向量，輸出為例項的類別，取+1和-1值。
感知機對應於輸入空間（特徵空間）中將例項劃分為正負兩類的分離超平面，屬於判別模型。感知機學習的目的是旨在求出將訓練資料進行線性劃分的超平面，為此，引入基於誤分類的損失函式，利用梯度下降法對損失函式進行極小化，求得感知機模型。感知機的演算法具有簡單易於實現的特點，分為原始形式和對偶形式。
定義：假設輸入空間（特徵空間）是 x∈rnx∈r
n，輸出空間是 y∈y∈
，輸入x∈xx∈
x表示例項的特徵向量，是輸入空間（特徵空間）的點；輸出y∈
y y∈y
表示例項的類別。由輸入空間到輸出空間由如下的函式： y=
sign
(w∗x
+b) y=s
ign(
w∗x+
b)
該函式稱為感知機，其中w和b是引數，w∈rnw
∈r
n稱為權值（weight）或者權值向量（weight vector），b∈
r b∈r
叫做偏置（bias）， w*r表示w和r的內積，sign是符號函式，即 si
gn(x
)={+
1−1if x >= 0
if x< 0
(1) (1)si
gn(x
)={+
1if x >= 0−1
if x< 0
假設訓練資料集是線性可分的，感知機學習的目標是求得乙個能夠將訓練資料集正例項點和負例項點完全正確分開的分離超平面。為了找出這樣的超平面，即需要確定模型的引數w和b，需要確定乙個學習策略，即定義經驗損失函式並將損失函式極小化。損失函式的選擇：
損失函式的計算 y
=1||
w||∑
xiin
m|w∗
x0+b
| y=1
||w|
|∑xi
inm|
w∗x0
+b
|- 不考慮y=
1||w
||y =1
||w|
|，就得到感知機的算是函式
minw,b
l(w,
b)=−
∑xi∈
myi(
w∗xi
+b) minw,
bl(w
,b)=
−∑xi
∈myi
(w∗x
i+b)
感知機學習演算法是誤分類驅動的，具體做法是採用隨機梯度下降法(stochastic gradient descent)。首先，任意選取乙個超平面w0稍後介紹；,b0 w0,
b0
，然後採用梯度下降法不斷極小化上面的目標函式；極小化的過程中不是一次使m中的所有誤分類點的梯度下降，而是一次隨機的選取乙個誤分類點進行梯度下降。
對目標函式求梯度（偏導數） ∇w
l(w,
b)=−
∑xi∈
myix
i ∇wl
(w,b
)=−∑
xi∈m
yixi
∇bl(w
,b)=
−∑xi
∈myi∇b
l(w,
b)=−
∑xi∈
my
i接著隨機選取乙個誤分類點，進行w，b更新；
梯度下降前面已經介紹過，這裡就不繼續介紹了。
白話機器學習演算法（二）KNN
knn是一種分類演算法，在現實生活中，我們看乙個人怎麼樣，可以看他的朋友怎麼樣，至少說這樣推斷的可信度比較高 knn就是這種思想。1 初始化輸入為有標籤樣本 2 當我們得到乙個新樣本的時候，我們就看這個新樣本的半徑為r的周圍，各種有標籤樣本的比例，哪種標籤佔的比例最高，我們就給這個新樣本打上這個標籤...
白話機器學習演算法（四）K means
k means演算法是一種無監督聚類演算法，還是打個比方吧 1 現在房間裡有一群人，各自隨機站在房間裡，這時候有個上帝，隨機挑選了房間裡k個人當k個小組的領導 2 選完領導，每個人開始站隊了，找離自己最近的那個領導，表示自己是那一隊的 3 站完隊，大家開始不滿了，要求重新選領導，選誰？選這一小組的中...
白話機器學習演算法（七）LDA
lda也是一種線性變換，其整個證明過程與pca非常相似，找到目標函式，利用特徵值，但是其跟pca的目標是不同的，pca目的是在新座標系中方差最大，lda則是在新座標系中，類內方差盡量小，類間距離盡量大，並以這兩個指標定義乙個目標函式，通過最大化這個目標函式然後得到相應的對映方法，即新座標系 這兩者本...