第五章 神經網路

單層感知器和啟用函式

亦或問題、與非概念

bp演算法

神經網路中誤差反向傳播(back propagation)演算法的工作原理

標準bp演算法與累積bp演算法（用到隨機梯度下降）

競爭型學習som網路自組織對映

競爭學習演算法

競爭輸出乙個獲勝的（最優的）

向量歸一化

競爭層——輸入層

k-means的乙個再現版本

所有的學習過程都是有序的，所以初始值很重要

徑向基模型rbf網路

隱藏層一共有m個分布

看樣本x屬於哪個分布的概率是多少

f k(

x)=∑

j=1m

wkjϕ

(x,μ

j),k

=1,.

..,k

f_k(x) = \sum_^mw_\phi(x,\mu_j),k=1,...,k

fk​(x)

=j=1

∑m​w

kj​ϕ

(x,μ

j​),

k=1,

...,

k常用高斯徑向基函式

ϕ (x

,μj)

=d−∣

∣x−μ

j∣∣2

2σj2

\phi(x,\mu_j)=d^}

ϕ(x,μj

​)=d

−2σj

2​∣∣

x−μj

​∣∣2

​其中(m,

k×m,

μj,σ

j)

(m,\\}_,\mu_j,\sigma_j)

(m,k×m

​,μj

​,σj

​)是引數

第五章 卷積神經網路

1單選 2分 已知兩層3 3的卷積核與一層5 5的卷積核具有相同的感受野，那麼前者 3 3 和後者 5 5 的參數量和計算量是什麼關係 特徵圖尺寸為32 2單選 2分 在批標準化 bn 操作中，如果batch size大小為32，特徵圖深度為16，那麼該bn層的總引數以及可訓練引數個數分別為 3單選...

機器學習第五章 神經網路1

1 定義 神經網路是由具有適應性的簡單單元組成的廣泛並行相連的網路，他的組織能夠模擬生物神經系統對真實世界物體作出互動反應 2神經網路中最基本的成分是神經元模型。3sigmoid函式可以把較大範圍內的輸入值，擠壓到0 1的輸入值範圍內 4感知機由兩層神經元組成，包括輸入層和輸出層。輸出層是mp神經元...

機器學習 第五章神經網路 學習筆記

神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，它的組織能夠模擬生物神經系統對真實世界物體所做出的的互動反應。乙個神經元會接收到來自其他n個神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權重的連線進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然後通過啟用函式處理以產生神經元的輸出...