3.1定義
對當前輸出y和訓練樣本的預期值之間的誤差的計算，進而用於修正函式的各種引數（如前面線性回歸中的w和z）。
損失函式也常被稱為誤差函式。
損失函式的計算結果越**明引數越準確。
3.2 常見的損失函式
l1 loss：
mse loss：
cross entropy loss：
kl散度loss：
kl散度又叫相對熵，與交叉熵的關係有kld
(p∥q
)=ce
(p,q
)−h(
p)
kld(p\|q)=ce(p,q)-h(p)
kld(p∥
q)=c
e(p,
q)−h
(p)，其中p
pp是真實分布，cece
ce是交叉熵，資訊熵h(p
)=
plog(
p)
h(p)=p\log(p)
h(p)=p
log(p)
。huber loss：
又叫平滑l1損失（smooth l1 loss）。
3.3成本函式
a.定義：即乙個訓練集中所有樣本的損失函式輸出值σ
σσ的平均值，用於衡量當前模型的引數的準確性。平均值越小，引數越準確。
b.公式：
j (ω
,b)=
1m∑i
=1mσ
(y^(
i),y
(i))
=−1m
∑i=1
n[y(
j)
logy^
(i)+
(1−y
)log(
1−y^
(j))
]j(\omega, b)=\frac \sum_^ σ\left(\hat^, y^\right)=-\frac \sum_^\left[y^ \log \hat^+\left(1-y\right) \log \left(1-\hat^\right) \right]
j(ω,b)
=m1
i=1∑
mσ(
y^(
i),y
(i))
=−m1
i=1
∑n[
y(j)
logy^
(i)+
(1−y
)log(1
−y^
(j))
]損失函式與成本函式的區別：
損失函式(loss function)是定義在單個訓練樣本上的，也就是就算乙個樣本的誤差，比如我們想要分類，就是**的類別和實際類別的區別，是乙個樣本的哦，用l表示
代價函式(cost function)是定義在整個訓練集上面的，也就是所有樣本的誤差的總和的平均，也就是損失函式的總和的平均，有沒有這個平均其實不會影響最後的引數的求解結果。
神經網路基礎知識
1 前饋神經網路 前饋神經網路描述的是網路的結構，是指每一層的神經元只接受前一層神經元的輸入，並且輸出到下一層。2 bp神經網路 3 mlp mlp是多層感知機也被稱為多層神經網路，是一種前向結構，包括輸入層 隱藏層和輸出層。至少三層結構 即隱藏層只有一層網路 如圖所示 4 cnn cnn就是著名的...
神經網路基礎知識（神經網路簡介）
一 生物神經網路 神經元的排列和突觸的強度 由複雜的化學過程決定 確立了神經網路的功能。突觸有兩種型別，興奮性突觸和抑制性突觸。前者產生正突觸後電位，後者產生負突觸後電位。抑制性 神經元雖然接收到其他神經元傳遞的資訊，但沒有向外傳遞資訊，該神經元稱 抑制性 的 興奮性 當乙個神經元的樹突接收的興奮資...
（深度學習）神經網路基礎
一 神經網路定義 playground 通過這個位址了解神經網路 1.人工神經網路 artificial neural network，簡寫為ann 也簡稱為神經網路 nn 分別輸入層，輸出層以及隱藏層 2.特點 每個連線都有個權值，同一層神經元之間沒有連線，最後的輸出結果對應的層也稱之為全連線層 ...