1.1.1 基本函式及其導數
公式序號 函式 導數 備註
1 y=c y′=0
2 y=xa y′=axa−1
3 y=logax y′=1xlogae=1xlna
4 y=lnx y′=1x
5 y=ax y′=axlna
6 y=ex y′=ex
7 y=e−x y′=−e−x
8 y=sin(x) y′=cos(x) 正弦函式
9 y=cos(x) y′=−sin(x) 余弦函式
10 y=tg(x) y′=sec2(x)=1cos2x 正切函式
11 y=ctg(x) y′=−csc2(x) 餘切函式
12 y=arcsin(x) y′=11−x2√ 反正弦函式
13 y=arccos(x) y′=−11−x2√ 反余弦函式
14 y=arctan(x) y′=11+x2 反正切函式
15 y=arcctg(x) y′=−11+x2 反餘切函式
16 y=sinh(x)=(ex−e−x)/2 y′=cosh(x) 雙曲正弦函式
17 y=cosh(x)=(ex+e−x)/2 y′=sinh(x) 雙曲余弦函式
18 y=tanh(x)=(ex−e−x)/(ex+e−x) y′=sech2(x)=1−tanh2(x) 雙曲正切函式
19 y=coth(x)=(ex+e−x)/(ex−e−x) y′=−csch2(x) 雙曲餘切函式
20 y=sech(x)=2/(ex+e−x) y′=−sech(x)∗tanh(x) 雙曲正割函式
21 y=csch(x)=2/(ex−e−x) y′=−csch(x)∗coth(x) 雙曲餘割函式
1.1.2 導數四則運算
[u(x)+v(x)]′=u′(x)+v′(x)(30)
[u(x)−v(x)]′=u′(x)−v′(x)(31)
[u(x)∗v(x)]′=u′(x)∗v(x)+v′(x)∗u(x)(32)
[u(x)v(x)]′=u′(x)v(x)−v′(x)u(x)v2(x)(33)
1.1.3 偏導數
如z=f(x,y)，則z對x的偏導可以理解為當y是個常數時，z單獨對x求導：
z′x=f′x(x,y)=∂z∂x(40)
則z對y的偏導可以理解為當x是個常數時，z單獨對y求導：
z′y=f′y(x,y)=∂z∂y(41)
在二元函式中，偏導的何意義，就是對任意的y=y0的取值，在二元函式曲面上做乙個y=y0切片，得到z=f(x,y0)的曲線，這條曲線的一階導數就是z對x的偏導。對x=x0同樣，就是z對y的偏導。
1.1.4 復合函式求導（鏈式法則）
如果 y=f(u),u=g(x) 則：
y′x=f′(u)⋅u′(x)=y′u⋅u′x=dydu⋅dudx(50)
如果y=f(u),u=g(v),v=h(x) 則：
dydx=f′(u)⋅g′(v)⋅h′(x)=dydu⋅dudv⋅***x(51)
如z=f(u,v)，通過中間變數u=g(x,y),v=h(x,y)成為x,y的復合函式z=f[g(x,y),h(x,y)] 則：
∂z∂x=∂z∂u⋅∂u∂x+∂z∂v⋅∂v∂x(52)
∂z∂y=∂z∂u⋅∂u∂y+∂z∂v⋅∂v∂y
1.1.5 矩陣求導
如a,b,x都是矩陣，則：
b∂(ax)∂x=atb(60)
b∂(xa)∂x=bat(61)
∂(xta)∂x=∂(atx)∂x=a(62)
∂(atxb)∂x=abt(63)
∂(atxtb)∂x=bat,dxtaxdx=(a+at)x(64)
dxtdx=i,dxdxt=i,dxtxdx=2x(65)
dudxt=(dutdx)t
dutvdx=dutdxv+dvtdxut,duvtdx=dudxvt+udvtdx(66)
dabdx=dadxb+adbdx(67)
dutxvdx=uvt,dutxtxudx=2xuut(68)
d[(xu−v)t(xu−v)]dx=2(xu−v)ut(69)
1.1.6 標量對矩陣導數的定義
假定y是乙個標量，x是乙個n×m大小的矩陣，有y=f(x)， f是乙個函式。我們來看df應該如何計算。
首先給出定義：
df=∑jm∑in∂f∂xijdxij
下面我們引入矩陣跡的概念，所謂矩陣的跡，就是矩陣對角線元素之和。也就是說：
tr(x)=∑ixii
引入跡的概念後，我們來看上面的梯度計算是不是可以用跡來表達呢？
∂f∂x=(∂f∂x11∂f∂x12…∂f∂x1m ∂f∂x21∂f∂x22…∂f∂x2m ⋮⋮⋱⋮ ∂f∂xn1∂f∂xn2…∂f∂xnm)(90)
dx=(dx11dx12…dx1m dx21dx22…dx2m ⋮⋮⋱⋮ dxn1dxn2…dxnm)(91)
我們來看矩陣(90)的轉置和矩陣(91)乘積的對角線元素
( (∂
f∂x)
tdx)
jj=∑
in∂f
∂xij
dxij
((\frac)^t dx)=\sum_i^n \frac} dx_
((∂x∂f
)td
x)jj
=i∑n
∂xi
j∂f
dxij
因此，
上式的最後乙個等號是因為df是乙個標量，標量的跡就等於其本身。
1.1.7 矩陣跡和導數的部分性質
這裡將會給出部分矩陣的跡和導數的性質，作為後面推導過程的參考。性子急的同學可以姑且預設這是一些結論。
d(x+y)=dx+dy(93)
d(xy)=(dx)y+x(dy)(94)
dxt=(dx)t(95)
d(tr(x))=tr(dx)(96)
d(x⊙y)=dx⊙y+x⊙dy(97)
d(f(x))=f′(x)⊙dx(98)
tr(xy)=tr(yx)(99)
tr(at(b⊙c))=tr((a⊙b)tc)(100)
以上各性質的證明方法類似，我們選取式(94)作為證明的示例：
z=xy
則z中的任意一項是
zij=∑kxikykj
dzij=∑kd(xikykj)
=∑k(dxik)ykj+∑kxik(dykj)
=dxij⋅yij+xij⋅dyij
從上式可見，dz的每一項和(dx)y+x(dy)的每一項都是相等的。因此，可以得出式(94)成立。
BP神經網路基本原理
2.1 bp 神經網路基本原理 bp網路模型處理資訊的基本原理是 輸入訊號 xi通過中間節點 隱層點 作用於輸出節點，經過非線形變換，產生輸出訊號 yk，網路訓練的每個樣本包括輸入向量 x和期望輸出量 t，網路輸出值 y與期望輸出值 t之間的偏差，通過調整輸入節點與隱層節點的聯接強度取值 wij和隱...
BP神經網路基本原理
2.1 bp 神經網路基本原理 bp網路模型處理資訊的基本原理是 輸入訊號 xi通過中間節點 隱層點 作用於輸出節點，經過非線形變換，產生輸出訊號 yk，網路訓練的每乙個樣本包含輸入向量 x和期望輸出量 t，網路輸出值 y與期望輸出值 t之間的偏差，通過調整輸入節點與隱層節點的聯接強度取值 wij和...
BP神經網路基本原理
2.1 bp 神經網路基本原理 bp網路模型處理資訊的基本原理是 輸入訊號 xi通過中間節點 隱層點 作用於輸出節點，經過非線形變換，產生輸出訊號 yk，網路訓練的每乙個樣本包含輸入向量 x和期望輸出量 t，網路輸出值 y與期望輸出值 t之間的偏差，通過調整輸入節點與隱層節點的聯接強度取值 wij和...