機器學習中的數學知識
微積分：f′
(a)=
limx
→0f(
a+h)
−f(a
)h常見的函式的導數：
(x導數法則a)′=
axa−
1 (e
x)′=
ex(ax
)′=l
n(a)
ax(ln
(x))
′=1x
dsin(x)
dx=c
os(x
) dc
os(x
)dx=
sin(
x)
(αhessian矩陣f+βg
)=αf
′+βg
′ (f
g)′=
f′g+
fg′ (f
g)′=
f′g−
fg′g
2
如果 f(x
)=h(
g(x)
) 那麼 f(
x)′=
h′(g
(x))
∗g′(
x)
泰勒級數與極值 f(
x+σ)
≈f(x
)+f′
(x)σ
+12f
"σ2
從公式中可以看出在點x的函式值如果是極小值點，那麼
σ 表示在x點左右兩側擺動，要使得公式左邊大於等式右邊（
σ>
0 或者
σ<
0 ），則必須滿足f′
(x)=
0 結論：如果滿足f′
(x)=
0 的點稱為極值點（平穩點），進一步判斷： f"
(x)>
0 , (x
,f(x
))為極小值點； f"
(x)<
0 , (x
,f(x
))為極大值點； 如果f
"(x)
=0, 則稱為拐點
對於矩陣判斷其矩陣的正定性。（正定表示其全部特徵值大於0）
注意：為什麼要用梯度下降，而不是直接令f′
(x)=
0 ?
因為實際中函式求導即使求出來，但是要解方程f′
(x)=
0 非常困難。
梯度下降
機器學習中的數學 梯度和梯度下降
機器學習中的大部分問題都是優化問題，而絕大部分優化問題都可以使用梯度下降法處理，那麼搞懂什麼是梯度，什麼是梯度下降法就非常重要！這是基礎中的基礎，也是必須掌握的概念！提到梯度，就必須從導數 derivative 偏導數 partial derivative 和方向導數 directional der...
機器學習 數學 機器學習涉及的數學知識
簡單總結 機器學習涉及的數學知識有 線性代數，概率論和統計學，多變數微積分，演算法和複雜優化，以及其他等。原文 在過去幾個月裡，有幾個人聯絡過我，說他們渴望進軍資料科學領域，使用機器學習 ml 技術探索統計規律，並打造資料驅動的完美產品。但是，據我觀察，一些人缺乏必要的數學直覺和框架，無法獲得有用的...
機器學習中的基本數學知識
注 本文的 是使用python 3寫的。低等數學 幾何微分 differential 統計學 概率論 資訊理論博弈論 不知道放到哪兒 機器學習 附錄參照 1 f x xw t b f x xwt b 1 1 f x xwt b 這是在機器學習中，最常見的公式。我把這個稱為機器學習的第一公式，實際上就...