1、夾逼定理
概念：當x∈
u(x0
,r)時，有個g(
x)≤f
(x)≤
h(x)
成立，並且limx→
x 0
g(x)=a,
limx→x
0 h(x)
=a,那麼
limx→x
0 f(x)=a。
也就是說兩邊函式都等於相同的數a時，中間的函式也必為a。
2、taylor 公式
公式：f(x
)=f(
x0 )
+f ′
(x0)(x
−x0
)+f′′
(x 0 )2
！（x−
x0 ）
2 +.
..+f
(n)
(x 0
)n!(x−x
0 )n
+rn(x)
當x0 =0
時：f(
x)=f
(0)+
f ′
(0)x
+f′′
(0)2
!x2
+...
+f(n
) n!
xn +
o(xn
)可以明顯的觀察到每一項的x的指數和分母上的階乘是相對應的。
taylor展開式主要是在實際中某些複雜的函式需要進行變換的時候進行應用。
3、方向導數（梯度）
梯度概念：設函式z=
f(x,
y)在d區域內有一階連續偏導數，則對這個區域內的任意乙個點p（
x,y）
,向量(∂
f∂x,
∂f∂y
) 為這個函式z=
f(x,
y)在點p處的梯度，即為gradf(
x,y)
。梯度的方向是函式在該點變化最快的方向。
4、凸函式
概念：若乙個函式f是凸函式。當0≤
θ≤1
,有f(
θx+(
1−θ)
y)≤θ
f(x)
+(1−
θ)f(
y)延伸：f為凸函式，則有：f(
θ1 x
1 +.
..+θ
n xn
)≤θ1 f(
x1 )
+...
+θn
f(xn
)其中：0≤θ
i ≤1
且θ1+..
.+θn
=1 。
判定定理：
f(x)在區間[a,b]上連續，在(a,b)內二階可導，那麼： ▲
若f ′′ (x
)>0
,則f(x)是凸的。▲
若f ′′ (x
)<0
,則f(x)是凹的。
5、概率■
把n個物品分為k組，使得每組物品的個數分別為n1
,n2...nk
,n=(n1+
n2+.
..+n
k),則不同的分組方法有n!
n 1
!+n
2 !+
...+
n k
! 種 ■
條件概率公式： p(
a|b)
=p(a
b)p(b)■
全概率公式： p(
a)=∑
i p(
a|bi
)p(bi )
■ 貝葉斯（bayes）公式: p(
bi |
a)=p
(a|b
i )p(b
i )∑
j p(a|b
j )p(b
j )
也就是說:b對a的條件概率=a對
b的條件
概率∗b
發生的概
率a對b
的全概率
感想：第一次寫這麼多公式的筆記，最大的感觸是公式太難打了，真心不容易。但是最大的好處是，我打完這些公式後，自己完全記住了這些公式。
機器學習 數學基礎
scalar 標量 sunspot number dalton minimum exponentiation 指數化 資訊理論 對數函式 log2 sigmod 啟用函式 relu 啟用函式 vector 向量 vector space 向量空間 歐幾里德空間 笛卡爾座標系 極座標系 norm of...
機器學習 數學基礎
前言 適用本人，在學習中記錄要用的數學知識。1.約束最優化問題求解 拉格朗日乘子法和kkt條件 2.何為二次型，二次型怎麼轉化為標準型及其意義，二次型的矩陣表示，通過正交線形變換將二次型變換為標準型 求該正交線性變換和對應的標準型 3.正定矩陣，半正定矩陣 定義 a是n階方陣，如果對任何非零向量x，...
機器學習數學基礎 （一）
1.1分類 離散值 1.2回歸分析 連續值 資料集分為 訓練集和測試集 訓練集包含n個特徵 feature 和標籤 label 測試集只有特徵沒有標籤。任務就是根據測試集 標籤。2.1聚類 2.2關聯規則 訓練集只有特徵沒有標籤。測試集需要根據已有特徵 標籤。3.1q learning 3.2時間差...