由於本人加入系統學習機器學習課程，所以我從頭整理知識點。這是總結課上的內容。內容主要**於 大資料文摘
什麼叫引數估計？就是你就知道一堆觀測值，你要利用洪荒之力玄學思想選定乙個模型。
然後你開始計算（估計）模型的引數吧。怎麼估計我們可以用「矩估計」方法，「極大似然估計」方法。
老師在課上其實是這麼說的
我們一步一步分析。下面我們來以程小博士與二彪子（你）問答的方式來解決這個問題。
這個問題來自乙個同學提出的式子：
後驗概率＝似然函式×先驗概率/證據因子
這其實是貝葉斯公式。你看： p(
b|a)
=p(a
|b)∗
p(b)
p(a)
p(θ1
|x1,
x2,x
3,⋯)
=p(x
1,x2
,x3,
⋯|θ1
)∗p(
θ1)p
(x1,
x2,x
3,⋅)
p(x1,x2
,x3,
⋯|θ1
):上文說了就是似然函式 p(
x1,x
2,x3
,⋯):
這不就是我們僅僅知道的證據嗎？ p(
θ1):
先驗概率，但極大似然估計的例子中知道它比較難。 p(
θ1|x
1,x2
,x3,
⋯):β
後驗概率，知道結果了那麼條件出現的概率是什麼？
這裡發個廣告，這裡記載關於我混合高斯模型（gmm）的詳細記錄
這個東西在《程式設計師的數學2》中有詳細記載。大約花了好幾章的進行前提鋪墊。
課上就說了一下，但是我肯定不滿足僅說一點點。本篇文章大部分來自這個csdn的blog瀟水汀寒
這是個離散分布連續化的故事。
為了解釋為什麼：beta函式與二項分布共軛？？？？
x)=c
xnqx
(1−q
)n−x
(1)
下面把離散函式連續化。把它表示為變數 q 的函式,即只有 q 這乙個變數,這樣cx
n 就是個常數，可以寫成如下相關形式： f(
q)∝q
a(1−
q)b(2)
其中 a 和 b 是常量。接下來就是概率密度基本規劃為1的過程。
為了把上公式變成乙個分布,可以給它乘上乙個因子,使它對 q 從0到1積分為1即可。（這個因子通常是 a 和 b 的函式,而不是 q 。如果是q不就不能算。） b(
a+1,
b+1)
=∫10
qa(1
−q)b
dq(3)
有人這樣規範化後的就是乙個分布了（事實上我也不知道） f(
q;a+
1,b+
1)=q
a(1−
q)b∫
10qa
(1−q
)bdq
=qa(
1−q)
bb(a
+1,b
+1)(4)
取 α=a+1, β=b+1 ,並將積分變數 q 改為 t得beta函式（因為其他地方也會用到故用紅色表示）:b(
α,β)
=∫10
tα−1
(1−t
)β−1
dt變數 q 改為 x ，得beta分布： f(
x;α,
β)=x
α−1(
1−x)
β−1∫
10xα
−1(1
−x)β
−1dx
=xα−
1(1−
x)β−
1∫10
uα−1
(1−u
)β−1
du=x
α−1(
1−x)
β−1b
(α,β
) 這麼說beta函式與二項分布共軛也沒什麼不對
機器學習第二課
梯度下降演算法 repeat j theta 0,theta 1.theta n j j j j 0 1 n simultaneously update for every j 0,1 n j j 1m i 1m h x i y i xj i theta j theta j alpha frac s...
linux學習第二課
今天跟著benjamin學習linux的第二課，主講內容 linux作業系統的檔案 一.linux系統下除了一般檔案外，所有的目錄和裝置 光碟機，硬碟等 都是以檔案的形式存在了。所以這裡就出現了乙個問題，我們怎樣才能使用物理裝置中的資料呢，linux系統是將物理裝置掛載 linux中乙個非常重要的概...
Android學習第二課
android技術結構圖 是針對安卓，對linux kernel進行優化 libraries android rumtime core libraries dalvik virtual machine 常用庫應用程式框架方便了我們的開發 手機的應用程式 android的四大元件 activity s...