關於PRML Chap1的一丟丟附加證明

2022-08-24 16:00:10 字數 2309 閱讀 3190

在第一章的1.2.6節,有公式(1.68)

\[p(t | x, \mathbf, \mathbf)=\int p(t | x, \boldsymbol) p(\boldsymbol | \mathbf, \mathbf) \mathrm \boldsymbol

\]這個公式實際上是在貝葉斯框架下對回歸\(t=y(x,w)\)進行推斷,即給出了新的\(x\)(注意粗體的區別,\(\mathbf\)是測試集的樣本,這部分資訊是已知的)下,我們對t的後驗概率進行推斷。

\[lhs=p(t | x, \mathbf, \mathbf)=\int p(t,\boldsymbol|x,\mathbf, \mathbf)d\boldsymbol\]而

\[\beginrhs&=\int p(t | x, \boldsymbol) p(\boldsymbol | \mathbf, \mathbf)\mathrm \boldsymbol\\ &=\int p(t|x,\boldsymbol,\mathbf, \mathbf)p(\boldsymbol | \mathbf, \mathbf,x)\mathrm \boldsymbol\\&=\int p(t,\boldsymbol|x,\mathbf, \mathbf)\mathrm \boldsymbol\end

\]第二個等式成立是因為

在1.5.1節,給出了錯誤分類率的公式

\[\beginp(\text ) &=p\left(\boldsymbol \in \mathcal_, \mathcal_\right)+p\left(\boldsymbol \in \mathcal_, \mathcal_\right) \\&=\int__} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol+\int__} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol\end

\]書中直接給出結論,要使得錯誤分類率最小,應該分給後驗概率\(p(c_k|x)\)最大的類別中。

推導過程如下:

對於最優的\(\mathcal_, \mathcal_\),只要滿足它的犯錯概率小於其他所有的決策區域\(\mathcal_』, \mathcal_』\)下的犯錯概率即可。

\[\beginp(\text ) &=p\left(\boldsymbol \in \mathcal_, \mathcal_\right)+p\left(\boldsymbol \in \mathcal_, \mathcal_\right) \\&=\int__} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol+\int__} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol\end

\]\[\beginp'(\text ) &=p\left(\boldsymbol \in \mathcal_』, \mathcal_\right)+p\left(\boldsymbol \in \mathcal_』, \mathcal_\right) \\&=\int__』} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol+\int__』} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol\end

\]對兩個做差,得到

\[p(mistake)-p'(mistake) \\=\int__\cap \mathcal_』 } (p\left(\boldsymbol, \mathcal_\right) -p\left(\boldsymbol, \mathcal_\right) )\mathrm \boldsymbol+\int__\cap \mathcal_』 } (p\left(\boldsymbol, \mathcal_\right) -p\left(\boldsymbol, \mathcal_\right) )\mathrm \boldsymbol

\]那麼我們只需要

由於$p\left(\boldsymbol\right) $是相同的,上述兩個公式等價於:

而任意\(\mathcal_\cap \mathcal_』\)其實就是\(\mathcal_\),任意\(\mathcal_\cap \mathcal_』\)其實就是\(\mathcal_\)

所以最優的分配規則就是,如果\(p\left(\boldsymbol| \mathcal_\right) \le p\left(\boldsymbol|\mathcal_\right)\)就分配到第一類上,如果\(p\left(\boldsymbol| \mathcal_\right) \le p\left(\boldsymbol|\mathcal_\right)\)就分配到第二類上。

關於第二類斯特林數的一丟丟東西

s n,m 表示有 n 個有區別小球,要放進 m 個相同盒子裡,且每個盒子非空的方案數 考慮乙個很容易的遞推 s n,m s n 1,m 1 m s n 1,m 考慮組合意義 假設前面的 n 1 個球丟進了 m 1 個組,因為每個組非空,所以這個球只有一種選擇 自己一組 如果前面的球已經分成了 m ...

乙個小菜鳥給未來的菜鳥們的一丟丟建議

寫這篇文章的主要原因是有個建築行業的朋友覺得搞建築身累心累,想轉到我們這個it行業來加入我們的程式設計大軍中,找我諮詢了一哈。在我了解了他的邏輯和理科這方面只是一般般的基礎上,我給他的建議是 學習前端,而不是後端 宣告沒有任何貶低前後端的意思哈,也絕對不是因為我也是前端開發的才給的這個建議,首先,對...

乙個sql引起的丟錶問題

背景 乙個已經執行了一段時間的老系統線上存在這種業務邏輯 start transaction drop tables if.a backup drop tables if.a tmp create table a tmp like a load into a tmp rename table a a...