機器學習數學基礎之概率論與統計04 非引數估計

2021-08-16 08:20:28 字數 551 閱讀 1875

非引數估計指不知道分布型別,對樣本進行模型估計。一般只用在一維和二維。

具體概念詳見課件:

直方圖與初高中所理解的直方圖沒什麼不同,直方圖估計就是採用直方圖的方式來對資料進行擬合。顯然地,"箱子"的寬度1/m能夠更準確更細緻地展示資料的分布;但如果1/m過小,導致有些箱子裡沒有資料,這個時候p(x)將會出現較大波動。所以,如何選擇m十分關鍵,通常採用交叉驗證的方法確定m。

核密度估計針對直方圖的缺點進行了改動。在直方圖中,由於在同乙個箱子裡出現的樣本點,它們都是對於以中心點b(xi)形成的寬度為h的區域有相同的貢獻。核密度估計是希望對這些點做距離的權重,從而使得分布更加平滑。

其中核函式的引數(x-xi)/h即是距離的權重。

機器學習演算法數學基礎之 統計與概率論篇(3)

p a 是 a 的先驗概率,之所以稱為 先驗 是因為它不考慮任何 b 方面的因素。p b a 是已知 a 發生後 b 的條件概率,也由於得自 a 的取值而被稱作 b 的後驗概率。p b 是 b 的先驗概率。圓面積 pi r 2,正方形面積 2r 2r 4r 2 在正方形內隨機取乙個點,要求每次取的點...

數學與程式設計 概率論與數理統計

pmf probability mass function,概率質量函式,是離散型隨機變數在各特定取值上的概率。與概率密度函式 pdf probability density function 的不同之處在於 概率質量函式是對離散型隨機變數定義的,本身代表該值的概率 概率密度函式是針對連續型隨機變數...

機器學習數學基礎之概率論01 貝葉斯公式

1.事件a的概率是乙個非負實數 p a 0。2.合法命題 必然事件 的概率為1。3.對兩兩不相交 互斥 事件 聯合概率 p a,b p a b p b 條件概率 p a b p a,b p b 給定任意b,若p b 0,則p b 也是乙個概率,即滿足概率的三個概率公理 1.事件a在b的條件下的概率是...