概率密度函式估計是貝葉斯決策的基礎，有兩大類方法：引數法和非引數法。所謂的引數法是指已知引數形式，但不知道引數，我們要對引數進行估計的過程。這裡主要介紹點估計的兩種方法：一種是最大似然估計，一種是貝葉斯估計。
最大似然估計
假設：我們要估計的引數
是確定但未知的；
樣本之間是獨立同分布的（或者是條件獨立，即在某乙個固定的條件下樣本是獨立的）；
類條件概率密度的分布形式已知；
不同類別之間的引數是獨立的。
主要步驟：
求似然函式：
；最大化似然函式 ：
。注：，成立的原因是假設條件2，即樣本之間獨立同分布。
在具體的求解過程中通常轉換為對數似然：
,然後求
。轉換為對數似然有兩點好處：
由乘法運算轉換為加法運算；
對數似然能對
的有效域進行拓寬見下圖。
舉例 ：高斯分布引數的似然估計
這裡討論方差已知，估計均值的情況
對數似然函式
，其中上式對
求導得，其中用到公式
。求和得
，解得引數估計第二種，貝葉斯估計
將引數看成乙個服從某種分布的隨機變數，通過對其後驗的求取來估計樣本變數的概率密度
公式如下：
，其中，即
的後驗=似然*先驗/歸一化因子 。
注：這裡估計得到的是乙個分布的密度函式，並不是乙個數，這是和似然估計的表觀區別。
舉例：高斯分布的貝葉斯估計
同樣討論方差已知，估計均值
先驗分布：採用高斯分布
似然：後驗：
將高斯分布的函式代入得到
的期望
其中
，即為似然估計中的估計值。
注：對以上兩種方法估計的結果進行比較得，當貝葉斯估計的樣本個數n趨於無窮時,貝葉斯估計得到的分布的期望值會接近於最大似然估計得到的估計結果；當貝葉斯估計中的n接近於零的時候，其估計得到的分布與先驗分布接近。
概率密度函式的核估計
import numpy as np import matplotlib.pyplot as plt import seaborn as sns sns.set from scipy import stats from typing import 核密度估計法是一種通過某個 連續的 概率分布的樣本來...
概率密度估計簡介
1 概率密度函式 在分類器設計過程中 尤其是貝葉斯分類器 需要在類的先驗概率和類條件概率密度均已知的情況下，按照一定的決策規則確定判別函式和決策面。但是，在實際應用中，類條件概率密度通常是未知的。那麼，當先驗概率和類條件概率密度都未知或者其中之一未知的情況下，該如何來進行類別判斷呢？其實，只要我們能...
Matlab 概率密度函式
以下函式均是對應分布模型的概率密度函式 函式函式功能 y binopdf x,n,p 產生引數為n,p的二項分布,x為取值點，y為對應的值 y poisspdf x,lambda 泊松分布，引數為lambda y geopdf x,p 幾何分布，引數為p y unidpdf x,m 離散型均勻分布，...