概率密度函式與最大似然估計的區別

2022-07-31 01:51:14 字數 558 閱讀 3058

以高斯分布的概率密度函式(pdf)為例,

\(f(x)=\frac} e^\left(\frac\right)^2}\)

期望值\(\mu\)和方差\(\sigma\)確定之後,\(f(x)\)是\(x\)的pdf函式。更一般地, \(f(x)\)可以認為是\(x\)和\(\theta(\mu, \sigma)\)的函式,

\(f(x;\theta)=\frac} e^\left(\frac\right)^2}\)

現已知資料集 \(x=\\) ,求使得 \(f(x)\) 最大化的引數 \(\theta\),此時 \(f(x;\theta)\) 是模型引數 \(\theta\) 的函式,

\(f(\theta)=\frac} e^\left(\frac\right)^2}

\)在所有 \(\theta\) 的可能取值中,最大似然估計求解使得 \(f(\theta)\) 最大化的引數值 \(\hat\)

用大神aurélien書裡的一張圖來總結一下:

機器學習 概率密度函式和似然函式

離散的概率分布律 p x k pk。這樣可以一目了然的看出x所可能的取值和對應的概率。對於連續隨機變數來說,p x k x為k的個數 總個數 因為總個數無窮個,概率趨向於0。所以我們引入概率密度函式,一目了然看出落在x的某一值附近的概率大小 兩方面理解 1.連續不說某一值的概率,而是區間。2.概率的...

似然函式與最大似然估計

概率用於在已知一些引數的情況下,接下來的觀測所得到的結果,而似然性則是用於在已知某些觀測所得到的結果時,對有關事物性質的引數進行估計。是一種關於統計模型中引數的函式。例如,已知有事件a發生,運用似然函式,我們估計引數b的可能性。表明在已知觀測結果情況下,似然函式的值越高,該引數值可使模型越合理。最大...

概率密度函式估計筆記

概率密度函式估計是貝葉斯決策的基礎,有兩大類方法 引數法和非引數法。所謂的引數法是指已知引數形式,但不知道引數,我們要對引數進行估計的過程。這裡主要介紹點估計的兩種方法 一種是最大似然估計,一種是貝葉斯估計。最大似然估計 假設 我們要估計的引數 是確定但未知的 樣本之間是獨立同分布的 或者是條件獨立...