1、概率密度函式
在分類器設計過程中（尤其是貝葉斯分類器），需要在類的先驗概率和類條件概率密度均已知的情況下，按照一定的決策規則確定判別函式和決策面。但是，在實際應用中，類條件概率密度通常是未知的。那麼，當先驗概率和類條件概率密度都未知或者其中之一未知的情況下，該如何來進行類別判斷呢？其實，只要我們能收集到一定數量的樣本，根據統計學的知識，可以從樣本集來推斷總體概率分布。這種估計方法，通常稱之為概率密度估計。它是機器學習的基本問題之一，其目的是根據訓練樣本來確定x
（隨機變數總體）的概率分布。密度估計分為引數估計和非引數估計兩種。
2、引數估計
引數估計：根據對問題的一般性認識，假設隨機變數服從某種分布（例如，正態分佈），分布函式的引數可以通過訓練資料來估計。引數估計可以分為監督引數估計和非監督引數估計兩種。引數估計當中最常用的兩種方法是最大似然估計法和貝葉斯估計法。
監督引數估計：樣本所屬類別及條件總體概率密度的形式已知，表徵概率密度的某些引數是未知的。
非監督引數估計：已知樣本所屬的類別，但未知總體概率密度函式的形式，要求推斷出概率密度本身。
3、非引數估計
非引數估計：已知樣本所屬的類別，但未知總體概率密度函式的形式，要求我們直接推斷概率密度函式本身。即，不用模型，只利用訓練資料本身來對概率密度做估計。
非引數估計常用的有直方圖法和核方法兩種；其中，核方法又分為pazen
窗法和kn
近領法兩種。
概率密度函式估計筆記
概率密度函式估計是貝葉斯決策的基礎，有兩大類方法 引數法和非引數法。所謂的引數法是指已知引數形式，但不知道引數，我們要對引數進行估計的過程。這裡主要介紹點估計的兩種方法 一種是最大似然估計，一種是貝葉斯估計。最大似然估計 假設 我們要估計的引數 是確定但未知的 樣本之間是獨立同分布的 或者是條件獨立...
概率密度函式的核估計
import numpy as np import matplotlib.pyplot as plt import seaborn as sns sns.set from scipy import stats from typing import 核密度估計法是一種通過某個 連續的 概率分布的樣本來...
核密度估計原理
最近在讀wek的 的時候，發現weka的 bayes分類器中有使用到核概率密度估計，想了一下核概率密度估計原理。核密度估計是在概率論中用來估計未知的密度函式，屬於非引數檢驗方法之一，由rosenblatt 1955 和emanuel parzen 1962 提出，又名parzen窗 parzen w...