kl散度又被稱作相對熵，用於衡量兩個概率分布之間的差異。
概率質量函式(pmf)用來描述離散的隨機變數
概率密度函式(pdf)則用來描述連續的隨機變數
定義公式以及性質檢驗：
kl並不是乙個有效的距離度量，因為它不同時滿足上面四個條件。
有空再更新，快期末了
考完試來看看
hmm是馬爾可夫鏈的一種，它能通過觀測向量序列來觀察到，但它的狀態不能被直接觀察到，也就是「狀態」是「隱」的。
每個觀測向量均通過概率密度分布表現為各種狀態，每個觀測向量由乙個具有相應概率密度分布的狀態序列產生。
模式識別學習筆記（一）模式識別初認識
這是本人第一次寫部落格，把學到的東西以及自己的理解用類似於學習筆記的形式表達出來。如果有不妥的地方，希望大家指正。謝謝！一 模式識別的定義 關於模式識別 pattern recognition 的定義，首先要了解模式和識別分別是什麼含義。有教材指出模式是指組成成分或影響因素間存在確定性或隨機性規律的...
模式識別學習筆記
中心極限定理 類條件概率密度 已知目標的類別 事件發生 為 k omega k k 的情況下，目標的某一特徵 促成事件的條件，另乙個事件 x xx的概率密度p x k p x omega k p x k 先驗概率 所有條件未知的情況下，事件發生的概率。最小風險貝葉斯決策 例 假設觀測到現象 事件 x...
模式識別 統計模式識別（6）
上一節，我們討論了最小錯誤率分類器，接下來這一節我們將討論最小風險bayes分類器。1.問題提出 1.最小錯誤率bayes決策的最小錯誤率 概率意義上最優，在工程上是否是最優?2.錯誤分類的結果 代價或風險會是怎樣的？考慮癌細胞影象識別的例子 3.出錯的可能情況 正常細胞 1錯分為異常 2，異常細胞...