這是本人第一次寫部落格，把學到的東西以及自己的理解用類似於學習筆記的形式表達出來。如果有不妥的地方，希望大家指正。謝謝！
一、模式識別的定義
關於模式識別(pattern recognition)的定義，首先要了解模式和識別分別是什麼含義。有教材指出模式是指組成成分或影響因素間存在確定性或隨機性規律的物件、過程或事件的集合。而識別是指把物件分門別類地認出來，也有解釋是指以前見過，現在再次認出來。簡而言之，模式識別是把物件根據其特徵歸到若干類別中適當的一類。因此，模式識別也稱為模式分類。這裡強調適當一詞有緣由的，比如：根據乙個人有鬍子就把其歸到男性一類，這裡只能說分類是適當的，因為不排除少數女性也有少量鬍子。
在正式介紹模式識別的方法、型別以及典型構成之前需要了解幾個概念，
樣本：乙個個體物件
樣本集：若干樣本的集合
類：具有相同模式的樣本集，該樣本集是全體樣本的子集
特徵：也稱為屬性，通常指樣本的某些可以用數值去量化的特徵，如果有多個特徵，則可以組合成特徵向量
二、模式識別的主要方法
模式識別的主要方法有以下兩種：
1.基於知識的方法
根據專家系統給出的關於研究物件的知識，整理出研究物件的特徵與研究物件所屬類別的關係，之後讓計算機根據這個推理關係對未知物件進行分類。
2.基於資料的方法
在對研究物件沒有一定了解或認識的情況下，收集一定數量的已知樣本（即，類別是已知的），用這些樣本作為訓練集去訓練分類器（也就是模式識別的機器），使其在訓練後學習到分類經驗，能對未知樣本進行分類。這種分類是機器學習(machine learning)中研究較多的乙個方向。整個過程可以用下圖表示。
一定數量的已知樣本yi經過特徵選擇與提取後得到一定數量的特徵向量xi，基於資料的模式識別核心步驟就是利用一定數量的xi和對應的yi構成的資料對作為訓練樣本去訓練學習機器，從而建立從特徵向量x判斷樣本類別y的乙個數學模型，該模型的好壞與其各引數的取值有關，引數選得好，則最終**未知樣本類別的準確性就越高。
舉個例子：假設分類器的數學模型是乙個線性方程y=kx+b，則上述訓練learning machine的過程就是通過給定一定數量的(x,y)去找出最合適的k與b的過程。
三、模式識別的兩種型別
1.監督模式識別
特點是要劃分的類別是已知的，並且能夠獲得一定數量的類別已知的訓練樣本。
這種情況下的機器學習的過程稱為監督學習（有導師學習）。
2.非監督模式識別
特點是事先並不知道要劃分的類別有哪些，甚至可能連要劃分類別的數目也不知道，並且沒有任何已知樣本可以用來訓練。
這種情況下要根據提取到的樣本特徵將樣本聚成幾個類，屬於同一類的樣本從某個角度上看具有一定的相似性，而不同類之間的樣本差異則較大。這種機器學習的過程稱為非監督學習（無導師學習），也成為聚類。
需要注意的是，在很多非監督模式識別中，聚類的結果不是唯一的，因為「相似」是從某個角度看上去的相似，這裡的角度就是前面提到的特徵。根據樣本特徵向量中的不同特徵去聚類，會得到不同的結果。
舉個例子：假設提取到的4個樣本y1,y2,y3,y4的特徵向量分別為
x1=(red,rounded,hollow)
x2=(red,rectangular,hollow)
x3=(blue,rounded,solid)
x4=(blue,rectangular,hollow)
若按特徵向量的第乙個特徵（顏色）去聚類時，y1,y2聚為一類，y3,y4聚為一類；若按第二個特徵（形狀）去聚類時，y1,y3聚為一類,y2,y4聚為一類；若按第三個特徵（空心/實心）去聚類時，y1,y2,y4聚為一類，y3自成一類。這很好的解釋了聚類結果的非唯一性，這也是非監督模式識別與監督模式識別的乙個重要差別。
四、模式識別系統的典型構成
乙個模式識別系統的典型構成包括：預處理，特徵選擇與提取，分類或聚類，後處理四個主要部分。
對於後處理，我個人的理解是分類成功（即識別成功）後，要進行定位等相關處理。
好了，不知道總結的是不是比較淺顯易懂，概念了解了，接下來就要靠數學功底了。fighting……
模式識別 統計模式識別（6）
上一節，我們討論了最小錯誤率分類器，接下來這一節我們將討論最小風險bayes分類器。1.問題提出 1.最小錯誤率bayes決策的最小錯誤率 概率意義上最優，在工程上是否是最優?2.錯誤分類的結果 代價或風險會是怎樣的？考慮癌細胞影象識別的例子 3.出錯的可能情況 正常細胞 1錯分為異常 2，異常細胞...
模式識別 統計模式識別（7）
上兩節我們介紹了最小錯誤率和最小風險bayes分類器，接下來談談最小最大決策。1.問題提出 假設c 2 現在我們假定一種情況，先驗概率未知或者不確定的前提，在這種前提下，絕對意義的最小風險不存在，這種情況下我們怎麼求bayes分類器。2.求解思路 雖然p 1 和p 2 未知，但我們可以假設他們確定，...
模式識別學習筆記
中心極限定理 類條件概率密度 已知目標的類別 事件發生 為 k omega k k 的情況下，目標的某一特徵 促成事件的條件，另乙個事件 x xx的概率密度p x k p x omega k p x k 先驗概率 所有條件未知的情況下，事件發生的概率。最小風險貝葉斯決策 例 假設觀測到現象 事件 x...