李哈哈的模式識別筆記 part 3 感知器演算法

2021-10-10 10:28:42 字數 753 閱讀 3340

人類的思維具有整體性和邏輯性,機器的思維擅長重複性

解區域:

線性判別函式解不唯一,而是位於乙個區域,稱為解區域。

=>權向量w待定,偏移量w0待定。

一般思路:

這裡有必要重新認識一下線性判別函式的通式,可參照下圖:

感知器模型:

是一種最簡單的神經元模型,具有多個輸入和乙個輸出,各輸入加權求和,與閾值相比較,判斷是否啟用輸出1。

由此可見,感知器模型是一種線性分類器,可以做出二分類決策

準則函式:錯分樣本的判別函式值之和(important)

尋優方式:梯度下降法,逐次尋優

不同的具體尋優方式可能出現不同的最優解

哪個才是最優解呢?

在感知器模型中,都是最優解,因為準則函式只與能否將所有樣本都正確分類有關,所以只要能夠正確分類,就為最優解。

感知器演算法權向量調整遞推公式如下:

這裡的調整步長ρ可以體現調整速率。

另外,調整精度和速度之間是存在矛盾的。

學習速率的各種不同的設定方法:

李哈哈的模式識別筆記 part 4 支援向量機

支援向量 support vector 是距離分類決策邊界最近的樣本點 向量點 通過支援向量,可以找到最大分類間隔下權向量,從而達到一種比價理想的分類決策函式。支援向量機 support vector machine svm 什麼是最優解?使得分類間隔d取得最大值的權向量w。svm的優點 它不需要大...

《模式識別》自學筆記 (二)基於統計的模式識別

解決模式識別問題的方法主要歸納為基於知識的方法和基於資料的方法兩大類。基於知識的方法,主要是以專家系統為代表的方法。其基本思想是根據人們已知的關於研究物件的知識,整理出若干描述特徵與類別間關係的準則,建立一定的計算機推理系統,對未知樣本通過這些知識推理決策類別。以專家系統為例,專家系統的組成部分包括...

模式識別學習筆記(一)模式識別初認識

這是本人第一次寫部落格,把學到的東西以及自己的理解用類似於學習筆記的形式表達出來。如果有不妥的地方,希望大家指正。謝謝!一 模式識別的定義 關於模式識別 pattern recognition 的定義,首先要了解模式和識別分別是什麼含義。有教材指出模式是指組成成分或影響因素間存在確定性或隨機性規律的...