KNN演算法基本思想

knn（k 最近鄰居）演算法

該演算法的基本思路是：在給定新文字後，考慮在訓練文字集中與該新文字距離最近（最相似）的 k 篇文字，根據這 k 篇文字所屬的類別判定新文字所屬的類別，具體的演算法步驟如下：

step one:根據特徵項集合重新描述訓練文字向量

step two:在新文字到達後，根據特徵詞分詞新文字，確定新文字的向量表示

step three:在訓練文字集中選出與新文字最相似的 k 個文字，計算公式為：

其中，k 值的確定目前沒有很好的方法，一般採用先定乙個初始值，然後根據實驗測試的結果調整 k 值，一般初始值定為幾百到幾千之間。

step four:在新文字的 k 個鄰居中，依次計算每類的權重，計算公式如下：

其中，為新文字的特徵向量，為相似度計算公式，與上一步驟的計算公式相同，而為類別屬性函式，即，如果屬於類，那麼函式值為 1，否則為 0。

step five:比較類的權重，將文字分到權重最大的那個類別中。

除此以外，支援向量機和神經網路演算法在文字分類系統中應用得也較為廣泛，支援向量機的基本思想是使用簡單的線形分類器劃分樣本空間。對於在當前特徵空間中線形不可分的模式，則使用乙個核函式把樣本對映到乙個高維空間中，使得樣本能夠線形可分。

而神經網路演算法採用感知演算法進行分類。在這種模型中，分類知識被隱式地儲存在連線的權值上，使用迭代演算法來確定權值向量。當網路輸出判別正確時，權值向量保持不變，否則進行增加或降低的調整，因此也稱為獎懲法。

KNN演算法 基本思想