聚類是一種非監督學習方法
在乙個典型的監督學習中,我們有乙個有標籤的訓練集,我們的目標是找到能夠區分正
樣本和負樣本的決策邊界,在這裡的監督學習中,我們有一系列標籤,我們需要據此擬合一 個假設函式。與此不同的是,在非監督學習中,我們的資料沒有附帶任何標籤,我們拿到的 資料就是這樣的:
在這裡我們有一系列點,卻沒有標籤。因此,我們的訓練集可以寫成只有 x(1),x(2)…..一直 到 x(m)。我們沒有任何標籤 y。因此,圖上畫的這些點沒有標籤資訊。也就是說,在非監督 學習中,我們需要將一系列無標籤的訓練資料,輸入到乙個演算法中,然後我們告訴這個演算法, 快去為我們找找這個資料的內在結構給定資料。我們可能需要某種演算法幫助我們尋找一種結 構。圖上的資料看起來可以分成兩個分開的點集(稱為簇),乙個能夠找到我圈出的這些點集的演算法,就被稱為聚類演算法。
k-均值演算法
k-均值是最普及的聚類演算法,演算法接受乙個未標記的資料集,然後將資料聚類成不同的 組。
k-均值是乙個迭代演算法,假設我們想要將資料聚類成 n 個組,其方法為:
演算法分為兩個步驟,第乙個 for 迴圈是賦值步驟,即:對於每乙個樣例 i,計算其應該屬
於的類。第二個 for 迴圈是聚類中心的移動,即:對於每乙個類 k,重新計算該類的質心。
k-均值演算法也可以很便利地用於將資料分為許多不同組,即使在沒有非常明顯區分的組 群的情況下也可以。下圖所示的資料集包含身高和體重兩項特徵構成的,利用 k-均值演算法將
資料分為三類,用於幫助確定將要生產的 t-恤衫的三種尺寸。
優化目標
k-均值最小化問題,是要最小化所有的資料點與其所關聯的聚類中心點之間的距離之和, 因此 k-均值的代價函式(又稱畸變函式 distortion function)為:
隨機初始化
在執行 k-均值演算法的之前,我們首先要隨機初始化所有的聚類中心點,下面介紹怎樣 做:
1. 我們應該選擇 k< m,即聚類中心點的個數要小於所有訓練集例項的數量
2. 隨機選擇 k 個訓練例項,然後令 k 個聚類中心分別與這 k 個訓練例項相等
k-均值的乙個問題在於,它有可能會停留在乙個區域性最小值處,而這取決於初始化的情
況。
為了解決這個問題,我們通常需要多次執行 k-均值演算法,每一次都重新進行隨機初始 化,最後再比較多次執行 k-均值的結果,選擇代價函式最小的結果。這種方法在 k 較小的時 候(2–10)還是可行的,但是如果 k 較大,這麼做也可能不會有明顯地改善。
選擇聚類數
沒有所謂最好的選擇聚類數的方法,通常是需要根據不同的問題,人工進行選擇的。選
擇的時候思考我們運用 k-均值演算法聚類的動機是什麼,然後選擇能最好服務於該目的標聚 類數。
當人們在討論,選擇聚類數目的方法時,有乙個可能會談及的方法叫作「肘部法則」。 關於「肘部法則」,我們所需要做的是改變 k 值,也就是聚類類別數目的總數。我們用乙個 聚類來執行 k 均值聚類方法。這就意味著,所有的資料都會分到乙個聚類裡,然後計算成本 函式或者計算畸變函式 j。k 代表聚類數字。
我們可能會得到一條類似於這樣的曲線。像乙個人的肘部。這就是「肘部法則」所做的, 讓我們來看這樣乙個圖,看起來就好像有乙個很清楚的肘在那兒。好像人的手臂,如果你伸 出你的胳膊,那麼這就是你的肩關節、肘關節、手。這就是「肘部法則」。你會發現這種模 式,它的畸變值會迅速下降,從 1 到 2,從 2 到 3 之後,你會在 3 的時候達到乙個肘點。在 此之後,畸變值就下降的非常慢,看起來就像使用 3 個聚類來進行聚類是正確的,這是因為 那個點是曲線的肘點,畸變值下降得很快,k 等於 3 之後就下降得很慢,那麼我們就選 k 等 於 3。當你應用「肘部法則」的時候,如果你得到了乙個像上面這樣的圖,那麼這將是一種 用來選擇聚類個數的合理方法。
但也有可能不會有很明顯的結果，只是平緩的下降，這樣肘部法則就失效了。
我們也可以通過商業上的考慮來決定分類數
例如,我們的 t-恤製造例子中,我們要將使用者按照身材聚類,我們可以分成 3 個尺寸 s,m,l 也可以分成 5 個尺寸 xs,s,m,l,xl,這樣的選擇是建立在回答「聚類後我們製造的 t-恤 是否能較好地適合我們的客戶」這個問題的基礎上作出的。
聚類演算法學習筆記
a 距離和相似度測量 這裡用的是基於先驗知識的個體分類準則。資料物件一般是用一組多維特指向量描述的，該特徵可以是定量的或者是定性的，是連續的或二值的 不連續的 是名詞性的或順序性的，這些性質決定了其相似度的度量法則。定義在資料組x上的不相似函式或距離函式必須滿足以下條件 1 對稱性2 正則性d xi...
AP聚類演算法學習
最近看一篇 發現了這個聚類演算法，在網上找了點資料，怕自己忘了，在這裡將資料整理一下。宣告 下面這段文字 首先簡要介紹一下ap演算法，跟其他聚類演算法的不同之處是，ap在開始時，將所有節點都看成潛在的聚類中心，然後通過節點之間的通訊，去找出最合適的聚類中心，並將其他節點劃分到這些中心下去，所以我們可...
聚類演算法學習總結
聚類是無監督學習的一種，目的是為了對一組沒有標籤的資料，按照特定的特徵，把它們分成不同的類，換句話說，就是把這一組無標籤的的資料中，特徵相近的那些資料聚合成乙個類，聚合成的乙個類叫做乙個簇。按照資料分布的特點，採用的聚類方法可能會有所不同，常見的聚類演算法包含以下幾種 基於原型的聚類 對於聚類結果的...