聚類有效性指標(CVI)

2021-10-07 09:28:08 字數 1730 閱讀 9635

參考聚類有效性指標(cluster validity index,cvi):用於度量聚類的效果。

詳細介紹wiki:

聚類具有隨機性,聚類效果的好壞我們並沒有辦法去判斷,這裡面給出的聚類有效性指標,可以幫助我們在聚類一組資料後對其聚類效果進行度量,然後根據資料的實際意義做出判斷。

聚類評估目前常用的方式有兩大類:內部評估(internal)和外部評估(external),內部評估是彙總得到乙個單獨質量分數,外部評估是通過與公知標準作比較。當然,還有人工評估方法(專家),通過評估其在應用中的聚類效果的間接評估。

內部評估就是基於聚類資料評估聚類結果。

下面介紹幾種可以用來評估聚類(kmeans演算法)質量的內部準則:

計算公式:

d b=

1n∑i

=1nmax⁡j

≠i(σ

i+σj

d(ci

,cj)

)db=}\sum _^\max _\left(+\sigma _},c_)}}\right)

db=n1​

i=1∑

n​j

​=imax​(

d(ci

​,cj

​)σi

​+σj

​​)公式含義:db為任意兩個類別的類內距離平均距離之和與兩聚類質心間距之比的最大值

具體解析:

結果意義:db值越小表示聚類結果同簇內部緊密,不同簇分離較遠。即類內距離越小,類間距離越大。

具體過程:

step2:計算任意質心間的距離d(a,b),d(a,c)和d(b,c)。

step3:返回最大比例(任意內部聚類之和與其質心間距之比)

計算公式:

d

=min⁡1

≤ind(i

,j)max⁡1

≤k≤n

d′(k

),d=s(i) = \frac}

s(i)

=maxb(

i)−a

(i)​

或者是s(i

)=1-a(i)/b(i), & \text a(i) < b(i) \\ 0, & \text a(i) = b(i) \\ b(i)/a(i)-1, & \text a(i) > b(i) \end \right.

s(i)=⎩

⎨⎧​1

−a(i

)/b(

i),0

,b(i

)/a(

i)−1

,​if a(i

)

i)if a(i

)=b(

i)if a(i

)>b(

i)​

公式含義:它測量每個模式中自身簇中的模式與其他最近簇中的模式相比的相似程度。

具體解析:

結果意義:si值越高表示 i 與自身聚類匹配較好,與其他類匹配較差。即類內密集,類間疏散。

缺點:複雜度較大

dbi的**思路大家可參考:

強烈推薦詳細介紹聚類及質量評估等的參考文章:

剩下的外部評估之後再補上。

聚類有效性檢驗(Hubert )

假設現在有n個樣本需要聚類,根據某個聚類演算法我們把這n個樣本聚為k個簇,現在問題是怎麼確定現在的聚類結果是有意義的,而不是僅僅通過隨機得到的。下面我們將構造hubert 統計量,通過假設檢驗的方法來解決這一問題。以下內容大部分出至jain和dubes的聚類教程 algorithms for clu...

評價團隊有效性的指標

個人技能的改進,從而使成員更加有效的完成工作任務 團隊能力的改進,從而使團隊更好的開展工作 團隊成員離職率的降低 團隊凝聚力的加強,從而使團隊成員公開分享資訊和經驗,並互相幫助,來提高專案績效。高效的專案團隊是以任務和目標為導向的,團隊績效評定標準應由全體相關各方聯合確定,並被整合到建設專案團隊過程...

有效性單元

demonstration company公司生產乙個叫做pcx conveyor的產品,portable model pcx conveyor.標準的產品bom如下 物料數量 發料倉庫 10pcx belt black trackmate 533 cos pvc 1.0000 whams1 20p...