NDCG 評價標準

2021-07-23 14:39:34 字數 658 閱讀 4294

評價標準

效能良好的評分模型,應該能夠給予那些引起msg或click的候選會員更高的評分(排序靠前),從而推薦給指定會員。本次競賽的主要排名標準為normalized discounted cumulative gain(ndcg

),定義如下:

這裡rank 1

click

msgrec

click

recrank 2

click

click

msgrec

rec這裡給出乙個計算ndcg的例子。假設某統計評分模型對5位會員進行了評分,以確定哪位會員更可能獲得會員a的青睞(評分越高表示興趣越大):

user_id_b 1

2 34 5

模型評分

1.20.7

-2.5

0.24.0

按評分排序 2

3 54 1

action (y)

msg (y2=2)

click (y3=1)

rec (y5=0)

rec (y4=0)

rec (y1=0)

因此對於會員a,

如果能夠獲得的評分足夠理想,從而能夠完美地**出會員a關於5位會員的興趣排序,則此時相應的dcg稱為ideal dcg:

從而對會員a,

推薦系統評價標準

如果乙個智慧型系統的智慧型程度很弱的話,對於工業界來說,完全可以不用智慧型系統。假象你推薦給使用者的東西效果很差的話,還不如推薦給使用者一些比較hot的東西。那麼,如何來評價乙個推薦系統的效果呢?1 accuracy 準確性是乙個可以量化的指標,在學術界,評價乙個推薦系統最重要的指標就是看看你 的分...

模型評價標準 重要

jaccard similarity coefficient 傑卡德相似係數 兩個集合a和b的交集元素在a,b的並集中所佔的比例,稱為兩個集合的傑卡德相似係數 correlation coefficient 相關係數 準確率 召回 fscore 對於分類器,評價指標主要有precision,reca...

一些評價標準

分類問題 準確率 回歸問題 1 rmse root mean square error 均方根誤差,觀測值與真值偏差的平方與觀測次數n比值的平方根 m 樣本個數 y 真實輸出值 y 得到的輸出值 i 第i個樣本 2 mae mean absolute error 平均絕對誤差,又叫平均絕對離差,是所...