推薦系統 常見評估指標 學習筆記

2021-10-24 22:07:20 字數 2754 閱讀 3737

目錄

1 推薦系統簡介

2 推薦系統常見評估指標

2.1 使用者滿意度

2.2 準確率相關

2.3 覆蓋率

2.4 多樣性

2.5 新穎性

2.6 roc/auc

1. what

使用者:推薦系統是一種幫助使用者快速發現有用資訊的工具

公司:推薦系統是一種增加公司產品與使用者接觸,購買等行為概率的工具

2. why

歷史資訊猜測其可能喜歡的內容

公司:解決產品能夠最大限度地吸引使用者,留存使用者,增長使用者黏性,提高使用者轉化率,從而達到公司商目標連

續增長的目的. 本質上是一種實現將使用者-商品-公司之間利益最大化的手段.

3. who

從上面的1和2可以看出使用者與公司是需要推薦系統的主要物件,那麼可以在1和2的基礎上展開想想什麼樣子

的人需要推薦系統,以及什麼樣的公司需要推薦系統。

(1)評分**  (其中t是使用者和物品的並集,r是真實使用者u對物品i的評分,r^是推薦模型**出來的評分)均方根誤差:

平均絕對誤差:

(2)topn推薦(用到了機器學習評估中的精準率和召回率)

推薦系統中的「精準率」:

推薦系統中的「召回率」:

覆蓋率是用來描述乙個推薦系統對物品長尾的發掘能力,乙個簡單的定義可以是:推薦系統所有推薦出來的商

品集合數占總物品集合數的比例.但是對於相同的覆蓋率,不同物品的數量分布,或者說是物品的流行度分布是可以

不一樣的.為了更好的描述推薦系統挖掘長尾的能力,需要統計不同物品出現次數的分布.如果所有的物品都出現在

推薦列表中,並且出現的次數都差不多,那麼推薦系統發掘長尾的能力就很好.所以可以通過研究物品在推薦列表中

出現的次數分布來描述推薦系統挖掘長尾的能力,如果這個分布比較平緩說明推薦系統的覆蓋率比較高,而如果分布

比較陡說明推薦系統的覆蓋率比較低.

下面分別使用資訊熵和基尼係數來定義覆蓋率.

資訊熵:

基尼係數:

其中,第乙個公式:p(i)是  物品i的流行度除以所有物品流行度之和(流行度:指有多少使用者為物品評分)

其中,第二個公式:公式中p是i物品從小到大排列的流行度的第j個物品。

多樣性公式可定義為: 

其中r(u)表示系統為使用者u推薦的物品列表,分母可以理解為推薦的物品中兩兩比較最終的乙個相似度可能性總和。而分子的s(i,j)可以理解為物品i和物品j的相似度。總之,該公式可以理解為,推薦的物品中長得越不一樣,多樣性便越大!

新穎性簡介:

滿足推薦的新穎性最簡單的方法就是給使用者推薦他們之前沒有看過的物品,

但是每個使用者沒見過的物品數量是非常龐大的,所以一般會計算推薦物品的平均流行度,

流行度越低的物品越有可能讓使用者覺得新穎。

因此,如果推薦結果中的物品平均熱門程度比較低說明推薦的結果就可能比較新穎.

(1)混淆矩陣 圖 (機器學習常見評估)

(2)常見評估指標

準確率:(tp+tn)/ all , 即正負樣本都對了的除以多有測試樣本數。

精準率(查準率)

召回率(查全率)

f1值

「真正例率」(true positive rate, 簡稱tpr):tp/(tp+fn),同召回率。

「假正例率」(false positive rate,簡稱fpr):fp/(fp+tn),假的**為正,除以所有本來就為假的。

roc/auc:綜合衡量分類效果的面積值,如下所示,橫座標為fpr,縱座標為tpr。

(3)指標意義: 可以參考 : roc曲線和auc面積理解,寫的很好,這裡不再贅述。   

推薦系統 評估指標總結

準確率指標 該型別的指標大部分是推薦演算法優化的目標,衡量著推薦演算法的優劣。準確率。推薦給使用者的商品中,屬於測試集的比例,數學公式p lu lu bulup lu lu bulu 整個測試集的準確率為 pl 1n u up lu pl 1n u up lu 召回率。測試集中有多少在使用者的推薦列...

推薦系統筆記一 簡介和評估

搜尋和推薦的區別 搜尋更關注馬太效應 馬太效應傳送門 簡單的說,就是讓富有者更加富有,讓貧窮者更加貧窮 而對於推薦來說,則更加關注長尾分布,也就是要要提高覆蓋率 如何得知推薦系統推薦的好壞,分為 對於推薦系統有兩個必須考慮的問題 ee exploit explore 和冷啟動問題 其中之一的解決辦法...

推薦演算法 推薦系統的評估

其中 ep 是測試資料集合 rs ua i ualu lu u 待推薦的列表大小 離線測試,使用者 u在測試集中影片數量 未打分的影片數量 iu a 是 影片 a 在使用者推薦列表中的排名ap x i 1x pre dict ioni ch ange inre call i ap 2 p redi ...