推薦系統中評測指標準確率和召回率

2021-10-09 14:57:40 字數 1419 閱讀 7814

這10個並不就是全部的,它的評測指標有很多,比如使用者滿意度(最重要的指標)、**準確度、覆蓋率、多樣性、新穎性、信任度、實時性、健壯性和商業目標。

其中準確率和召回率是在**準確度裡面需要用上的概念,**準確度可以分成評分**和topn推薦。

topn=準確率(precision)/召回率(recall)

對使用者u推薦n個物品(r(u)),令使用者u在測試集上喜歡的物品集合為t(u)。

在理解之前,我們先來借助西瓜書上週老師淺顯易懂的話來了解一下它們的定義,當然也摻和了我的一些想法:

召回率(recall):又稱查全率, 按查全率字面意思理解,即就是推薦出的專案,即檢索出的相關專案占該專案系統中所有與查詢關鍵字相關的專案的比率。簡言之,就是檢索出的準確專案佔所有準確專案的比例,即在所有準確專案(使用者感興趣的內容)中有多少個被檢索出來了。

準確率(precision):又稱查準率,按查準率字面意思理解,即就是在檢索出來的所有專案中有多少專案是使用者感興趣的,檢索出來的使用者感興趣的專案佔檢索出來的所有專案的比例,比如,乙個頁面進行搜尋能顯示了10條,其中有7條是使用者感興趣的,該系統的查準率就是70%。

根據上面的概念,準確率指的是在推薦系統推薦的物品總數中真正受到使用者喜歡的比率,召回率指的是推薦出的使用者感興趣的物品數占使用者喜歡物品數目的比例。

擴充套件

對於二分類問題,將真實類別與學習器**類別的組合劃分為tp真正例,fp假正例,tn真反例,fn假反例,其中tp為被判定為正樣本中正確的樣本數量,tn為判定為負樣本中正確的樣本數量,fn為判定為負樣本中錯誤的樣本數量,fp為判定為正樣本中錯誤的樣本數量。

這裡還加入了f1度量,是因為只看p、r對於某些問題來說不夠全面。查準率和查全率是一對矛盾的度量,只能在一些簡單任務中才能使得查全率和查準率都高,所以通常會借助p-r曲線,對學習器的**結果進行排序,排在前面的是學習器認為最可能的正例樣本,後面是最不可能是正例的樣本,將查準率作為縱軸,查全率作為橫軸,就是p-r曲線,其中平衡點bep就是查全率=查準率的取值,只有當一條曲線完全包住另一條的時候,才可以說包住的那個效能要強,其他不太能斷言哪個好哪個不好了。但還是覺得bep過於簡化了,所以有了f1度量。並且對f1度量進行改進則可以用來展示對查準率和查全率重視程度的不同,即加入β,查全率對查準率的相對重要性。

召回率 和 準確率

首先,要先理解,tp,真正,將正類 成正類數 對了 fn,假負,將正類 成負類數 錯了 fp,假正,將負類 成正類數 錯了 tn,真負,將負類 成負類數 對了 第一字母是判斷的對錯,第二字母是判斷的對錯的類別 類別 yesno 實際類別 yestp fnno fptn 準確率 針對本人,意思你給出的...

準確率和召回率

鏈結 定義 正確率 提取出的正確資訊條數 提取出的資訊條數 召回率 提取出的正確資訊條數 樣本中的資訊條數 兩者取值在0和1之間,數值越接近1,查準率或查全率就越高。f值 正確率 召回率 2 正確率 召回率 f 值即為正確率和召回率的調和平均值 不妨舉這樣乙個例子 某池塘有1400條鯉魚,300只蝦...

準確率 召回率和綜合評價指標

最近在準備比賽,由於比賽涉及到準確率,召回率和綜合評價指標,雖然以前都看過,但是突然間忘了,顯得很是尷尬,所以寫篇部落格來幫自己做一下筆記。準確率和召回率這兩個通常是此消彼長的 trade off 很難兼得。很多時候用引數來控制,通過修改引數則能得出乙個準確率和召回率的曲線 roc 這條曲線與x和y...