推薦系統中的排序學習框架

2021-10-18 02:31:04 字數 750 閱讀 3636

「排序學習(learning to rank,ltr)」,也稱「機器排序學習(machine-learned ranking,mlr)」 ,就是使用機器學習的技術解決排序問題。自從機器學習的思想逐步滲透到資訊檢索等領域之後,如何利用機器學習來提公升資訊檢索的效能水平變成了近些年來非常熱門的研究話題,因此產生了各類基於機器學習的排序演算法,也帶來了搜尋引擎技術的成熟和發展,如今,learning to rank已經成為搜尋、推薦和廣告領域非常重要的技術手段。

本文我們首先介紹排序學習的三種主要類別,然後詳細介紹推薦領域最常用的兩種高層排序學習演算法框架:bpr和lambdamart。因為排序學習的演算法和實踐大都**於資訊檢索,一些理論也必須從資訊檢索的領域說起,所以本文也會涉及一些的資訊檢索、搜尋方面的理論知識,但重點依然會放在推薦領域排序學習的應用思路。

傳統的排序方法可粗略分為基於相似度和基於重要性進行排序兩大類,早期基於相關度的模型,通常利用 query 和 doc 之間的詞共現特性(如布林模型)、vsm(如 tf-idf、lsi)、概率排序思想(如bm25、lmir)等方式。基於重要性的模型,利用的是 doc 本身的重要性,如 pagerank、trustrank 等。在之前《基於內容的推薦演算法》和《文字內容分析演算法》兩篇文章中,稍有涉及其中的知識點。[^1][^2][^3]

傳統的檢索模型所考慮的因素並不多,主要是利用詞頻、逆文件頻率和文件長度、文件重要度這幾個因子來人工擬合排序公式,且其中大多數模型都包含引數,也就需要通過不斷的實驗確定最佳的引數組合,以此來形成相關性打分。這種方式非常簡單高效,但是也同時存在很多問題

Youtube 推薦系統框架

1 推薦一般分為match和rank.match階段採用了word2vec思想。關鍵的一點要理解vedio vector的權重在 在softmax那一步驟,比如user vector是100維,video vector是100w維。則需要乙個100 100w的矩陣,這個矩陣的權重就是video ve...

天貓推薦系統 框架

過去的首頁推薦更多的是在相關性推薦的單一資料目標上進行優化,如今天貓首頁的推薦系統不僅僅考慮推薦結果的相關性,還在推薦結果的發現性 多樣性等方面上做了更深度的優化,效率和體驗並重 成為天貓首頁新的優化目標。graph embedding transformer 深度學習 知識圖譜等新的技術已先後在天...

chp1 推薦系統框架

一 背景介紹二 主要內容 1 使用者滿意性 首當其衝的,推薦系統主要就是為了滿足使用者的需求,因此準確率是評判乙個推薦系統好壞的最關鍵指標。2 多樣性 雖然推薦系統最主要還是滿足使用者的興趣,但是也要兼顧內容的多樣性,對於權重不同的興趣都要做到兼顧。3 新穎性 使用者看到的內容是那些他們之前沒有聽說...