chp1 推薦系統框架

2021-09-28 15:39:50 字數 1593 閱讀 1125

一、背景介紹二、主要內容

1、使用者滿意性:首當其衝的,推薦系統主要就是為了滿足使用者的需求,因此準確率是評判乙個推薦系統好壞的最關鍵指標。

2、多樣性:雖然推薦系統最主要還是滿足使用者的興趣,但是也要兼顧內容的多樣性,對於權重不同的興趣都要做到兼顧。

3、新穎性:使用者看到的內容是那些他們之前沒有聽說過的物品。簡單的做法就是在推薦列表去掉使用者之前有過行為的那些內容。

4、驚喜度:和新穎性類似,但新穎性只是使用者沒看到過的但是確實是和他行為是相關的,而驚喜度是使用者既沒有看過和他之前的行為也不相關,但使用者看到後的確是喜歡的。

5、實時性:推薦系統要根據使用者的上下文來實時更新推薦內容,使用者的興趣也是隨著時間而改變的,需要實時更新。

6、推薦透明度:對於使用者看到的最終結果,要讓使用者知道推薦此內容的原因。比如,「買過這本書的人同時也買過」、」你購買過的xx和此商品類似」。

7、覆蓋率:挖掘長尾內容也是推薦系統很重要的目標。因此,推薦的內容覆蓋到的內容越多越好。

三、推薦框架設計

下面單個介紹上面的每個部分:

1、資料平台

作用:主要是儲存推薦系統物品相關資料、使用者行為日誌收集,為模型、推薦提供源資料服務。

模型特徵資料、使用者實時日誌資料、推薦商品/物件的基礎資料

2、演算法模型

核心模組

業務閘道器,推薦服務的入口,負責推薦請求的合法性檢查,組裝請求響應的結果。

推薦引擎,推薦系統核心,包括online邏輯,召回、過濾、特徵計算、排序、 多樣化等處理過程。

資料路徑

1、請求的重新整理從gateway,經過流量分配模組,傳到業務gateway,業務gateway支援http,tcp(使用thirtf協議或者protobuf 協議)等多種型別介面;

2、使用者行為資料,從gateway到flume agent,然後到kafka,為後面online,realtime userprofile部分的提供實時資料,也為offline部分的資料儲存系統提供資料。

offline部分:

優酷推薦架構

總結:griddle 框架由兩級架構組成. 每乙個例項可以被分成多個層, 每一層由多個模組組成. 在實際應用中我們通常對發揮不同功能的層有不一樣的命名. 分別是 「召回」, 「規則」, 「分桶」, 「精排」, 「組合」. 每乙個型別的層並不是必須的, 視需求而定.

五、參考文獻:

1)2)

3)4)

5)

推薦系統(1) 推薦系統概述

推薦系統是主動從大量資訊中找到使用者可能感興趣的資訊的工具。推薦系統的核心問題是如何實現推薦個性化 如何向使用者推薦匹配度高的產品 商品 或專案,本質是通過一定的方式將使用者和專案聯絡起來。自從xerox palo alto研究中心於1992年研發出了基於協同過濾的實驗系統tapestry以來 主要...

Youtube 推薦系統框架

1 推薦一般分為match和rank.match階段採用了word2vec思想。關鍵的一點要理解vedio vector的權重在 在softmax那一步驟,比如user vector是100維,video vector是100w維。則需要乙個100 100w的矩陣,這個矩陣的權重就是video ve...

推薦系統1

1 基於內容的推薦方法 基於內容的指推薦方法將會把與使用者過去曾經使用過或者喜歡的產品相似的產品推薦給使用者。這是出於同一使用者的歷史資料來推薦產品。2 協同過濾的推薦方法 協同過濾推薦方法將會把與使用者的喜好相類似的其他使用者曾經使用或者喜歡的產品推薦給使用者,是根據使用者間的相似度來推薦產品。3...