推薦系統的架構

2022-07-12 08:00:08 字數 1499 閱讀 9993

本文從網際網路收集並整理了推薦系統的架構,其中包括一些大公司的推薦系統框架(資料流儲存、計算、模型應用),可以參考這些資料,取長補短,最後根據自己的業務需求,技術選型來設計相應的框架。後續持續更新並收集。。。

圖1介面ui那一塊包含3塊東西:1) 通過一定方式展示推薦物品(物品標題、縮圖、簡介等);2) 給的推薦理由;3) 資料反饋改進個性化推薦;關於使用者資料的存放地方:1)資料庫/快取用來實時取資料;2) hdfs檔案上面;

抽象出來的三種推薦方式

圖2

圖3圖3中,推薦引擎的構建**於不同的資料來源(也就是使用者的特徵有很多種類,例如統計的、行為的、主題的)+不同的推薦模型演算法,推薦引擎的架構可以試多樣化的(實時推薦的+離線推薦的),然後融合推薦結果(人工規則+模型結果),融合方式多樣的,有線性加權的或者切換式的等

圖4hulu的推薦系統

**的推薦系統(詳細跟簡單版)

netflix的推薦系統

優酷的推薦系統

備註:上圖來至easyhadoop舉辦的技術沙龍中優酷資料探勘工程師的演講,有關詳細資訊請移步 作者在演講中講的

一些"乾貨"跟推薦議題是很有價值的,下圖簡單描述。

模型前資料準備(理解資料來源,使用者,物品)

模型策略

其他考慮的場景

推薦系統架構 推薦系統(1) 業界推薦系統架構

1.1業界主流推薦系統架構 業界推薦系統通用架構 1.2使用者本身資料 1.3物品本身資料 1.4使用者行為資料 2.1基於離線訓練的推薦系統架構設計 常用演算法 邏輯回歸 logistics regression 梯度提公升決策樹 gbdt 和因式分解 fm 架構設計 2.2面向深度學習的推薦系統...

推薦系統的架構

本文從網際網路收集並整理了推薦系統的架構,其中包括一些大公司的推薦系統框架 資料流儲存 計算 模型應用 可以參考這些資料,取長補短,最後根據自己的業務需求,技術選型來設計相應的框架。後續持續更新並收集。介面ui那一塊包含3塊東西 1 通過一定方式展示推薦物品 物品標題 縮圖 簡介等 2 給的推薦理由...

推薦系統架構

實時性 推薦系統要根據使用者的上下文來實時更新推薦內容,使用者的興趣也是隨著時間而改變的,需要實時更新。其中,前三者是和機器學習沒有任何關係的,但卻是推薦效果最好的三種方式。一般說來,這部分內容應該佔到總的推薦內容的80 左右,另外20 則是對長尾內容的個性化推薦。核心模組 資料路徑 1 請求的重新...