雲時代架構之360推薦系統架構演進

2022-08-01 05:30:18 字數 954 閱讀 6634

由 amazon 發揚光大的。推薦系統也是現在熱門的人工智慧分支之一,但凡人工智慧類的落地,都需要具備這幾個基本元素才行:資料、演算法、場景、計算力。推薦系統也不例外,而剛好,現在的時代,這些元素的獲得成本相比十年前已經小了很多。未來隨著各種硬體裝置越來越智慧型,萬物互聯得越來越緊密,人們的個性化需求、場景的多樣性、資料的複雜性都對推薦系統提出了更高的要求。

實時性:推薦系統要根據使用者的上下文來實時更新推薦內容,使用者的興趣也是隨著時間而改變的,需要實時更新。

推薦透明度:對於使用者看到的最終結果,要讓使用者知道推薦此內容的原因。比如,「買過這本書的人同時也買過」、」你購買過的xx和此商品類似」。

人工推薦:人工干預的推薦內容。相比於依賴熱門和演算法來進行推薦。一些熱點時事如世界盃、nba總決賽等就需要人工加入推薦列表。另一方面,熱點新聞帶來的推薦效果也是很高的。

其中,前三者是和機器學習沒有任何關係的,但卻是推薦效果最好的三種方式。一般說來,這部分內容應該佔到總的推薦內容的80%左右,另外20%則是對長尾內容的個性化推薦。

從框架的角度看,推薦系統基本可以分為資料層、召回層、排序層。

資料層包括資料生成和資料儲存,主要是利用各種資料處理工具對原始日誌進行清洗,處理成格式化的資料,落地到不同型別的儲存系統中,供下游的演算法和模型使用。

召回層主要是從使用者的歷史行為、實時行為等角度利用各種觸發策略產生推薦的候選集,對不同的策略和演算法產生的候選集進行融合並按照產品規則進行過濾,一般融合和過濾後的候選集還是比較多的,一次線上請求過來之後線上系統無法對那麼多的候選集進行排序,所以在召回層一般還會有粗排序,對融合的候選集進行一次粗排序,過濾掉粗排分數較低的候選集。

排序層主要是利用機器學習的模型對召回層篩選出來的候選集進行精排序。

總結:推薦系統的架構流程圖和每乙個模組的作用一定要了解,一般會讓你一邊畫流程圖一邊講解每個模組。召回模組一般就是在做候選集篩選和粗排序,原因是item太多了,乙個user的請求過來線上系統不能在100ms以內對所有的item進行排序。

推薦系統架構 推薦系統(1) 業界推薦系統架構

1.1業界主流推薦系統架構 業界推薦系統通用架構 1.2使用者本身資料 1.3物品本身資料 1.4使用者行為資料 2.1基於離線訓練的推薦系統架構設計 常用演算法 邏輯回歸 logistics regression 梯度提公升決策樹 gbdt 和因式分解 fm 架構設計 2.2面向深度學習的推薦系統...

雲時代架構之菜鳥彈性排程系統的架構設計

還有就是以往的模式下,乙個應用分組的擴縮容操作頻率很低,這使估算業務流量時,需要以每天的峰值流量以及未來一段時間 通常以月為單位 內業務的發展情況來作為評估標準。而一般峰值流量出現時段可能只佔全天時間的一小部分,非峰值時段就出現大量的資源浪費。之後菜鳥便引入了菜鳥方舟,菜鳥方舟是面向菜鳥所有研發的資...

推薦系統架構

實時性 推薦系統要根據使用者的上下文來實時更新推薦內容,使用者的興趣也是隨著時間而改變的,需要實時更新。其中,前三者是和機器學習沒有任何關係的,但卻是推薦效果最好的三種方式。一般說來,這部分內容應該佔到總的推薦內容的80 左右,另外20 則是對長尾內容的個性化推薦。核心模組 資料路徑 1 請求的重新...