深度學習推薦系統學習筆記5 DIEN

2021-10-25 15:32:50 字數 624 閱讀 5228

經過之前deep crossing、deep&cross、din等演算法的實現。發現這些演算法都非常相似,都是由deep crossing演化而來,即deep部分和crossing部分。deep部分利用深度模型模型提取特徵,crossing計算一些特徵,然後特徵拼接進入乙個淺層神經網路,再進行softmax多分類。

深度學習推薦系統學習筆記1——deep_crossing

這部分實現邏輯較為複雜。每個gru單元輸出h(t),進入注意力機制(淺層神經網路)獲得輸出作為權重,將h(t)和權重一起送入augru單元,最終獲得最後乙個augru單元輸出,與**新聞向量拼接。

這部分需要好好看看**才能了解attention和augru具體實現。由於沒看到dien注意力機制實現,這裡注意力機制實現完全照搬的din演算法。

1、data資料夾(無改動)

3、dien資料夾:包括model和訓練。

利用dien模型訓練,得到的結果其實沒怎麼提高,主要是由於演算法引數增加的太多,沒嘗試執行更多次的迭代。在幾次迭代過後loss和auc都比較穩定了,測試集auc到了0.63。比之前rnn系列調到最好結果0.64有差距。

推薦系統學習筆記

完整的資訊流推薦系統 到業務前台的推薦系統的召回 粗排以及精排等推薦環節,召回層面,目前已實現大規模fm統一召回模型,正逐步替代傳統的多路召回模型,並在各項指標取得了非常明顯的業務效果。召回階段,採用模型統一召回代替傳統的多路召回是個比較明顯的趨勢。四個環節分別是 召回 粗排 精排和重排。模型召回 ...

深度學習推薦系統 學習筆記 Chapter 1

深度學習推薦系統 學習筆記導言 推薦系統模組 推薦系統主要分為兩個部分,資料部分和模型部分。推薦系統訓練形式 深度學習貢獻以及不足 目前大廠已經逐步深入使用dl進行推薦。相比傳統模型,深度學習的模型對資料模式的擬合能力和特徵組合的挖掘能力更強。此外,深度學習模型結構的靈活性,使其可以根據不同的推薦場...

推薦系統學習筆記 推薦系統現存問題

單純以使用者和專案為驅動的推薦引擎並不能滿足相關使用者的實際需要,使用者在實際購買之中往往會結合自己的實際需要以及社交網路的推薦來做選擇 傳統的推薦演算法往往帶有很嚴重的 馬太效應 推薦的商品往往是熱門的商品,導致熱門的商品更加熱門,而處在 長尾分布 上的商品仍然得不到重視。因此,將社交網路與個性化...