一、din簡介
該**是18年由阿里巴巴的蓋坤團隊提出，**位址為：
原**的網路結構為
在深度學習推薦系統這本書中，王喆繪製了這麼一幅圖，更好理解
注意
架構圖中的紅線，發現每個ad會有 good_id, shop_id 兩層屬性，shop_id只跟使用者歷史中的shop_id序列發生作用，good_id只跟使用者的good_id序列發生作用
注意力機制顧名思義，就是模型在**的時候，對使用者不同行為的注意力是不一樣的，「相關」的行為歷史看重一些，「不相關」的歷史甚至可以忽略
va是候選集的embedding，ej是行為序列的embedding，一般要求sum(wj,j=1,2,…n)=1,為了達到這種目的，對attention做了softmax處理
在大規模稀疏場景下，採用sgd對引入l2正則的loss進行更新時計算開銷過大的問題。該方法只對每乙個mini-batch中引數不為0的進行梯度更新
b代表總mini-batch的size，bm代表第m個mini-batch，amj=max(x,y)i(xj!=0) ,(x,y) in bm，i為指示函式；nj代表在所有樣本中特徵j出現的次數
主要是緩解每乙個batch分布不一致，而提出的一種自適應調整rectified point的位置的啟用函式
e[s] and var[s]每乙個mini-batch的期望和方差，當期望為0，方差為1退化為prelu
prelu的結構為
推薦系統 3 深度學習發展
深度學習推薦模型，有早期微軟的deepcrossing,google的wide deep，阿里的mlr，到現在影響力非常大的din,dien,youtube的深度推薦模型等。經典的推薦演算法，矩陣分解，在矩陣分解模型的結構中，使用者one hot向量和物品one hot向量分局兩側，他們會先通過隱向...
學習週報20200621 深度學習推薦系統
學習週報 總結自己的學習和遇到的好材料。往期回顧 最近調整了作息，早上早起晚上早睡，所以學習策略也有一些調整，但是學習是一直不能落下，query理解層面自己有了比較完整的一年經驗，要開始把坑挖大，自己的計畫是稍微在推薦系統這個角度看看有沒有一些經驗可以使用吧，一方面是深度學習推薦系統這本書，另一方面...
深度學習推薦系統 筆記06 推薦系統線上服務相關
需要跟資料庫打交道，把候選物品和離線處理好的特徵載入到伺服器 召回層 排序層 業務邏輯 結果多樣性 流行度 ab 測試 負載均衡 nginx或專門的硬體級負載均衡裝置 快取 1 預先快取好幾類新使用者的推薦列表 2 利用新使用者有限的資訊，比如ip，註冊資訊等做乙個簡單的聚類，為每個人群聚類產生合適...