推薦演算法煉丹筆記 阿里序列化推薦演算法MRIF

2021-10-13 00:19:03 字數 2090 閱讀 3920

個性化推薦的主要任務是根據使用者的歷史行為來獲取使用者的興趣。推薦系統的最新進展主要集中在使用基於深度學習的方法精確地建模使用者的偏好。使用者興趣有兩個重要的屬性,

現有的方法要麼使用遞迴神經網路(rnns)來解決使用者興趣的漂移,而不考慮不同的時間範圍,要麼設計兩個不同的網路分別對長期和短期偏好進行建模。本文提出了一種綜合考慮使用者興趣的多resolution興趣融合模型。該模型能夠捕捉使用者興趣在不同時間範圍內的動態變化,為組合多resolution使用者興趣進行**提供了有效途徑。

使用者在每一步的興趣可以被建模為乙個隱藏變數,這個變數不能直接觀察到,通過歷史行為來估計。以往的研究使用隱馬爾可夫模型(hmm)來**使用者的潛在興趣,通過最大化隱藏使用者興趣下行為序列的概率。然而,hmm模型的狀態非常有限,不能有效地表達使用者的興趣空間。dien選擇基於gru的rnn作為使用者興趣抽取器,這對於長序列是非常耗時的。有些文章提出的transformer網路依賴於self-attention而不是recurrence,這是一種更快,更有效的方法。

此處我們使用transformer進行興趣的收取,預訓練的transformer網路來對下一步的商品進行**。我們先用multi-head attenion將輸入序列投影到h的子空間中,然後使用scaled dot product attenion函式,我們使用兩個紡射轉化函式以及relu函式來增加非線性能力。

transformer網路建立在multihead attention和ffn的基礎上,增加了dropout、layer normalization和residual鏈結。transformer層方程如下:

為了準確捕捉使用者在每一步的即時興趣,我們預先訓練transformer網路來**使用者在每一步的下乙個行為。

本文我們使用三種aggregator。

其中a是和embedding位置相關的attention引數。

本文提出了由興趣提取層、興趣聚集層和注意融合結構組成的多解析度興趣融合模型,解決了不同時間範圍內使用者偏好的提取和組合問題。興趣提取層在每一步都依賴於變換塊來提取使用者的即時興趣。興趣聚合層的重點是找到一組不同解析度的使用者興趣。提出了三種不同的聚合器:平均聚合器、最大聚合器和注意聚合器。興趣融合結構採用注意機制,整合多解析度興趣進行**。在七個評價指標下對兩個資料集進行了實驗,證明了該模型的優越性。

RLP序列化演算法

rlp recursive length prefix 遞迴長度字首編碼,是由以太坊提出的序列化 反序列化標準,相比json格式體積更小,相比protobuf對多語言的支援更強。rlp將資料分為兩類 字串列表 可以包含字串和列表 字串長度是1,並且值屬於 0x00,0x7f 那麼其rlp編碼就是字串...

Serializable 序列化筆記

網路通訊中以位元組傳輸 資料的儲存 實現serializable 介面 實現externalizable 介面,其中externalizable 介面繼承了serializable 介面 1 user 類實現serializable 介面,新增生成serialversionuid public cl...

筆記 python序列化和反序列化 JSON模組

要在不同的程式語言之間傳遞物件,就必須把物件序列化為標準格式。json表示出來就是乙個字串,可以被所有語言讀取,也可以方便地儲存到磁碟或者通過網路傳輸。dumps 方法返回乙個str,內容就是標準的json import json d d dict name forest age 23,score ...