冷啟動問題的一點嘗試LCE

2021-10-11 09:15:07 字數 2311 閱讀 4908

各位大佬好,最近我又抑鬱了。比上不足,我比上不足,life is harder.

for recommendation in deep learning qq group 277356808

for visual in deep learning qq group 629530787

i'm here waiting for you

有些公號的文章罵我,翻譯*****誰不會,老子其實不是秀,我翻譯下至少當時「假裝理解」了,是不是真的懂不知道,但過後還可以自己再看下啊,不然又要重頭看,那樣太累了。另外至少我翻譯時不會想很多雜亂的破事,至少我可以靜下來,別亂指責別人,總有你不了解的事。 

初探秘境——about item cold-start

先不要急著否定乙個人,不妨等他表演結束,給他乙個show的機會。

collective factorization背後的意圖

這是常見的形式,最後一項是正則項,為了解的光滑性及避免過擬合。這裡有兩個考慮,乙個是低緯空間,乙個是線性近似。乙個很自然的假設在此:流形假設,如果兩個資料點在無論什麼角度是相近的,那麼他們在其他低緯度也是相近的,這個假設是很重要的,在維度減少和半監督學習中。最近的相關研究表明,譜圖理論及流形學習可以有效擬合一些資料點,通過一些近鄰圖。邊可以是2值的,也可以是權值的。這樣,乙個矩陣a可以用於度量兩個點的距離,collective factorization將每個點對映到乙個低緯的表達wi也就是w矩陣的每行。乙個很自然的度量兩個低緯表達的距離的方法是計算其尤拉距離|wi-wj|^2。a是xi和xj的區域性距離,因而可以將a作為低緯表達的光滑性引數:

d是對角矩陣,每個輸入都是a的行和,例如

其實也就是增加一項,用於降維及光滑性考慮。這就是lce優化問題,其實沒啥,,,哈哈

優化方法

針對上面非凸問題的優化,期望乙個演算法能夠找到全域性最優的點是不現實的。因此,推導乙個迭代演算法(基於多個更新規則)獲得乙個穩定點。這裡不再貼出來了,估計也沒人去推導啥的,作為乙個搬磚工,那就是了解即可,詳細推導見這裡。

另外這個圖也說明,加不加上面的tr專案都可以,有可能不加反而好很多,為了技算效率考慮,我覺得不加就可以了。但下面試驗是有的。

引數分析——消融試驗

lce模型有三個重要的引數,乙個k——隱向量的維度,alpha——權重,lambda——控制光滑解。其中k也控制著模型的複雜度,小的k欠擬合,大的k過擬合,效果都不好,所以需要試驗。

*****說了,beta和lambda表現特性差不多,所以就沒給,我可以大膽推測,其實beta等於0效果也不差,你看看lambda的效果。k和alpha取4或5都不錯,但下文計算cpu執行時間卻說k是10^2量級,這個。。。兩個k不一樣意思還是上圖的k缺少了量級?有點懵逼啊。下圖是訓練時間,

這裡是用matlab寫的**,不知道有沒有大佬看的上,或者你搞成個python/cpp版本的給我用用,哈哈。大致看了下**並不複雜,按照我的思路搞個baseline不難,刪掉beta項,去掉lambda項,這就容易多了,轉成python版本也不難。我們下次再見。願我們終有會面之時,而你還記得我們曾經討論的話題。

像迷幻,如夢初醒的一對眼。

似夜晚,星光一般璀璨。

是常在心間,濃情從未淡。

這份愛的感嘆,這一生不褪減。

【20201206-19:26補充】

我特麼發完就看到有個博文與此lce對比,肯定啊,因為這是7年前的*****了,我覺得這個理論上好理解,而且很好回答面試中的問題,如果你用高大上的問題,難免會給自己挖坑,一問三不知很可怕。

推薦系統的冷啟動問題

使用者冷啟動 2 引導使用者填寫興趣 外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳 img d6gpgxgw 1614269253067 img recommend5.png 4 新老使用者推薦策略的差異 舉例 性別與電視劇集的關係 外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直...

推薦系統中的冷啟動問題

冷啟動問題的研究意義 目前針對冷啟動問題提出了一些解決方法,如隨機推薦法 平均值法 眾數法 資訊熵法 相似度度量改進法結合內容資訊的方法等。不同的演算法有各自的優點和不足,充分認識各演算法的效能特徵,掌握其適用的特定環境,便於研究者發現不同演算法的改進點,明確演算法的研究方向。更重要的是便於推薦系統...

冷啟動問題 如何構建你的機器學習組合?

n 作為即將告別大學的機器學習畢業狗的你,會不會有種迷茫的感覺?你知道 hr 最看重的是什麼嗎?在求職季到來之前,畢業狗要怎麼做,才能受到 hr 的青睞 拿到心儀的 offer 呢?負責幫助應屆生找到機器學習工作的 edouard harris 給我們分享了他見到的例子和觀點,希望對面臨就業壓力不斷...