推薦系統之我讀,我思,我惑

2021-06-06 13:15:35 字數 1033 閱讀 2603

年前,開始系統接觸推薦系統。說到這,我想提下,最早知道推薦系統,是源於研一的時候,一次實驗室組會,乙個本科生的畢設。他是用周的heat spread 方法,其實就是利用二部圖方法進行推薦。資料是乙個使用者和物品的連線關係的二部圖。其實,這個方法很簡單,也很容易實現。

但是,後來,開始接觸項亮的博士**的時候,開始知道推薦系統主流的方法:協通濾波。這裡用基於物品,基於使用者的。值得提的是,amazon主要是基於物品的。而youtobe也利用了協同過濾方法,但是裡面涉及到了乙個圖模型。

乙個簡單有效的推薦系統方法slopeone,主要是容易實現,時間,空間複雜度都得到了控制。

基於矩陣分解的推薦系統的方法,主要是利用svd方法,由於svd方法時間複雜度太高,隨之,推出了rsvd這樣的改進版本。矩陣分解模型是乙個基於模型的推薦系統方法,需要線下的訓練。在一些開源資料,movielens,netflix資料集上測試,基於這種模型的推薦系統的打分推薦,精度比較高。主要的評價標準有mse,rmse。

我主要是學習了yahoo研究院的koren的幾篇推薦系統的文章。他文章首先是構造乙個模型,模型裡面有使用者的偏置,物品的偏置,平均分,使用者向量,物品向量等。用隨機梯度的方法去優化這些引數。

2月份之前,我基本研究的推薦系統都是基於打分資料的推薦。

後期,開始思考top-n問題,網際網路中,有打分資料的資源是很少的。如微博,社交**等,只要些連線關係。更多的是二元關係,如果從這些資料中做出很好的推薦呢? 這時候評價的標準已經不是rmse了,而是precision,recall等。

這樣的top-n問題,一方面,我們可以利用圖模型,進行簡單的推薦。但是,我感覺,那樣的連線關係還是太弱了,根本說明不了什麼?其實,可以,利用nlp技術,提取使用者的特徵,物品的特徵。所以無論是進行物品的推薦(電子商務),還是人的推薦(微博,社交**),也許是個方法。關鍵是如何進行提取有效特徵,我們知道現在資料太多,太稀疏,怎麼更有效。在得到特徵後,如何建立模型,進行top—n推薦,是個有價值的問題,不知道,學術界,工業界這塊是怎麼做的?

其實kddcup2012,就是這個主題。期待,那些精英們給我解決方案!

不得不說,個性化推薦是個很難得問題!

我讀我的Book

精神的食糧有點不足了,所以最近正在瘋狂補充營養,愛上看書。為了監督自個的進度,決定占個隨筆的位置。大家有什麼好的書籍或者資料的話,可以推薦下哈。reading 技術 2010 11 3 16 27 51 書籍寫的很全面,總體感覺還可以,不過好厚喲,上千頁哩。看到後來感覺有點看不動了。目前看到了通訊部...

全棧開發之我思

軟體行業應用層級別開發的必然歷史趨勢 應用層中商用級模組 api 框架 數量 越來越多 覆蓋面 越來越全 使用成本 越來越低 質量 越來越穩定 快速開發,敏捷開發要求 不重複造輪子,呼叫別人成熟的產品更快,不要再折騰自己,不然會陷入牛角尖裡,應用層,作業系統層,硬體層,電路,物理,高數.以上種種導致...

遊戲測試之我思與我想

遊戲尚未進入市場,沒有被玩家接觸到的時候,基本就是軟體開發流程,測試配合開發工程師進行一部分的操作,一般情況下,需要做的是以下的步驟 第一步 以正常玩家的名義進行模組的測試,提出自己的不足,比如這個模組我玩的時候,這兒感覺不懂,那兒感覺不對,這些都可以提成建議,放到案子中,拿給策劃審核,因為策劃同學...