推薦系統資料稀疏性問題

讓我們看看為什麼效果比較差。在u-i矩陣中，使用者平均瀏覽的商品數量比較小，根據周濤的估計，平均每個使用者的瀏覽寶貝數量不超過800。實際上，平均每個使用者的商品瀏覽數量可能不超過20.那麼在u-i矩陣中，只有6000萬×20的entry是有值的，稀疏的度達到 20/8億=2.5e-08，小於百萬分之一。在這個規模下，任意兩個使用者的瀏覽的商品交集都是比較小的。

在**平台，不同於amazon或者豆瓣，同樣的物品（商品）有很多賣家都可以**。如果使用者瀏覽了同種商品的乙個，其實我們可以認為他瀏覽了所有類似的商品。也就是說我們想通過商品的聚類，為了減少資料量，擴大使用者的共同瀏覽量。商品聚類有很多方法，在比較規範的手機數碼聚類簡單一些，然後在****等類目聚類更複雜。因為**可能從風格等角度去聚類更簡單一些。

還有乙個角度是減少使用者量，那麼對於相似的使用者可以聚類。不管用什麼聚類方法，當面對數千萬使用者和數億商品的時候，計算量是乙個比較大的挑戰。如何減少不必要的技術，在盡可能短的時間內得到計算結果是非常重要。