星座匹配之使用者特徵尋找相似使用者

2022-05-07 01:18:09 字數 534 閱讀 9161

專案背景: 根據使用者特徵,尋找相似使用者;

最開始想法:找到使用者特徵,使用余弦相似度尋找相似使用者;

這個想法很base,不過會遇到乙個非常大的問題,就是我這個專案將來是要覆蓋全站使用者,上億使用者的情況下,兩兩計算相似度,這個演算法的複雜度是n的平方,是很大的,現在的計算資源是不支援的。

在這個時候,我在知乎看到一篇文章,文章的問題是,(spark 千萬級使用者相似度計算?)[

在這個問題中,我了解到對於大使用者量的資料,我們在計算相似度的時候,使用lsh演算法。

接下來我在搜尋lsh演算法的時候,看到了這篇文章規模資料的相似度計算:lsh演算法

從這篇文章中,我了解到,當資料量和資料維度非常大的時候,計算相似度,我們使用兩種方法來降低計算量,第一種方法是minhashing 演算法,這個演算法主要是用來降低資料特徵維度,第二種方法是lsh演算法,

主要是用來降低使用者量太大出現的問題。

對於lsh和minhashing 演算法,看到了這樣乙個文章解釋的很清楚minhash演算法

在實際應用過程中,我們使用的是python的datasketch

oracle之使用者

命令都是在命令列視窗執行 建立使用者 1 登陸管理員使用者 sqlplus system 密碼 sqlplus system briup 注意不要以分號結尾 2 建立使用者 create user 使用者名稱 identified by 密碼 create user jd2001 2005 iden...

使用者模組之使用者登入

使用者登入流程 接受資料 接受瀏覽器傳遞過來的資料 校驗資料 資料完整性校驗 all 業務處理 登入校驗 登入認證 authenticate username username,password password 認證一組給定的使用者名稱和密碼 判斷使用者已啟用 記錄使用者的登入狀態,login r...

ubuntu之 使用者管理

n 新建使用者 user add useradd username 新建使用者後,會在 home目錄下建立乙個以username命名的資料夾,使用者每次登入時自動定位到該資料夾下。為使用者新增密碼 password passwd username 刪除使用者 user delete userdel ...