一般的矩陣分解,分解的矩陣有正有負。
很多實際應用中,負數沒有意義,如文字等等。
nmf中要求原矩陣和分解後矩陣都為非負矩陣,這個分解存在唯一。
引入稀疏,區域性計算。
以人臉識別為例:
v ∈r
+n×m
v\in r_+^
v∈r+n×
mm張臉,每張圖n個畫素
w ∈r
+n×r
w\in r_+^
w∈r+n×
r基矩陣,每一列為乙個基
h ∈r
+r×m
h\in r_+^
h∈r+r×
m係數矩陣,即為v中的臉一一對應的編碼
v ≈w
h=∑a
=1rw
iaha
jv≈
wh=a
=1∑r
wia
haj
我們的目標
r的選擇一般滿足 (m+
n)
r (m+n)r(m +n)r r太大,過擬合,模型複雜 r太小,欠擬合 非負矩陣分解(nmf)簡介 - 知乎專欄 基於乘法更新發展的迭代更新演算法 初始**:與pca相比,pca去除子成分,nmf疊加子成分。 人臉識別中,nmf用一組代表不同部位的基影象表示臉 對比vq pcanmf 特點w為聚類而成的基影象 w的列和h的行都是正交的 w和h非負 基影象聚類取原資料最有代表性的 基正交基非負稀疏 稀疏性單元:只有乙個非零元,過於稀疏 全域性:相當於vq的鬆弛,但用了所有基影象,過於稠密 區域性:相當於前兩者折中,只用部分基影象表達 解釋性非負 存在負數,解釋性差 非負且提取區域性特徵,解釋性好 nmf 非負矩陣分解 – 原理與應用 (上文很多來自wiki) 史丹福大學機器學習筆記——推薦系統(協同過濾、低秩分解、推薦系統) 推薦系統 假設通過學習,我們找到每個使用者j jj對不同特徵的喜愛程度,即引數θ(j )\theta^ θ(j) 則**該使用者對電影i ii的打分,x(i )x^ x(i) 為其特徵向量,分數為(θ( j))t x(i) (\theta^)^tx^ (θ(j)) tx(i )所以我們的優化目標基於已知的打分y(i ,j)y^ y(i,j) (r (i ,j)= 1r(i,j)=1 r(i,j) =1表示已知打分)來學習引數,以**未知打分 梯度下降訓練 協同過濾 已知使用者對不同特徵電影的喜好(學習到的引數)、評分,求電影的特徵向量 沒有引數也沒有特徵向量時——協同過濾。梯度下降求解 低秩矩陣分解就是協同過濾的向量化(矩陣化) 非負矩陣分解,顧名思義就是,將非負的大矩陣分解成兩個非負的小矩陣。回顧矩陣分解本身,在 公式 1 中的v是乙個n m維的矩陣,其中每一列就是 那麼非負和其它的有什麼不同呢?下面我就盜一張圖來直觀地展示幾種矩陣分解方法的效果差異。出自lee and seung 1999 圖中就對比了三種方法的區別。v... 非負矩陣分解是矩陣中所有元素均為非負數約束條件下的矩陣分解,其基本思想 給定乙個非負矩陣v,nmf能夠找到乙個非負矩陣w和乙個非負矩陣h,使得矩陣w和矩陣h的乘積近似等於矩陣v中的值。h矩陣 係數矩陣 nmf廣泛應用於影象分析,文字挖掘和語音處理鄰域。nmf矩陣分解優化目標 最小化w矩陣h矩陣的乘積... 為了解決基於張量的多模態融合方法計算效率差的問題,文章提出了一種低秩多模態融合的方法 low rank multimodal fusion,lmf 的方法。通過將張量和權重並行分解,利用模態特定的低階因子來執行多模態融合。避免計算高維的張量,降低了記憶體開銷,將指數級的時間複雜度降低到了線性。文章提...非負矩陣分解 NMF 簡介
python 非負矩陣分解 NMF
矩陣低秩張量分解 基於模態特定因子的低秩多模態融合