非負矩陣分解 低秩矩陣分解

2021-08-18 04:01:59 字數 1598 閱讀 5713

一般的矩陣分解,分解的矩陣有正有負。

很多實際應用中,負數沒有意義,如文字等等。

nmf中要求原矩陣和分解後矩陣都為非負矩陣,這個分解存在唯一。

引入稀疏,區域性計算。

以人臉識別為例:

v ∈r

+n×m

v\in r_+^

v∈r+n×

m​m張臉,每張圖n個畫素

w ∈r

+n×r

w\in r_+^

w∈r+n×

r​基矩陣,每一列為乙個基

h ∈r

+r×m

h\in r_+^

h∈r+r×

m​係數矩陣,即為v中的臉一一對應的編碼

v ≈w

h=∑a

=1rw

iaha

jv≈

wh=a

=1∑r

​wia

​haj

​ 我們的目標

r的選擇一般滿足 (m+

n)

r

(m+n)r(m

+n)r

r太大,過擬合,模型複雜

r太小,欠擬合

非負矩陣分解(nmf)簡介 - 知乎專欄

基於乘法更新發展的迭代更新演算法

初始**:與pca相比,pca去除子成分,nmf疊加子成分。

人臉識別中,nmf用一組代表不同部位的基影象表示臉

對比vq

pcanmf

特點w為聚類而成的基影象

w的列和h的行都是正交的

w和h非負

基影象聚類取原資料最有代表性的

基正交基非負稀疏

稀疏性單元:只有乙個非零元,過於稀疏

全域性:相當於vq的鬆弛,但用了所有基影象,過於稠密

區域性:相當於前兩者折中,只用部分基影象表達

解釋性非負

存在負數,解釋性差

非負且提取區域性特徵,解釋性好

nmf 非負矩陣分解 – 原理與應用

(上文很多來自wiki)

史丹福大學機器學習筆記——推薦系統(協同過濾、低秩分解、推薦系統)

推薦系統

假設通過學習,我們找到每個使用者j

jj對不同特徵的喜愛程度,即引數θ(j

)\theta^

θ(j)

則**該使用者對電影i

ii的打分,x(i

)x^

x(i)

為其特徵向量,分數為(θ(

j))t

x(i)

(\theta^)^tx^

(θ(j))

tx(i

)所以我們的優化目標基於已知的打分y(i

,j)y^

y(i,j)

(r (i

,j)=

1r(i,j)=1

r(i,j)

=1表示已知打分)來學習引數,以**未知打分

梯度下降訓練

協同過濾

已知使用者對不同特徵電影的喜好(學習到的引數)、評分,求電影的特徵向量

沒有引數也沒有特徵向量時——協同過濾。梯度下降求解

低秩矩陣分解就是協同過濾的向量化(矩陣化)

非負矩陣分解 NMF 簡介

非負矩陣分解,顧名思義就是,將非負的大矩陣分解成兩個非負的小矩陣。回顧矩陣分解本身,在 公式 1 中的v是乙個n m維的矩陣,其中每一列就是 那麼非負和其它的有什麼不同呢?下面我就盜一張圖來直觀地展示幾種矩陣分解方法的效果差異。出自lee and seung 1999 圖中就對比了三種方法的區別。v...

python 非負矩陣分解 NMF

非負矩陣分解是矩陣中所有元素均為非負數約束條件下的矩陣分解,其基本思想 給定乙個非負矩陣v,nmf能夠找到乙個非負矩陣w和乙個非負矩陣h,使得矩陣w和矩陣h的乘積近似等於矩陣v中的值。h矩陣 係數矩陣 nmf廣泛應用於影象分析,文字挖掘和語音處理鄰域。nmf矩陣分解優化目標 最小化w矩陣h矩陣的乘積...

矩陣低秩張量分解 基於模態特定因子的低秩多模態融合

為了解決基於張量的多模態融合方法計算效率差的問題,文章提出了一種低秩多模態融合的方法 low rank multimodal fusion,lmf 的方法。通過將張量和權重並行分解,利用模態特定的低階因子來執行多模態融合。避免計算高維的張量,降低了記憶體開銷,將指數級的時間複雜度降低到了線性。文章提...