為了解決基於張量的多模態融合方法計算效率差的問題，文章提出了一種低秩多模態融合的方法(low-rank multimodal fusion, lmf)的方法。通過將張量和權重並行分解，利用模態特定的低階因子來執行多模態融合。避免計算高維的張量，降低了記憶體開銷，將指數級的時間複雜度降低到了線性。
文章提出一種模型，將權重分解為低階因子，這樣可以減少模型中引數的數量。這種分解可以通過利用低階權重張量和輸入張量的並行分解來有效地進行基於張量的融合。
這篇**將多模態融合表述為乙個多線性函式
下游的工作。
為了能夠用乙個張量來模擬任意模態子集之間的相互作用。 zadeh et al. (2017)提出在進行外積之前，給每個表示
1。所以輸入的張量
輸入張量
其中 是權重，
是偏移量。
由於 是
階張量，因此
是 階的張量，維度為
，額外的第
層為輸出表示的大小
。在進行張量點積的過程中，我們可以把
看作是
個 階張量，即可以被劃分為
，每乙個
都在輸出的向量
中貢獻乙個維度，即
。下圖為用兩個模態的例子來解釋張量融合：
為了解決tensor-based fusion方法的問題，文章提出了一種低秩多模態融合的方法(low-rank multimodal fusion)(lmf)的方法，將
分解為一組modality-specific low-rank factors, 且
也可以分解為
。通過這種並行分解的方式，文章可以不顯性獲得高維的張量而直接計算到
。 把
看作是
個階張量，每個
階張量可以表示為
，存在乙個精確分解成向量的模式：
最小的使得分解有效的
稱為張量的rank。
向量的集合
稱為原始張量的秩
分解因子。 文章固定
為 ，然後用
個分解因子
來重建低秩版本的
。這些向量可以重新組合為
個模態特定的低秩因子。令
，則模態
對應的低秩因子為
。那麼低秩的權重張量可以用下式重建得到：
基於 的分解，再根據
，我們可以把原來計算
的式子推算如下：
其中 表示為一系列張量的元素積，即
這麼做的好處顯而易見：
實驗表明所提方法在所有資料集上都優於tensor fusion network(tfn)
速度超過tfn兩倍以上。
隨著rank的增加，訓練結果越來越不穩定，而使用較低的rank就足以達到令人滿意的效能了。
非負矩陣分解 低秩矩陣分解
一般的矩陣分解，分解的矩陣有正有負。很多實際應用中，負數沒有意義，如文字等等。nmf中要求原矩陣和分解後矩陣都為非負矩陣，這個分解存在唯一。引入稀疏，區域性計算。以人臉識別為例 v r n m v in r v r n m m張臉，每張圖n個畫素 w r n r w in r w r n r 基矩陣...
網路壓縮 1 低秩分解
網路壓縮 network compression 1 低秩近似 低秩分解 low rank expansion 上圖展示了低秩分解的基本思想 將原來大的權重矩陣分解成多個小的矩陣，右邊的小矩陣的計算量都比原來大矩陣的計算量要小，這是低秩分解的基本出發點。奇異值分解svd cp分解 tucker分解 ...
關於矩陣的低秩表示的學習
研究的課題方向為非剛性結構運動 non rigid structure from motion 的三維重建，在看 時，看到乙個低秩表示 low rank representation 的討論 low rank representation for matrix recovery 矩陣恢復的低秩表示 ...