Sparsity稀疏編碼(三) (值得閱讀)

2021-06-22 01:19:36 字數 1275 閱讀 5999

稀疏編碼(sparse coding)和低秩矩陣(low rank)的區別

上兩個小結介紹了稀疏編碼的生命科學解釋,也給出一些稀疏編碼模型的原型(比如lasso),稀疏編碼之前的**文章就不說了,今天開始進入機器學習領域的稀疏表達。稀疏編碼進入機器學習領域後,出現了很多應用,比如計算視覺領域的影象去噪,去模糊,物體檢測,目標識別和網際網路領域的推薦系統(collaborative filtering)用到的low rank,其實sparsecoding和low rank有點區別,前者是稀疏係數,後者是稀疏基。就統稱他們為稀疏表達吧。接下來簡單的闡述下sparse coding和low rank的區別:

sparsecoding就是圍繞著

不過還是要強調一下d表示一張影象向量,假設維度為m。這樣某個樣本可以表示為:

,這下終於和sparse coding扯上關係咯,alpha是稀疏的,好多0啊

到此位置機器學習的sparse coding模型基本就搭建好了,接著要做的就是對它求解,不得不說的是公式中都是未知數,看上去解很多,不過還有乙個約束沒用上,就是讓alpha和e的非零個數盡可能的少,稀疏嘛,因此最終建立模型(公式一)所示:

(公式一)

對其優化求解就行了,常用的方法有coordinate descent和orthogonal matching pursuit(omp)方法,求解的alpha和e是稀疏的,但是求解方法主要看優化,各種優化演算法層出不窮,這個話題就打住吧。

現在來看下low rank,先來看乙個經典問題,如(圖一)所示:

(圖一)

(圖二)

優化求解模型如(公式二)所示:

(公式二)

沒錯,和上面一樣,又要求x又要求theta,求解方法仍然可以採用 coordinate descent,但也有其他求解方法,其他方法主要從凸優化的角度來考慮,數學界的新星陶哲軒證明了在rip條件下l0範數(就是計算元素數的)優化和 l1範數優化具有相同的解,然後l1範數是個凸優化問題,順便鬆弛到trace norm來求解,背後有很多數學證明,今天就說到這了,優化求解方法以後慢慢來觸及吧。

對於稀疏表示的應用可以看看一篇名為「稀疏表達」的上中下博文

Sparsity稀疏編碼(三) (值得閱讀)

稀疏編碼 sparse coding 和低秩矩陣 low rank 的區別 上兩個小結介紹了稀疏編碼的生命科學解釋,也給出一些稀疏編碼模型的原型 比如lasso 稀疏編碼之前的 文章就不說了,今天開始進入機器學習領域的稀疏表達。稀疏編碼進入機器學習領域後,出現了很多應用,比如計算視覺領域的影象去噪,...

稀疏編碼 Sparse Coding

影象是有一些基的線性組合形成。自然影象是個稀疏結構,即任何給定影象都可以用大資料裡面的少數幾個描述符 基 來表示。尋找使得每個係數的概率分布是單模態並且在0處是峰分布的低熵 low entropy 方法。1988年,神經稀疏編碼的概念由mitchison提出,由牛津大學的rolls等正式引用。靈長目...

個人稀疏編碼筆記

b ax其中,a rn m b r n,x rm,n m 因為的行數 方程個數 n 多於未知引數的個數 m,因此上述方程組是欠定的,其解為 無解or無窮多解,為了保證上述方程有解,此後我們假定 a 是滿秩矩陣。我們追求的結果是找到 b 的稀疏表示方法,也即設法找到a,x使得在該對映變換下,x 是 b...