b=
ax其中，a∈
rn×m
,b∈r
n,x∈
rm,n
>
m ,
因為的行數（方程個數）
n 多於未知引數的個數
m, 因此上述方程組是欠定的，其解為 無解or無窮多解，為了保證上述方程有解，此後我們假定
a 是滿秩矩陣。
我們追求的結果是找到
b 的稀疏表示方法，也即設法找到a,
x使得在該對映變換下，
x 是
b的稀疏表達方式，準則是利用
x 中盡可能少的不為零的數，來等效表示
b。接下來，我們考慮各種範數指標。
sparsity:
x 中不為零元素的個數
我們選取指標： j(
x)=|
|x||
22+λ
t(ax
−b)
其中，向量2-範數定義為：||
x||2
=∑|x
i|2−
−−−−
−√, 則||
x||2
2=∑|
xi|2
， 其意義也就是各元素的平方和，雖然這個二範數準則和我們的稀疏性準則並不完全一致，但是我們還是先來看一下吧。
很明顯對於這種凸函式來說，尋找極值點可以通過滿足偏導等於0 實現，書中有證明，對於下面的形式 (p-範數的p次冪) ，都是凸函式。 ||
x||p
pis convex,f
orp≥
1
對於向量範數的概念：
範數 (norm) 表示向量的長度。 0−接著回到我們的二範數指標中去，易證其極值處的解應該是： x=範數：|
|x||
0=number of non-zero elments 1−
範數：|
|x||
1=|x
1|+|
x2|+
...+
|xm|
2−範數：|
|x||
2=(|
x1|2
+|x2
|2+.
..+|
xm|2
)1/2
p−範數：|
|x||
p=(|
x1|p
+|x2
|p+.
..+|
xm|p
)1/p
∞−範數：|
|x||
∞=ma
x
其中，1-範數 (ℓ1
) 標準下，向量長度=元素絕對值之和，2-範數 (ℓ2
) 指的是歐式長度或說歐氏距離，
∞ -範數 (ℓ∞
) 等於元素絕對值最大值。
從0-範數 (ℓ0
) 的定義來看，應該更符合我們對於稀疏性的要求。
a†b 其中a
†=(a
ta)−
1 , 是偽逆 (pseudo-inverse)
稀疏編碼筆記1
稀疏編碼近幾年來是個十分熱門的研究領域，它是一種無監督學習演算法，它通過尋找一組超完備基 即字典 來捕捉資料中的高層次語義，同時學習得到資料這組基下的稀疏座標。最早被用於建模人類視覺皮層 human visual cortex 而如今，稀疏編碼已經用於許多領域，如影象復原，訊號分類，人臉識別，分類等...
稀疏編碼 Sparse Coding
影象是有一些基的線性組合形成。自然影象是個稀疏結構，即任何給定影象都可以用大資料裡面的少數幾個描述符 基 來表示。尋找使得每個係數的概率分布是單模態並且在0處是峰分布的低熵 low entropy 方法。1988年，神經稀疏編碼的概念由mitchison提出，由牛津大學的rolls等正式引用。靈長目...
快速稀疏編碼演算法
self taught learning是 honglak lee 等開發的乙個 matlab 框架，能夠實現他們在 self taught learning transfer learningfrom unlabeled data 和efficient sparse coding algorith...