【讀書筆記09】
前言
西蒙.赫金的《自適應濾波器原理》第四版第八章：最小二乘法。因為最小二乘涉及到矩陣求逆，因為通常對於秩缺矩陣其逆是不可求的，這就需要借助廣義逆矩陣。而廣義逆矩陣可以借助奇異值分解（svd，singularly valuable decomposition）進行求解。一、滿秩情況a-方陣有了這個思路，在學習各類最小二乘方法之前，對廣義矩陣求逆、svd分解進行梳理是有必要的，本文主要梳理矩陣求逆。
對於$n$x$n$的非奇異矩陣$\bf$，對應的逆矩陣為：$}^}$.b-長方形陣
此時對應逆矩陣分為：左逆矩陣以及右逆矩陣。二、秩虧缺情況滿秩情況中，通過矩陣左/右乘，可以實現滿秩方陣，進而求逆得解，對於秩虧缺的情況，上面的求逆思路不再適用，這就需要一種更廣義的定義逆矩陣的方式，也就是需要同時左、右乘以矩陣變換，才能得到滿秩的特性，廣義逆矩陣對滿秩情況仍然有效。給出moore-penrose逆矩陣定義：對於矩陣a（n×m）:
可以看出，當$m=n$時，$}=}=}^}$.
令$\bf$是任意$m$x$n$矩陣，如果$}^+ }$滿足以下四個條件，稱矩陣$}^+ }$是$\bf$的廣義逆矩陣：三、求解moore-penrose逆矩陣求解有多種思路，這裡只分析基於svd分解的方法。首先給出求解步驟：1）$}}^+ }} = }$;
2）$}^+ }}}^+ } = }^+ }$;
3）$}}^+ } = }}^+ }} \right)^h}$;
4）$}^+ }} = }^+ }}} \right)^h}$;
具體的原理推導可以參考：張賢達《矩陣分析與應用》p61~64.
容易看出：$\bf$的滿秩情況，廣義逆矩陣仍然使用。moore-penrose逆矩陣是廣義逆矩陣的一種形式。
背景知識：既然廣義矩陣求逆可以借助svd分解，需要看看svd如何分解，對svd進行梳理點選這裡。對於存在正交矩陣$\bf$、$\bf$，使得：
$}}}}^h}$
式中：
且$r = rank(})$.
求解步驟：
利用svd進行廣義逆矩陣求解：
$}^ + } = }}^ + }}^h}$
其中：
事實上，對於秩為$r$，$\bf$分解可簡寫為：
$} = }_r}}_1}}_r}^h$
從而svd可以簡化為：
$}^ + } = }_r}}_}}^}_^h}^h}$
其中$}_1} = diag\left( ^2,\sigma _^2,...,\sigma _^2} \right)$.
因為暫時不討論svd，此處先直接呼叫，給出對應**：
a = [ 1 7 5求解的a_mp為廣義逆矩陣，其結果與`pinv`指令的作用等價。1 6 4
2 7 8
10 5 4];
[u,s,v] = svd(a);
k = min(size(a));
s_plus = [diag(1./diag(s))].^2;
a_mp = 0;
for i = 1:k
a_mp = a_mp+v(:,i)*s_plus(i,i)*v(:,i)'*a';
end
理論證明：
表示式簡寫：
首先分析moore-penrose條件1：
moore-penrose條件2與條件1證明類似；
再分析moore-penrose條件3：
即$}}^+ } = }}^+ }} \right)^h}$;條件4同理。
有了廣義逆矩陣，如何求解最小二乘可以點選這裡。
參考：
自適應中值濾波
演算法 自適應中值濾波 layer a a1 zmed zmin a2 zmax zmed if a1 0 and a2 0,goto layer b else enlarge sxy,goto layer a if sxy exceeds the boundary,out zxy layer b ...
自適應濾波（LMS，RLS）
自適應濾波存在於訊號處理 控制 影象處理等許多不同領域，它是一種智慧型更有針對性的濾波方法，通常用於去噪。圖中x j 表示 j 時刻的輸入訊號值，y j 表示 j 時刻的輸出訊號值，d j 表示 j 的參考訊號值或所期望響應訊號值，誤差訊號e j 為d j 與y j 之差。自適應數字濾波器的濾波引數...
RAMF自適應中值濾波
clear all 清除所有變數 close all 關閉所有開啟的檔案 clc 清除命令列內容 img mat2gray rgb2gray imread lena.jpg 讀取檔案 m n size img img imnoise img,salt pepper 0.25 加入椒鹽雜訊 subpl...