首先我們來討論這樣乙個問題，給定正弦訊號si
n3t 這樣，在t=
[0,1
,2,.
..] 我們就可以得到乙個序列[s
in0,
sin3
,sin
6,..
.]也就是[0
,0.14,−
0.27,.
..] 這樣乙個序列。現在，提問，我們已知這樣乙個序列的時候，如何反推它的頻率。
在沒有雜訊且的情況下，使用反三角函式推似乎是乙個比較好的方法，對於不同的值
x 都可以得到其反三角函式值ar
csin
x，這樣就可以推知在t時刻所對應的角速度為ar
csin
x+2k
πtor
π−ar
csin
x+2k
πt這樣問題就可以轉化為乙個尋找最小公倍數的問題了。但是，在有雜訊的影響下，首先反三角函式的定義域就可能不能滿足，我們所觀測的訊號不再嚴格按照原有規律變化，這時候應該如何去做呢
為了解決這個問題，我們回到之前的討論。乙個訊號疊加雜訊應該用什麼模型表示。在一般的研究中，一般觀測訊號y(
t)是由訊號x(
t)和雜訊n(
t)兩部分疊加而成。也就是說y(
t)=x
(t)+
n(t)
。假設，我們已經知道了訊號的 幅度和相位，在這裡我們幅度設定為1，相位設定為0，那麼待估計的訊號方程就是si
n(ωt
) ,當然現在這個\omega我們還不清楚是什麼，但是我們可以做乙個減法，將它和我們的觀測訊號相減，得到si
n(ωt
)−y(
t)=s
in(ω
t)−x
(t)−
n(t)
在理想的情況下，也就是沒有雜訊的情況下，這個差我們是希望為0的，但是由於有雜訊的影響，所以我們希望這個誤差能夠達到最小，也就是對於一系列的等式 si
n(ω1
)−y(
1)=0
sin(ω2)
−y(2
)=0
....
sin(ωn)
−y(n
)=0
實際上我們就是在解這樣乙個式子： si
n(ω1
)−x(
1)=n
(1)
sin(
ω2)−
x(2)
=n(2
) ..
.. s
in(ω
n)−x
(n)=
n(n)
雖然這個式子不可能所有子式都滿足等於0的條件，但是我們希望它能達到全域性意義上的最小化。這不就是最小二乘法的形式麼，但是，最小二乘法是對於線性方程組的一種解法，我們的si
n 形式並不是線性的，為了將其變為線性我們很自然選擇了泰勒展開講si
n 變為了線性方程的組合（這樣的思想在很多非線性數學問題的解答中都有使用，雖然泰勒沒有在譜分析上面戰勝傅利葉，但是它的分析方法也有著其巨大的貢獻：）），在本例子裡面我們使用三階泰勒展開作為示例，那麼就有： 1ω
−1ω3
3!+1
ω55!
=y(1
) 2ω
−2ω3
3!+2
ω55!
=y(2
) ..
.. n
ω−nω
33!+
nω55
!=y(
n)有些難看，我們改寫成矩陣形式： ⎡⎣
⎢⎢⎢⎢
⎢⎢⎢⎢
⎢⎢12
n−13
!−23
3!..
.−n3
3!15
!255
!n55
!⎤⎦⎥
⎥⎥⎥⎥
⎥⎥⎥⎥
⎥∗⎡⎣
⎢ωω3
ω5⎤⎦
⎥=⎡⎣
⎢⎢⎢⎢
y(1)
y(2)
...y
(n)⎤
⎦⎥⎥⎥
⎥ 整理到這裡，就可以歡樂得地二乘了。
這樣處理缺點是什麼呢？
首先，因為我們的式子是通過泰勒展開的，所以太遠離0點的話近似就會變得非常糟糕了，所以**的時候貪多把好幾個週期的所有點都放進去**反而會出現很糟糕的結果
其二，這種方法必須提前假定訊號的模型，所以對於多頻率分量混雜的訊號很難估算（當然可以用混合高斯模型的em演算法一點點推）
今天就到這裡。。。剩下的。。。我會繼續補坑
最小二乘法 一
最小二乘法 又稱 最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。為了更好的理解這...
最小二乘法
include stdafx.h include include const int n 2 const int m 5 int sgn double x void lss double g n 1 int xm,int xn,double x m double p,double w m lss函式...
最小二乘法
在研究兩個變數之間的關係時，可以用回歸分析的方法進行分析。當確定了描述兩個變數之間的回歸模型後，就可以使用最小二乘法估計模型中的引數，進而建立經驗方程.簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裡的 二乘 指的是用平方來度量觀測點與估計點的遠近 在古漢語中 平方 稱為...