9 點估計的優良性準則

2022-02-13 12:07:53 字數 3387 閱讀 7179

設某統計總體的分布包含未知引數\(\theta_1,...,\theta_k\),\(x_1,...,x_n\)是從該總體中抽出的樣本,要估計\(g(\theta_1,...,\theta_k)\)。g為一已知函式,設\(\hat(x_1,...,x_n)\)是乙個估計量,若對任何可能的\((\theta_1,...,\theta_k)\)都有:

\[e_[\hat(x_1,...,x_n)]=g(\theta_1,...,\theta_k)

\]則稱\(\hat\)是\(g(\theta_1,...,\theta_k)\)的乙個無偏估計量。

樣本方差:\(s^2=\frac^n(x_i-\overline)^2}\)是總體方差\(\sigma^2\)的無偏估計:

\[\begin

\sum_^n(x_i-\overline)^2=&\sum_^n[(x_i-a)-(\overline-a)]^2\\

=&\sum_^n(x_i-a)^2-2(\overline-a)\sum_^n(x_i-a)+n(\overline-a)^2\\

\because&\left(\sum_^n(x_i-a)=n(\overline-a) \right)\\

=&\sum_^n(x_i-a)^2-n(\overline-a)^2\\

=&\sum_^n(x_i-e(x_i))^2-n(\overline-e(\overline))^2\\

=&var(x_i)-var(\overline)\\

=&\sigma^2-var(\frac^nx_i})\\

=&\sigma^2-\sum_^n\frac\\

=&\sigma^2-\frac

\end

\]\[\begin

e(s^2)=&\frace\left(\sum_^n(x_i-\overline)^2\right)\\

=&\frac\left(n\sigma^2-\sigma^2\right)\\

=&\sigma^2

\end

\]即證明了,\(s^2\)是\(\sigma^2\)的無偏估計。

這裡分母為\((n-1)\)是因為\(\overline\)未知,而估計均值時用去了乙個「自由度」。因此,自由度為「\(n-1\)」.

無偏估計不具有不變性,除非\(g(\theta)\)是\(\theta\)的線性函式。

(jackknife法-quenouille,1949)

設\(t(x)\)是基於樣本\(x=(x_1,\dots,x_n)\)的關於\(g(\theta)\)的估計量,且滿足\(e_\theta t(x)=g(\theta)+o(\frac1n)\),如以\(x_\)表示從樣本中刪去\(x_i\)後的向量,則\(t(x)\)的刀切統計量定義為:

\[t_j(x)=nt(x)-\frac\sum_^nt(x_)

\]可以證明刀切統計量具有以下性質:

\[e_t_j(x)=g(\theta)+o(\frac1)

\]乙個引數往往不止有乙個無偏估計,想要從眾多無偏估計中尋找最優的涉及到兩個問題:

\[m_}(\theta)=e_[\hat(x_1,...,x_n)-\theta]^2

\]上式稱為估計量的均方誤差,也可寫作:

\[m_}(\theta)=e[\hat(x_1,...,x_n)-\theta]^2=var_(\hat)+[e_(\hat)-\theta]^2

\]若\(\hat\)是\(\theta\)的無偏估計,則第二項為0.

若侷限於無偏估計的範圍,且採用均方誤差的準則,則兩個無偏估計的比較歸結於尋找方差小者為優。則可以設若\(\hat\)是\(g( \theta)\)的無偏估計,且他的方差對\(g(\theta )\)的任何乙個無偏估計\(\hat\)都有:

\[var_(\hat)\leq var_(\hat_1)

\]對\(\theta\)的任何可能取值都成立,則稱\(\hat\)為\(g(\theta)\)的乙個最小方差無偏估計(minimum variance unbiased, mvu)。

首先研究\(g(\theta)\)的一切無偏估計中,方差最小能達到多少,如果求出了乙個方差的下界,則如果某個估計\(\hat\)的方差達到了這個下界,那他必定就是mvu估計。設總體的概率密度函式\(f(x,\theta)\)只包含了乙個引數,\(x_1,x_2,...,x_n\)為從該總體中抽出的樣本,要估計\(g(\theta)\),記:

\[i(\theta)=\int\left((\frac)^2/f(x,\theta)\right)dx

\]cramer-rao inequality.

在一定條件下,對\(g(\theta)\)的任意無偏估計\(\hat=\hat(x_1,...,x_n)\),有:

\[var_(\hat)\geq\frac

\]記:

\[s=s(x_1,...,x_n,\theta)=\sum_^n\frac}=\sum_^n\frac/f(x_i,\theta)

\]因為\(f(x,\theta)\)為密度函式,則\(\int f(x,\theta)dx=1\),對兩邊同時求導,則:

\[e_\left[\frac/f(x_i,\theta)\right]=\int\left[\frac/f(x,\theta)\right]f(x,\theta)dx=0

\]於是,由\(x_1,...,x_n\)的獨立性,有:

\[\begin

var_(s)=&\sum_^nvar_\left(\frac/f(x_i,\theta)\right)\\

=&\sum_^ne_\left[\frac/f(x_i,\theta)\right]^2\\

=&n\int\left[\frac/f(x,\theta)\right]^2f(x,\theta)dx\\

=&ni(\theta)

\end

\]又由 cauchy-schwarz inequality :

\[[cov_(\hat,s)]^2\leq var_(\hat)var_(s)=ni(\theta)var_(\hat)

\]因為:\(e_(s)=0\):

\[cov_(\hat,s)=e_(\hats)\\=\int...\int\hat(x_1,...,x_n)\sum_^n\left[\frac/f(x,\theta)\right]\prod_^nf(x_i,\theta)dx_1...dx_n\\

=\frac

\]則有:

\[cov_(\hat,s)=\frac\part\int...\int\hat(x_1,...,x_n)f(x_1,\theta)...f(x_n,\theta)dx_1...dx_n=g'(\theta)

\]這個不等式給出了\(g(\theta)\)的無偏估計的方差的乙個下界。

保持Oracle資料庫的優良效能

oracle 資料庫以其高可靠性 安全性 可相容性,得到越來越多的企業的青睞。如何使oracle 資料庫保持優良效能,這是許多 資料庫管理員關心的問題,根據筆者經驗建議不妨針對以下幾個方面加以考慮。一 分割槽 根據實際經驗,在乙個大 資料庫中,資料空間的絕大多數是被少量的表所占有。為了簡化大型 資料...

保持Oracle資料庫的優良效能

oracle資料庫以其高可靠性 安全性 可相容性,得到越來越多的企業的青睞。如何使oracle資料庫保持優良效能,這是許多資料庫管理員關心的問題,根據筆者經驗建議不妨針對以下幾個方面加以考慮。一 分割槽 根據實際經驗,在乙個大資料庫中,資料空間的絕大多數是被少量的表所占有。為了簡化大型資料庫的管理,...

如何保持Oracle資料庫的優良效能

oracle 資料庫以其高可靠性 安全性 可相容性,得到越來越多的企業的青睞。如何使 oracle 資料庫保持優良效能,這是許多資料庫管理員關心的問題,根據筆者經驗建議不妨針對以下幾個方面加以考慮。一 分割槽 根據實際經驗,在乙個大資料庫中,資料空間的絕大多數是被少量的表所占有。為了簡化大型資料庫的...