在統計和最優引數選取時,統計誤差以及殘差是兩個緊密相關,但同時又極易混淆的概念.兩者都是對"樣本值偏離均值"的測量. 樣本誤差是指樣本對母本(無法觀察到的)均值及真實值的均值的偏離. 殘差則是指樣本和觀察值(樣本總體)或回歸值(擬合)的差額. 擬合值是統計模型的擬合結果,是依據擬合模型得出的,應該是的值; 誤差和殘差的差異distinction在回歸中尤其重要, 精細的殘差即通常所說的學生化殘差..(後一句不理解)
簡單理解為:
誤差:即觀測值與真實值的偏離;
殘差:觀測值與擬合值的偏離.
誤差與殘差，這兩個概念在某程度上具有很大的相似性，都是衡量不確定性的指標，可是兩者又存在區別。 誤差與測量有關，誤差大小可以衡量測量的準確性，誤差越大則表示測量越不準確。
誤 差分為兩類：系統誤差與隨機誤差。其中，系統誤差與測量方案有關，通過改進測量方案可以避免系統誤差。隨機誤差與觀測者，測量工具，被觀測物體的性質有關，只能盡量減小，卻不能避免。
殘差――與**有關，殘差大小可以衡量**的準確性。殘差越大表示**越不準確。殘差與資料本身的分布特性，回歸方程的選擇有關。
誤差: 所有不同樣本集的均值的均值,與真實總體均值的偏離.由於真實總體均值通常無法獲取或觀測到,因此通常是假設總體為某一分布型別,則有n個估算的均值; 表徵的是觀測/測量的精確度;
誤差大,由異常值引起.表明資料可能有嚴重的測量錯誤;或者所選模型不合適,;
殘差: 某樣本的均值與所有樣本集均值的均值, 的偏離; 表徵取樣的合理性,即該樣本是否具代表意義;
殘差大,表明樣本不具代表性,也有可能由特徵值引起.
反正要看乙個模型是否合適,看誤差;要看所取樣本是否合適,看殘差;
一般在回歸方程中殘差服從均值為0的正態分佈
回歸方程：y=a+bx+ε
則e(ε
)=0，d(ε)=σ^2
概率論 基礎之概率概論與集合論
概率論對於我們學習機器學習，深度學習等理論，還是自然語言處理，計算機視覺等應用都是很有用的。概率論和其他線性代數，微積分等還是不太一樣的，概率這樣的問題，就是在我們生活中經常碰到並且使用的學科，很大眾化。又因為我發現coursera上竟然有如此好的概率課程，概率 probability 台灣大學葉丙...
數學與程式設計 概率論與數理統計
pmf probability mass function，概率質量函式，是離散型隨機變數在各特定取值上的概率。與概率密度函式 pdf probability density function 的不同之處在於 概率質量函式是對離散型隨機變數定義的，本身代表該值的概率 概率密度函式是針對連續型隨機變數...
機器學習數學基礎之概率論與統計04 非引數估計
非引數估計指不知道分布型別，對樣本進行模型估計。一般只用在一維和二維。具體概念詳見課件 直方圖與初高中所理解的直方圖沒什麼不同，直方圖估計就是採用直方圖的方式來對資料進行擬合。顯然地，箱子 的寬度1 m能夠更準確更細緻地展示資料的分布 但如果1 m過小，導致有些箱子裡沒有資料，這個時候p x 將會出...