誤差: 所有不同樣本集的均值的均值,與真實總體均值的偏離.由於真實總體均值通常無法獲取或觀測到,因此通常是假設總體為某一分布型別,則有n個估算的均值; 表徵的是觀測/測量的精確度;
誤差大,由異常值引起.表明資料可能有嚴重的測量錯誤;或者所選模型不合適,;
殘差: 某樣本的均值與所有樣本集均值的均值, 的偏離; 表徵取樣的合理性,即該樣本是否具代表意義;
殘差大,表明樣本不具代表性,也有可能由特徵值引起.
反正要看乙個模型是否合適,看誤差;要看所取樣本是否合適,看殘差;
殘差和損失函式
按自己理解的 殘差就是 y f x 就好像殘差網路裡面就是用這個公式。損失函式就是 根據需求定義的 對f x 與y的差異的度量方法，這跟度量空間有關，比如 下面的情況，要你比較兩個學生誰更好，我們可以設定學習成績作為比較方法，或者身高等等，這些就好像歐幾里得距離，或者余弦距離一樣，是設定出來的的度量...
shortcut和殘差連線
最近搜尋了下這幾兩個概念，記錄一下個人理解。若沒有加入identity分支，那麼就是用非線性變化函式來描述乙個網路的輸入輸出，即輸入為x，輸出為f x f通常包括了卷積，啟用等操作。但是當我們強行將乙個輸入新增到函式的輸出的時候，雖然我們仍然可以用g x 來描述輸入輸出的關係，但是這個g x 卻可以...
數學之概率論 殘差與誤差的區別
在統計和最優引數選取時,統計誤差以及殘差是兩個緊密相關,但同時又極易混淆的概念.兩者都是對 樣本值偏離均值 的測量.樣本誤差是指樣本對母本 無法觀察到的 均值及真實值的均值的偏離.殘差則是指樣本和觀察值 樣本總體 或回歸值 擬合 的差額.擬合值是統計模型的擬合結果,是依據擬合模型得出的,應該是的值 ...