分類：**的變數是離散的
回歸：**的變數是連續的
極大似然估計：就是利用已知的樣本結果資訊，反推最具有可能（最大概率）導致這些樣本結果出現的模型引數值。p(model|observation) 求給定當前觀測值observation，該模型分布密度函式取最大值，即適合最多樣本。
根據貝葉斯原理：
p(model|observation) = [ p(observation|model) * p(model) ]/ p(observation) 一般p(observation)已知，p(model)未知。
如果是線性估計則和最小二乘法區別不大。
最小二乘：對於n組觀察值（x1，y1），（x2，y2）， …，（xn，yn）選擇最佳擬合直線使所有觀察值的殘差平方和達到最小。即使下圖的e最小，如果使用插值累加會存在抵消的情況，使用平方和使得對異常更加敏感。現在就變成了求線性方程的兩個引數使殘差平方和最小。採用求偏導的方法。
幾何理解
p 就是v 在u 上的線性投影，記作： p= l(v|u) = b*u，b 我們稱作「係數」。可以發現 u和(v-p)垂直。所以 x.(y - l(y|x)) = x.(y - x b) =0 所以：b = x.y/xx
最小二乘法
include stdafx.h include include const int n 2 const int m 5 int sgn double x void lss double g n 1 int xm,int xn,double x m double p,double w m lss函式...
最小二乘法
在研究兩個變數之間的關係時，可以用回歸分析的方法進行分析。當確定了描述兩個變數之間的回歸模型後，就可以使用最小二乘法估計模型中的引數，進而建立經驗方程.簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裡的 二乘 指的是用平方來度量觀測點與估計點的遠近 在古漢語中 平方 稱為...
最小二乘法
最小二乘法 least squares analysis 是一種 數學 優化 技術，它通過 最小化 誤差 的平方和找到一組資料的最佳 函式 匹配。最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。最小二乘法通常用於 曲線擬合 least squares fitting 這裡有...