這一部分內容和吳恩達老師的cs229前面的部分基本一致，不過那是很久之前看的了，我盡可能寫的像吳恩達老師那樣思路縝密。
1.假設
之前我們了解過最大似然估計就是最大化似然函式$$l(\theta) = \sum log(p(x_|\theta))$$
來確定引數\(\theta\)，假設我們獨立測量的結果x(x1,x2,x3...)是有誤差的，且每個測量結果的誤差分布相同，即獨立同分布。我們再假定測量結果滿足以真實結果\(f(x|\theta)\)為均值，方差為\(\sigma\),標準差為\(\delta\)的高斯分布，注意這裡的\(\theta\)指最優的引數解，但它是未知的。
2.推導
在給出一定假設後，我們根據最大似然估計的方法來進行推到。首先我們假定測量結果的分布函式後，可以得到以\(\theta\)為引數時，**結果等於測量結果的概率：
$$p(x=xi|\theta) = \frac\delta} e^}}}$$
進而對數似然函式變為：
$$l(\theta) = \frac\delta}\sum -\frac}}$$
我們最大化似然函式，等同於最大化求和部分：
$$\widehat(l)(\theta) = \sum -\frac}}$$
我們要求的\(\theta\)有：
$$\theta = argmax \sum -\frac}}$$
等同於：
$$\theta = argmin \sum \frac}}$$
進一步化簡有：
$$\theta = argmin \sum (xi-f(x|\theta))^$$
3.分析
通過上面推導，我們發現，在假定測量誤差滿足獨立同分布時，最大似然估計和最小二乘法有一定的相通性，但這並不表明二者是相同的！最大似然估計是要滿足**結果和測量結果一致的概率最大，而最小二乘法估計要滿足**結果和測量結果盡可能接近（二正規化距離的平方最小），二者的測度和出發點不一樣，但又有聯絡。
最大似然估計和最小二乘法
說的通俗一點啊，最大似然估計，就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值。例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到黑球的概率...
最小二乘法與極大似然估計
最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小。比如下圖，我們有三個樣本點，如何劃出他的線性回歸直線呢？那我們就可以找到一條直線，這條直線到三個樣本點的距離的平方和是最小的。這就是最小二乘法。公式如下。極大似然估計 對於極大似然法，當從模型總體隨機抽取n組樣本觀測值後，最合理的引數估計...
極大似然估計與最小二乘法
參考 最大似然估計 現在已經拿到了很多個樣本 你的資料集中所有因變數 這些樣本值已經實現，最大似然估計就是去找到那個 組 引數估計值，使得前面已經實現的樣本值發生概率最大。因為你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線...