最大似然估計，就是利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的引數值。例如：乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法：
我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結果的概率為：p(黑=8)=p8*（1-p）2,現在我想要得出p是多少啊，很簡單，使得p(黑=8)最大的p就是我要求的結果，接下來求導的的過程就是求極值的過程啦。可能你會有疑問，為什麼要ln一下呢，這是因為ln把乘法變成加法了，且不會改變極值的位置（單調性保持一致嘛）這樣求導會方便很多~同樣，這樣一道題：設總體x 的概率密度為 已知 x1,x2…xn是樣本觀測值，求θ的極大似然估計這也一樣啊，要得到 x1,x2…xn這樣一組樣本觀測值的概率是p=f(x1,θ)f(x2,θ)…f(xn,θ) 然後求使得p最大的θ，求極值的過程。
最小二乘：找到乙個（組）估計值，使得實際值與估計值的距離最小。本來用兩者差的絕對值彙總並使之最小是最理想的，但絕對值在數學上求最小值比較麻煩，因而替代做法是，找乙個（組）估計值，使得實際值與估計值之差的平方加總之後的值最小，稱為最小二乘。「二乘」的英文為least square，其實英文的字面意思是「平方最小」。這時，將這個差的平方的和式對引數求導數，並取一階導數為零，就是olse。
最小二乘估計與最大似然估計
看似最小二乘估計與最大似然估計在推導得到的結果很相似，但是其前提條件必須引起大家的注意！對於最小二乘估計，最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值和觀測值之差的平方和最小，其推導過程如下所示。其中q表示誤差，yi表示估計值，yi 表示觀測值。對於最大似然法，最合理的引數估計量...
最大似然與最小二乘
看似最小二乘估計與最大似然估計在推導得到的結果很相似，但是其前提條件必須引起大家的注意！對於最小二乘估計，最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值和觀測值之差的平方和最小，其推導過程如下所示。其中q表示誤差，yi表示估計值，yi 表示觀測值。對於最大似然法，最合理的引數估計量...
最大似然估計和最小二乘估計的區別與聯絡
看似最小二乘估計與最大似然估計在推導得到的結果很相似，但是其前提條件必須引起大家的注意！對於最小二乘估計 最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值和觀測值之差的平方和最小，其推導過程如下所示。其中q表示誤差，yi表示估計值，yi 表示觀測值。對於最大似然法 最合理的引數估計量...