說：
最小二乘和極大似然是目標函式，梯度下降是優化演算法。
機器學習的核心是乙個model，乙個loss fuction，再加上乙個優化的演算法。乙個目標函式可以用不同的優化演算法，不同的目標函式也可以用相同的優化演算法。所以最小二乘和極大似然根本不是演算法，和梯度下降毫無可比性。
最小二乘法是求誤差的平方和最小的方法，ml中可以用來建立cost function，最小二乘法可以由極大似然推倒出； 而梯度下降是求目標函式（目標函式可以是cost function）極值的迭代方法; 最小二乘法給出的cost function 可以使用矩陣求解（就是使用數學方法求最小值點）或者迭代法（如梯度下降法）就極值點。
最小二乘 極大似然 梯度下降有何區別
最小二乘和極大似然是目標函式，梯度下降是優化演算法。機器學習的核心是乙個model，乙個loss fuction，再加上乙個優化的演算法。乙個目標函式可以用不同的優化演算法，不同的目標函式也可以用相同的優化演算法。所以最小二乘和極大似然根本不是演算法，和梯度下降毫無可比性。ps 最小二乘和極大似然也...
最小二乘法 梯度下降演算法
普通最小二乘法 ordinary least square，ols 最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小。設擬合曲線 y a x b 離散點在擬合曲線附近 且任一點 i 距擬合曲線的距離 誤差 為 ui yi y 最小二乘即可寫成 d ui 2 且是d取最小值 具有最小值。那...
深度學習之最大似然估計 最小二乘 梯度下降（二）
最小二乘和極大似然估計是目標函式，梯度下降是優化演算法。機器學習的核心是乙個模型，乙個損失函式loss fuction，加上乙個優化的演算法。乙個目標函式可以用不同的優化演算法，不同的目標函式也可以用相同的優化演算法。所以最小二乘和極大似然根本不是演算法，和梯度下降毫無可比性。ps 最小二乘和極大似...