最小二乘法和梯度下降法有哪些區別？

最小二乘法的目標：求誤差的最小平方和，對應有兩種：線性和非線性。線性最小二乘的解是closed-form即

迭代法，即在每一步update未知量逐漸逼近解，可以用於各種各樣的問題（包括最小二乘），比如求的不是誤差的最小平方和而是最小立方和。

梯度下降是迭代法的一種，可以用於求解最小二乘問題（線性和非線性都可以）。高斯-牛頓法是另一種經常用於求解非線性最小二乘的迭代法（一定程度上可視為標準非線性最小二乘求解方法）。

還有一種叫做levenberg-marquardt的迭代法用於求解非線性最小二乘問題，就結合了梯度下降和高斯-牛頓法。

所以如果把最小二乘看做是優化問題的話，那麼梯度下降是求解方法的一種，

具體可參考維基百科（

least squares,

gradient descent,

gauss-newton algorithm,

levenberg-marquardt algorithm）

最小二乘法和梯度下降法有哪些區別？

最小二乘法的目標 求誤差的最小平方和，對應有兩種 線性和非線性。線性最小二乘的解是closed form即 迭代法，即在每一步update未知量逐漸逼近解，可以用於各種各樣的問題 包括最小二乘 比如求的不是誤差的最小平方和而是最小立方和。梯度下降是迭代法的一種，可以用於求解最小二乘問題 線性和非線性...

最小二乘法和梯度下降法

通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二.最小二乘...

最小二乘法以及最小二乘法和梯度下降法的區別

通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二.最小二乘...