來自：
損失函式，代價函式，目標函式區別
損失函式：定義在單個樣本上，乙個樣本的誤差。
代價函式：定義在整個訓練集上，所有樣本的誤差，也就是損失函式的平均。
目標函式：最終優化的函式。等於經驗風險+結構風險（cost function+正則化項）。
目標函式和代價函式的區別還有一種通俗的區別：
目標函式最大化或者最小化，而代價函式是最小化。
代價函式
訓練模型的過程就是優化代價函式的過程，
代價函式對每個引數的偏導數就是梯度下降中提到的梯度，
防止過擬合時新增的正則化項也是加在代價函式後面的。
1.什麼是代價函式？
假設有訓練樣本(x, y)，模型為h，引數為θ。h(θ) = θtx（θt表示θ的轉置）。
（1）**出來的值h(θ)與真實值y之間的差異的函式叫做代價函式c(θ)，如果有多個樣本，則可以將所有損失函式的取值求均值，記做j(θ)。得出以下代價函式的性質：
每種演算法代價函式不唯一；
代價函式是引數θ的函式；
總的代價函式j(θ)可以用來評價模型的好壞，代價函式越**明模型和引數越符合訓練樣本(x, y)；
j(θ)是乙個標量；
（2）確定了模型h，後面做的所有事情就是訓練模型的引數θ。取到代價函式j最小值時，就得到了最優的引數θ，記為：
minj(θ)
例如，j(θ) = 0，表示模型完美的擬合了資料，沒任何誤差。
（3）在優化引數θ的過程中，最常用的方法是梯度下降，這裡的梯度就是代價函式j(θ)對θ1, θ2, ..., θn的偏導數。
注意：由於求偏導，得到另乙個關於代價函式的性質：選擇代價函式時，挑選對引數θ可微的函式（全微分存在，偏導數一定存在）
2.代價函式的常見形式
2.1均方誤差
線性回歸中，最常用的是均方誤差，具體形式為：
m：訓練樣本個數；
hθ(x)：用引數θ和x**出來的y值；
y：原訓練樣本中的y值，也就是標準答案
上座標(i)：第i個樣本
2.2交叉熵
在邏輯回歸中，最常用的代價函式是交叉熵（cross entropy），交叉熵是乙個常見的代價函式，在神經網路中也會用到。
這裡多了一層求和項，是因為神經網路的輸出一般都不是單一的值，k表示多分類中的型別數。
例如在數字識別中，k=10，表示分了10類。此時對於某一樣本來說，輸出結果如下：
1.1266e-004乙個10維的列向量，**的結果表示輸入的數字是0~9中的某乙個的概率，概率最大的就被當做是**結果。例如上面**結果是9。理想情況下的**結果應該如下（9的概率是1，其他都是0）：1.7413e-003
2.5270e-003
1.8403e-005
9.3626e-003
3.9927e-003
5.5152e-003
4.0147e-004
6.4807e-003
9.9573e-001
000比較**結果和理想情況下的結果，可以看到這兩個向量的對應元素之間都存在差異，共10組，這裡的10表示代價函式裡的k，相當於把每一種型別的差異都累加起來了。0000001
3.代價函式與梯度
梯度下降中的梯度指的是代價函式對各個引數的偏導數，偏導數的方向決定了在學習過程中引數下降的方向，學習率（通常用α表示）決定了每步變化的步長，有了導數和學習率就可以使用梯度下降演算法（gradient descent algorithm）更新引數。下圖展示了只有兩個引數的模型運用梯度下降演算法的過程。
損失函式，代價函式，目標函式
首先給出結論 損失函式和代價函式是同乙個東西，目標函式是乙個與他們相關但更廣的概念，對於目標函式來說在有約束條件下的最小化就是損失函式 loss function 上面三個圖的函式依次為 我們給定度量擬合的程度，比如 越小，就代表模型擬合的越好。那是不是我們的目標就只是讓loss function越...
損失函式 代價函式 評分函式 目標函式
1.損失函式就是代價函式 例如 損失函式用於度量標籤的真實值和 值的誤差。常用的損失函式有 0 1損失函式，平方損失函式，期望損失函式。2.評分函式 以輸入x和權值wi為自變數的乙個函式，比如評價x屬於某個分類的可能性的分值 得分函式就是對於給定的乙個輸入，通過計算，得到這個輸入屬於每種類別的得分。...
代價函式 損失函式 目標函式的理解
loss function 是定義在單個樣本上的，算的是乙個樣本的誤差。cost function 是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函式的平均。object function 定義為 最終需要優化的函式。等於經驗風險 結構風險 也就是cost function 正則化項 代價...