均方誤差個交叉熵誤差都是常用的損失函式之一。
損失函式是用來表示神經網路效能的「惡劣程度」的指標。即當前神經網路對監督資料在多大程度上不擬合，在多大
程度上不一致。說白了，即所建立的神經網路對輸入資料的**輸出值與監督資料(實際輸出值)的差距。
上面是計算公式，其中yk表示神經網路的**輸出值，tk表示監督資料，k表示資料的維數。前面的1/2是為了求導
的時候可以消去指數下來的2。
#均方誤差
上面是計算公式，log表示以e為底數的自然對數，yk是神經網路**輸出值，tk是正解標籤。並且tk中只有正確解
標籤的索引為1，其他都是0(one-hot表示)。
#交叉熵誤差
defcross_entropy_error(y, t):
delta = 1e-7 #
注意此處為0.0000001 用於防止出現np.log(0)時出現的無窮小 防止出現-inf後無法繼續計算
return -np.sum(t * np.log(y + delta))
交叉熵誤差函式
概率分布p和q的交叉熵定義為 p,q operatorname log q mathrm p d p parallel q 可以看到，交叉熵可以拆解為兩部分的和，也就是p的熵加上p與q之間的kl距離，對於乙個已知的分布p，它的熵 是乙個已知的常數，所以在這種情況下，使用交叉熵等價於使用kl距離，而且...
方差 標準差（均方差），均方誤差 均方根誤差
方差 variance 標準差 均方差，standard deviation 均方誤差 mse 均方根誤差 rmse 其中，標準差是方差的平方根，均方根誤差是均方誤差的平方根 所以，這四個概念的區別可以簡化為方差 variance 和均方誤差 mse 的區別 方差 variance 描述的是一組資料...
最小均方誤差（MMSE）
mmse是乙個model用來最小化mean square error mse 什麼是最小均方誤差？讓我們從通道模型說起 mmse是一種方法，讓接到的資料盡可能更加接近傳送的資料，所以mmse的目的就是找乙個矩陣g，來讓gy更加接近x 接下來我們的目標就是解決這個式子gy x，讓gy更加接近x，我們認...