正則化思想：在損失函式中加入刻畫模型複雜度的指標。
優化物件： j(θ)+λr(w) 其中： j(θ)代表損失函式；λ代表模型複雜損失在總損失中的比例；r(w) 代表模型的複雜程度。
刻畫模型複雜程度的函式：1.l1正則化 2.l2正則化
原則：通過限制權重的大小，使得模型不能任意擬合訓練資料中的隨機噪音。
例子：
import tensorflow as tf
weights=tf.constant([[1.0,-2.0],[-3.0,4.0]])
with tf.session() as sess:
# l1正則化計算
print(sess.run(tf.contrib.layers.l1_regularizer(0.5)(weights)))
# l2正則化計算
print(sess.run(tf.contrib.layers.l2_regularizer(0.5)(weights)))
5.0
7.5
過擬合 欠擬合 正則化
產生原因 緩解方法 合適的資料分布 合理的模型複雜性 合理的組合應該是 複雜的資料分布 簡單的模型 或者 簡單的資料分布 複雜的模型 神經網路中的過擬合 原理 或者說思考 從貝葉斯的角度來說，代價函式可以表示為p y w,x 的形式，而正則項則是對引數w做了乙個先驗分布的假設，使得代價函式變成p y...
過擬合與正則化
機器學習中經常遇到所謂的過擬合 overfitting 問題。所謂的過擬合問題,是指某個模型在訓練資料上能夠獲得比其他模型更好的擬合，但是在訓練資料外的資料集上卻不能很好的擬合。其本質是，模型對於隨機錯誤或者雜訊的刻畫超過其對於真實資訊的刻畫。而出現這種現象的主要原因是訓練資料中存在噪音或者訓練資料...
正則化防止過擬合
在之前的線性回歸就有提到正則化，下面就來更具體地介紹正則化。1.正則化的作用 當訓練資料比較少時，或模型訓練過度時，常常會導致過擬合。正則化主要作用就是通過減小模型的複雜度來防止過擬合，提高泛化能力。為了更好的了解過擬合以及為後面做鋪墊，還是先看乙個吳恩達機器學習系列課程中乙個線性回歸來 房價的例子...