優秀文章：
一、歸一化
歸一化目的是將資料對映到同乙個範圍，增加可比性。
二、標準化
標準化目地是加速收斂，更快找到最優解，計算上與正態分佈標準化類似，變換在空間中的位置。
三、正則化
正則化目的是避免過擬合，減少誤差。計算上在一般loss函式上加上正則項，有l1正則，l2正則，可以看做是損失函式的懲罰項。使用l1正則化的模型叫做lasso回歸，使用l2正則化的模型叫做ridge回歸。
l1正則化是指權值向量中各個元素的絕對值之和。可以產生稀疏權值矩陣，換句話就是能夠得到某些權值為0的解，可用於特徵選擇。
l2正則化是指權值向量w中各個元素的平方和然後再求平方根。
標準化與歸一化 機器學習
歸一化和標準化經常被搞混，程度還比較嚴重，非常干擾大家的理解。為了方便後續的討論，必須先明確二者的定義。如果要把輸入資料轉換到 0,1 的範圍，可以用如下公式進行計算 按以上方式進行歸一化以後，輸入資料轉換到 0,1 的範圍。有時候我們希望將輸入轉換到 1,1 的範圍，可以使用以下的公式 以上兩種方...
歸一化與標準化
特點 對不同特徵維度的伸縮錶換的目的是使各個特徵維度對目標函式的影響權重是一致的，即使得那些扁平分布的資料伸縮變換成類圓形。這也就改變了原始資料的乙個分布。好處 1 提高迭代求解的收斂速度 2 提高迭代求解的精度 方法 1 min max標準化 也成為離差標準化，對原始資料的的線性變換，結果值對映到...
歸一化與標準化
1 提公升訓練的速度 2 提公升模型的精度 3 深度模型中能夠防止梯度 min max 歸一化 x x x min x max x min 將x 對映到 0,1 之間的乙個數 z score 標準化 均值為0 標準差為1 當有新的樣本加入時，min max 計算量小，z score 需要重新計算均值...