feature scaling 可以翻譯為特徵歸一化，或者資料歸一化，比如統計學習中，我們一般都會對不同量綱的特徵做歸一化，深度學習中經常會談到增加的bn層，lrn層會帶來訓練收斂速度的提公升，等等。問題是，我們為什麼需要做feature scaling呢？可以不做嗎？做feature scaling背後的數學意義是什麼？
首先，我們來看看下面乙個簡單的神經元
如果x1的輸入值範圍在（0，10）， 而x2的值輸入值範圍在（1000， 10000），在模型訓練（一般選擇梯度下降法）時，需要迭代更新可行解，這個過程中必然少不了計算對權重w(這裡是w1, w2)的偏導數。可以看到上圖中，對w1的偏導數的計算推導過程，l對w1的偏導數等於x1乘以啟用函式對z的導數， 可以很容易看出，當x1很小是，對應的偏導數也很小，從而更新的速度很慢極端可能是，模型最後訓練到乙個不太care 神經元x1的狀態，即弱化x1的作用，x2的情況剛好相反。實際上，我們不應該差別化我們的輸入，而應該讓模型學習到一種對某些神經元差別化對待的能力，即權值w的差異化。
所以，一般在機器學習中，會對資料做歸一化，特別是當資料的量綱不同，常常數值範圍差異很大。減掉均值，然後除以方差（其實就是變成了服從高斯分布）的歸一化方法經常被用到，比如深度學習中的batch normlization(bn)就是這樣一種演算法。
特徵縮放 feature scaling
特徵縮放的一些方法 feature scaling 資料規範化 是資料探勘或機器學習常用到的步驟，這個步驟有時對演算法的效率和準確率都會產生巨大的影響。對精度的影響 這個步驟的必要性要依賴於資料特徵的特性，如果有 2特徵，並且不同特徵間的值變化範圍差異大，那就很有必要使用feature scalin...
特徵放縮 Feature scaling
特徵放縮的幾種方法 1.min max scaling min max標準化 該方法是最簡單的陣列放縮方法。處理類 from sklearn.preprocessing import minmaxscaler 2.均值歸一化處理 mean normalization 3.均值標準化z score s...
特徵縮放（Feature Scaling）
1 最大最小值歸一化 min max normalization 將數值範圍縮放到 0,1 區間裡 2 均值歸一化 mean normalization 將數值範圍縮放到 1,1 區間裡，且資料的均值變為0 3 標準化 z值歸一化 standardization z scorenormalizati...