資料預處理

2021-07-09 19:59:42 字數 2185 閱讀 6610

常見的資料預處理方法，以下通過sklearn的preprocessing模組來介紹;

變換後各維特徵有0均值，單位方差。也叫z-score規範化（零均值規範化）。計算方式是將特徵值減去均值，除以標準差。

sklearn.preprocessing


.scale(x)
一般會把train和test集放在一起做標準化，或者在train集上做標準化後，用同樣的標準化器去標準化test集，此時可以用scaler 

scaler = sklearn.preprocessing


.standardscaler().fit(train)


scaler.transform(train)


scaler.transform(test)
實際應用中，需要做特徵標準化的常見情景：svm

最小-最大規範化對原始資料進行線性變換，變換到[0,1]區間（也可以是其他固定最小最大值的區間）

min_max_scaler = sklearn.preprocessing


.minmaxscaler()


min_max_scaler.fit_transform(x_train)
規範化是將不同變化範圍的值對映到相同的固定範圍，常見的是[0,1]，此時也稱為歸一化。《機器學習》周志華

將每個樣本變換成unit norm。

x = [[ 1, -1, 2],[ 2, 0, 0], [ 0, 1, -1]]


sklearn.preprocessing.normalize(x, norm='l2')
得到：

array([[ 0.40, -0.40, 0.81], [ 1, 0, 0], [ 0, 0.70, -0.70]])
可以發現對於每乙個樣本都有，0.4^2+0.4^2+0.81^2=1,這就是l2 norm，變換後每個樣本的各維特徵的平方和為1。類似地，l1 norm則是變換後每個樣本的各維特徵的絕對值和為1。還有max norm，則是將每個樣本的各維特徵除以該樣本各維特徵的最大值。

在度量樣本之間相似性時，如果使用的是二次型kernel，需要做normalization

給定閾值，將特徵轉換為0/1

binarizer = sklearn.preprocessing


.binarizer(threshold=1.1)


binarizer.transform(x)
lb = sklearn.preprocessing


.labelbinarizer()
有時候特徵是類別型的，而一些演算法的輸入必須是數值型，此時需要對其編碼。

enc = preprocessing.onehotencoder()


enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])


enc.transform([[0, 1, 3]]).toarray() #array([[ 1., 0., 0., 1., 0., 0., 0., 0., 1.]])
上面這個例子，第一維特徵有兩種值0和1，用兩位去編碼。第二維用三位，第三維用四位。

le = sklearn.preprocessing


.labelencoder() 


le.fit([1, 2, 2, 6]) 


le.transform([1, 1, 2, 6]) #array([0, 0, 1, 2]) 


#非數值型轉化為數值型


le.fit(["paris", "paris", "tokyo", "amsterdam"])


le.transform(["tokyo", "tokyo", "paris"]) #array([2, 2, 1])
sklearn.preprocessing


.robust_scale
這個其實涉及到特徵工程了，多項式特徵/交叉特徵。

poly = sklearn.preprocessing


.polynomialfeatures(2)


poly.fit_transform(x)

資料預處理

現實世界中資料大體上都是不完整，不一致的髒資料，無法直接進行資料探勘，或挖掘結果差強人意。為了提前資料探勘的質量產生了資料預處理技術。資料預處理有多種方法 資料清理，資料整合，資料變換，資料歸約等。這些資料處理技術在資料探勘之前使用，大大提高了資料探勘模式的質量，降低實際挖掘所需要的時間。一 資料清...

資料預處理

用cut函式分箱 有時把數值聚集在一起更有意義。例如，如果我們要為交通狀況 路上的汽車數量 根據時間 分鐘資料 建模。具體的分鐘可能不重要，而時段如 上午 下午 傍晚 夜間 深夜 更有利於 如此建模更直觀，也能避免過度擬合。這裡我們定義乙個簡單的 可復用的函式，輕鬆為任意變數分箱。def binni...

資料預處理

資料預處理 資料物件和屬性型別，資料的基本統計，資料視覺化，度量資料相似性和差異性 怎麼把連續屬性變成離散屬性，比如顏色，灰度是連續變化的，但可以量化到0 255離散值，所以做完資料去燥之後格式化處理之後要離散化。資料的計量 定類尺度 等號不等號 定序尺度，定距尺度 分類 定比尺度 所有數學計算 資...