特徵預處理和特徵生成 三 缺失值的處理

2021-08-19 14:49:51 字數 878 閱讀 8962

填充nan的方法要取決於特定情況!

填充缺失值常用的方法有以下三種:

需要注意的是有時候缺失值已經被組織者替換了!

通常情況下,在特徵生成之前要避免填充nans!

1,二值特徵isnull可能會很有用,它指明了哪些特徵是缺失值,可以看做乙個類別特徵。

在計算平均值或中位數時,這種方法可以解決樹和神經網路的問題。 但是這樣做的缺點是我們會在資料集中增加兩倍的列數。

2,我們想用數字特徵對類別特徵進行編碼。 為了達到這個目的,我們計算每個類別的數字特徵的平均值,並用這些平均值替換類別。

在計算平均值的時候一般要先忽視缺失值!否則就會出現下面的情況!類別b進行數字編碼後的特徵會十分接近填充的值!

3,有時我們也可以那些outliers看成缺失值。

4,有時候一些類別特徵的一些類別不會出現在訓練資料中,但我們可以加一些全域性特徵,如每個類別在訓練集和測試集中出現的次數,這樣有可能對**那些沒在訓練集出現的類別有一些幫助,如下所示。

機器學習 資料特徵預處理缺失值處理

刪除 如果行或列資料缺失值達到一定比例,建議放棄整行或列 插補 填補列的平均值,中位數 numpy陣列中的缺失值 nan nan 屬於float型別 from sklearn.preprocessing import imputer import numpy as np 缺失值處理 data 1,1...

特徵工程 缺失值處理

目前常用的三類處理方法 1.用平均值 中值 分位數 眾數 隨機值等替代。效果一般,因為等於人為增加了雜訊。2.先根據歐式距離或pearson相似度,來確定和缺失資料樣本最近的k個樣本,將這k個樣本的相關feature加權平均來估計該樣本的缺失資料。3.將變數對映到高維空間 a.對於離散型變數 男 女...

特徵值預處理

特點 通過對原始資料的變換對映到預設為 0,1 之間 目的 是的某一特徵值不會對結果造成更大的影響 幾個特徵值對結果影響權重相等的二十號要進行歸一化 缺點 異常點 在最大最小值之外 對異常點的處理不好,魯棒性較差,只適合傳統的小資料場景 例項 usr bin env python coding ut...