sklearn 缺失值處理器 Imputer

class sklearn.preprocessing.imputer(missing_values=』nan』, strategy=』mean』, axis=0, verbose=0, copy=true)

引數：axis: 預設為 axis=0

說實話，我還是沒太弄明白aixs的具體含義，總感覺在不同的函式中有不同的含義。。還是使用前查詢一下官方文件吧，畢竟大多數時候處理的都是2維陣列,文件中的引數很容易理解。

注意：imputer 只接受dataframe型別

dataframe 中必須全部為數值屬性

所以在處理的時候注意，要進行適當處理。

數值屬性的列較少，可以將數值屬性的列取出來 單獨取出來

import

pandas as pd
import
numpy as np
df=pd.dataframe([["
xxl", 8, "
black
", "
class 1
", 22],["
l", np.nan, "
gray
", "
class 2
", 20],["
xl", 10, "
blue
", "
class 2
", 19],["
m", np.nan, "
orange
", "
class 1
", 17],["
m", 11, "
green
", "
class 3
", np.nan],["
m", 7, "
red", "
class 1
", 22]])
df.columns=["
size
", "
price
", "
color
", "
class
", "
boh"
]print
(df)
#out:
'''size price color class boh
0 xxl 8.0 black class 1 22.0
1 l nan gray class 2 20.0
2 xl 10.0 blue class 2 19.0
3 m nan orange class 1 17.0
4 m 11.0 green class 3 nan
5 m 7.0 red class 1 22.0
'''from sklearn.preprocessing import
imputer
#1. 建立imputer器
imp =imputer(missing_values="
nan", strategy="
mean
",axis=0 )
#先只將處理price列的資料， 注意使用的是 df[['price']] 這樣返回的是乙個dataframe型別的資料！！！！
#2. 使用fit_transform()函式即可完成缺失值填充了
df["
price
"]=imp.fit_transform(df[["
price
"]])df#
out:
'''size price color class boh
0 xxl 8.0 black class 1 22.0
1 l 9.0 gray class 2 20.0
2 xl 10.0 blue class 2 19.0
3 m 9.0 orange class 1 17.0
4 m 11.0 green class 3 nan
5 m 7.0 red class 1 22.0
'''#
直接處理price和boh兩列
df[['
price
', '
boh']] = imp.fit_transform(df[['
price
', '
boh'
]])df
#out:
'''size price color class boh
0 xxl 8.0 black class 1 22.0
1 l 9.0 gray class 2 20.0
2 xl 10.0 blue class 2 19.0
3 m 9.0 orange class 1 17.0
4 m 11.0 green class 3 20.0
5 m 7.0 red class 1 22.0
'''

數值屬性的列較多，相反文字或分類屬性（text and category attribute)較少，可以先刪除文字屬性，處理完以後再合併

from sklearn.preprocessing import

imputer
#1.建立iimputer
imputer = imputer(strategy="
median")
#只有乙個文字屬性，故先去掉
housing_num = housing.drop("
ocean_proximity
", axis=1)
#2. 使用fit_transform函式
x =imputer.fit_transform(housing_num)
#返回的是乙個numpyarray，要轉化為dataframe
housing_tr = pd.dataframe(x, columns=housing_num.columns)
#將文字屬性值新增
housing_tr['
ocean_proximity
'] = housing["
ocean_proximity"]
housing_tr[:2]
#out：
'''longitude latitude housing_median_age total_rooms total_bedrooms population households median_income
0 -121.89 37.29 38.0 1568.0 351.0 710.0 339.0 2.7042
1 -121.93 37.05 14.0 679.0 108.0 306.0 113.0 6.4214
'''

sklearn處理缺失值

匯入包 from sklearn.impute import sampleimpute先將一列資料初始化為乙個二維的 data age data.loc age values.reshape 1 1 開始填補缺失值 imp mean impute 預設用0填補 imp median impute s...

sklearn 資料缺失值處理

在sklearn的preprocessing包中包含了對資料集中缺失值的處理，主要是應用imputer類進行處理。首先需要說明的是，numpy的陣列中可以使用np.nan np.nan not a number 來代替缺失值，對於陣列中是否存在nan可以使用np.isnan 來判定。使用type n...

sklearn 資料填補缺失值

機器學習和資料探勘中所使用的資料，永遠不可能是完美的。很多特徵，對於分析和建模來說意義非凡，但對於實 際收集資料的人卻不是如此，因此資料探勘之中，常常會有重要的字段缺失值很多，但又不能捨棄欄位的情況。因 此，資料預處理中非常重要的一項就是處理缺失值。從kaggle中簡單的獲取的鐵達尼號的遇難者生存資...