缺失值處理

2022-09-09 21:18:31 字數 674 閱讀 3148

檢視存在的缺失值

dataframe.isnull().sum()

1、直接刪除該特徵

dataframe.drop(['刪除的列'], axis=1)

2、刪除有缺失值的樣本

dataframe.dropna()

3、將缺失值作為新的特徵

4、使用均值或中值填充缺失值

// 均值填充

from sklearn.preprocessing import imputer

imp = imputer(missing_values = 'nan', strategy='mean', axis=0)

df = imp.fit_transform(df)

// 中值填充

imp = imputer(missing_values = 'nan', strategy='median', axis=0)

df = imp.fit_transform(df)

// 指定數值填充

imp = imputer(missing_values = 'nan', strategy='cosntant', fill_value=0)

df = imp.fit_transform(df)

缺失值處理

pandas使用nan not a number 表示浮點和非浮點陣列中的缺失資料,python內建的none值也會被當做na處理,pandas物件上的所有描述統計都排除了缺失資料。na處理方法 方法 說明dropna 根據各標籤的值是否存在缺失資料對軸標籤進行過濾,可通過閾值調節對缺失值的容忍度 ...

缺失值處理

之前寫過一篇文章缺失值視覺化處理 missingno 主要介紹了缺失值的檢視,今天聊一下,出現了缺失值後我們要做的後續工作,就是缺失值的處理。首先附上幾個 data資料集 data.isnull 缺失值判斷 是缺失值返回true,否則範圍false data.isnull sum 缺失值計算 返回每...

缺失值處理

資料清洗主要是刪除原始資料集中的無關資料 重複資料,平滑雜訊資料,去除與資料探勘主題無關的資料,處理缺失值 異常值等 缺失主要為完全隨機缺失,隨機缺失和非隨機缺失 資料的缺失是隨機的,資料的缺失不依賴於任何不完全變數或完全變數。資料的缺失不是完全隨機的,即該類資料的缺失依賴於其他完全變數。資料的缺失...