Pandas缺失資料

2021-10-13 19:52:29 字數 1148 閱讀 5669

**一、缺失值的統計和刪除

缺失資訊的統計**

資料處理中經常需要根據缺失值的大小、比例或其他特徵來進行行樣本或列特徵的刪除,pandas中提供了dropna函式來進行操作。

dropna的主要引數為軸方向axis(預設為0,即刪除行)、刪除方式how、刪除的非缺失值個數閾值thresh( 非 缺 失 值 \color 非缺失值沒有達到這個數量的相應維度會被刪除)、備選的刪除子集subset,其中how主要有any和all兩種引數可以選擇。

例如,刪除身高體重至少有乙個缺失的行:

**二、缺失值的填充和插值

1. 利用fillna進行填充

在fillna中有三個引數是常用的:value, method, limit。其中,value為填充值,可以是標量,也可以是索引到元素的字典對映;method為填充方法,有用前面的元素填充ffill和用後面的元素填充bfill兩種型別,limit引數表示連續缺失值的最大填充次數。

ex2:用回歸模型解決分類問題

有色點的特徵資料提供如下:

knn是一種監督式學習模型,既可以解決回歸問題,又可以解決分類問題。對於分類變數,利用knn分類模型可以實現其缺失值的插補,思路是度量缺失樣本的特徵與所有其他樣本特徵的距離,當給定了模型引數n_neighbors=n時,計算離該樣本距離最近的 n n n個樣本點中最多的那個類別,並把這個類別作為該樣本的缺失**類別,具體如下圖所示,未知的類別被**為黃色

在想如果用「weight」來替代

這裡思路斷片了 還要去研究研究。。。

Pandas 缺失資料

一.處理缺失資料 二.濾除缺失資料 三.填充缺失資料 方法說明 dropna根據各標籤的值中是否存在缺失資料對軸標籤進行過濾,可通過閾值調節對缺失值的容忍度 fillna用指定值或插值方法 如 ffill 或 bfill 填充缺失資料 isnull返回乙個含有布林值的物件,這些布林值表示哪些值時預設...

pandas 缺失資料

檢視缺失的比例 全部缺失 df sub set.isna any 1 head 至少有乙個缺失 沒有缺失 資料處理中經常需要根據缺失值的大小 比例或其他特徵來進行行樣本或列特徵的刪除,pandas中提供了dropna函式來進行操作。dropna的主要引數為軸方向axis 預設為0,即刪除行 刪除方式...

Pandas 處理缺失資料

import numpy as np import pandas as pd from pandas import series,dataframes series a b np.nan,c d pd.isnull s 0 false 1 false 2 true 3 false 4 false d...