Pandas處理丟失資料

pandas處理丟失資料

1、建立含nan的矩陣

>>> dates = pd.date_range('

20130101
', periods=6)
>>> df = pd.dataframe(np.arange(24).reshape((6,4)),index=dates, columns=['
a','
b','
c','d'
])>>> df.iloc[0,1] =np.nan
>>> df.iloc[1,2] =np.nan
>>> print
(df)
a b c d
2013-01-01 0 nan 2.0 3
2013-01-02 4 5.0 nan 7
2013-01-03 8 9.0 10.0 11
2013-01-04 12 13.0 14.0 15
2013-01-05 16 17.0 18.0 192013-01-06 20 21.0 22.0 23

2、pd.dropna():直接去掉有nan的行或列

>>>df.dropna(

... axis=0, #
0: 對行進行操作; 1: 對列進行操作
... how='
any'
#'any': 只要存在 nan 就 drop 掉; 'all': 必須全部是 nan 才 drop
... )
a b c d
2013-01-03 8 9.0 10.0 11
2013-01-04 12 13.0 14.0 15
2013-01-05 16 17.0 18.0 19
2013-01-06 20 21.0 22.0 23

3、pd.fillna():將nan的值用其他值代替，比如代替成0：

>>> df.fillna(value=0)

a b c d
2013-01-01 0 0.0 2.0 3
2013-01-02 4 5.0 0.0 7
2013-01-03 8 9.0 10.0 11
2013-01-04 12 13.0 14.0 15
2013-01-05 16 17.0 18.0 19
2013-01-06 20 21.0 22.0 23

4、pd.isnull():判斷是否有缺失資料nan,為true表示缺失資料

>>>df.isnull()

a b c d
2013-01-01false true false false
2013-01-02false false true false
2013-01-03false false false false
2013-01-04false false false false
2013-01-05false false false false
2013-01-06 false false false false

true

posted on

2018-07-28 23:14

anhoo 閱讀(

...)

編輯收藏

pandas處理丟失資料

有兩種丟失資料的方式 none np.nan nan 1,none none是python當中自帶的，型別為python object，所以，none是不能參與到任何的計算當中的 2,np.nan np.nan是浮點型別，能參與到計算當中，但是計算的結果為nan pandas中none與np.nan...

pandas處理丟失資料

pandas將none和nan視為可交換的，它們都可以用來指示丟失的資料。none可以代替丟失值 哨兵值 並不適合所有情況，只能用於陣列的型別為物件的情況。none會導致一些聚合操作，比如sum 和min 會報錯。nan 代替丟失值 另外一中哨兵值 一種特殊的浮點型資料，不管什麼操作，只要有nan，...

Pandas處理丟失資料

dates pd.date range 20130101 periods 6 df pd.dataframe np.arange 24 reshape 6,4 index dates,columns a b c d df.iloc 0,1 np.nan df.iloc 1,2 np.nan prin...