Python檢視資料基礎資訊 缺失值和重複值處理

2021-10-05 16:21:47 字數 1312 閱讀 9837

1.1預覽資料前幾行

df.head(

)#預設為前5行,也可以自行設定

df.head(

10)

1.2檢視資料表大小

df.shape
1.3獲取資料型別

df.info(

)

1.4檢視資料分布情況

df.describe(

)'''

count:計數

mean:平均值

std:標準差

minmax

25%50%

75%'''

2.1查詢缺失值

df.info(

)df.isnull(

)

2.2刪除缺失值

df.dropna(

)#預設刪除含有nan值的行

#刪除全為空白的行

df.dropna(how =

"all"

)

2.3缺失值填充

一般情況下,資料缺失比例不大於30%,不選擇刪除而是選擇填充的方式。

df.fillna(0)

#填充全表多有空值

df.fillna(

)#指定列,指定填充值

#也可利用字典,對多列進行不同指定值填充

df.fillna(

)

3.重複值處理

df.drop_duplicates(

)#預設對所有字段進行重複值判斷,並保留第一行的值

#指定重複值判斷列

df.drop_duplicates(subset =

["name"

,"age"

,"time"])

#設定保留最後乙個值

df.dropduplicates(keep = last)

#keep預設為first

4.1資料型別檢視

#檢視每一列的資料型別

df.info(

)#單獨檢視一列的資料型別

df.dtype

df.name.dtype

df[""

].dtype

4.2資料型別轉換

df[""]

.astype(

"float64"

)#astype需指定要轉換的資料型別

Python怎麼檢視幫助資訊

help 一 不同的環境下 1.互動模式下 命令列 檢視模組的幫助資訊 python view plain copy print?import pickle help pickle 可以看到詳細資訊,more 上回車,滾動資訊。q 退出幫助 2.ide裡,需要做乙個輸出。python view pl...

python檢視顯示卡gpu資訊

需要使用pynvml庫 官網 現階段pip安裝的命令為 sudo pip install nvidia ml pyimport pynvml pynvml.nvmlinit 這裡的1是gpu id handle pynvml.nvmldevicegethandlebyindex 1 meminfo ...

python 檢視顯示卡gpu資訊

需要安裝pynvml庫。pip安裝的命令為 pip install nvidia ml py 如下 usr bin env python coding utf 8 time 2019 1 19 17 40 author xiaodai import pynvml pynvml.nvmlinit ha...