Python 清洗資料

import

numpy as np
import
pandas as pd
from pandas import
series,dataframe
s=series([1,2,3],index=['
a','
b','c'
])print
(s)'''
a 1
b 2
c 3
dtype: int64
'''print(np.max(s))#
可以進行np運算
s.name='
rank
's.index.name='
name
'print
(s)#
建立dataframe
sdata1=
print(sdata1)#
字典df1=dataframe(sdata1)
print
(df1)
'''name rank score
0 a 1 98
1 b 2 89
2 c 3 54
'''df2=dataframe(sdata1,columns=['
score
','name
','rank'])
print
(df2)
'''可以自動對齊，只是位置變化
score name rank
0 98 a 1
1 89 b 2
2 54 c 3
'''df3=dataframe(sdata1,columns=['
score
','name
','rank
','class
'],index=['
1','
2','3'
])print
(df3)
'''class這列是缺失值
score name rank class
1 98 a 1 nan
2 89 b 2 nan
3 54 c 3 nan
'''df4=df3.reindex(['
1','
2','
3','4'
])print
(df4)
'''重新索引
score name rank class
1 98.0 a 1.0 nan
2 89.0 b 2.0 nan
3 54.0 c 3.0 nan
4 nan nan nan nan
'''print(df4['
score'])
print(df4.ix['1'
])print(df2[df2['
score
']>60])#
返回df2中score大於60的值
'''score name rank
0 98 a 1
1 89 b 2
'''del df3['
class']
print(df3)#
刪除class這列
sdata1=
print
(sdata1)
df3=dataframe(sdata1,columns=['
score
','name
','rank
','class
'],index=['
1','
2','3'
])del df3['
class']
print
(df3)
print(df3.reindex(['
1','
2','
3','4'
]))print(df3.reindex(['
1','
2','
3','
4'],fill_value=0))#
缺失值賦值為0
'''score name rank
1 98 a 1
2 89 b 2
3 54 c 3
4 0 0 0
'''print(df3.reindex(['
0','
1','
2','3'
]))'''
score name rank
0 nan nan nan
1 98.0 a 1.0
2 89.0 b 2.0
3 54.0 c 3.0
'''print(df3.reindex(['
0','
1','
2','
3'],method='
bfill
'))#
向後填充
'''score name rank
0 98 a 1
1 98 a 1
2 89 b 2
3 54 c 3
'''print(df3.drop('
1'))#
刪除第一行
print(df3.drop('
score
',axis=1))#
刪除指定列，axis是維數，0是行，1是列
print(df3.t)#
轉置

python資料清洗

對於資料中缺失的值，可以有3種方法處理 1.刪除。比如餐廳的營業額，有幾天去裝修了，確實沒營業，可以刪除 2.不處理 有一些模型可以將缺失值作為一種特殊的值，可以直接建模。3.補上 均值 中位數 眾數 一般情況吧 固定值 比如工資啊，補貼啊 最近臨插補 最近的值，相鄰的，補上 下面是拉格朗日插值法 ...

資料清洗 python

資料清洗 python 1.1引言 對於處理大資料問題，首先就是要進行資料預處理，排除掉那些那些很離譜的資料，當然我們肯定不能乙個乙個用眼睛來找 容易累死 所以我們就要學會如何用程式來進行資料的預處理，我們常常用兩種語言 matlab和python，這裡我先介紹一下用python進行資料清洗。1.2...

Python 資料清洗

重複值處理 一般採取刪除法，但是有些不能刪 df.duplicated df.duplicated subset keep last first np.sum sd.duplicated df.dorp duplicates subset keep last first inplace true f...