數據清洗是一項復雜且繁瑣的工作,同時也是整個數據分析過程中最為重要的環節。
在python中空值被顯示為NaN。首先,我們要構造一個包含NaN的DataFrame對象。
1
2
3
4
5
6
7
8
9
10
11
|
>>> import numpy as np >>> import pandas as pd >>> from pandas import Series,DataFrame >>> from numpy import nan as NaN >>> data = DataFrame([[ 12 , 'man' , '13865626962' ],[ 19 , 'woman' ,NaN],[ 17 ,NaN,NaN],[NaN,NaN,NaN]],columns = [ 'age' , 'sex' , 'phone' ]) >>> data age sex phone 0 12.0 man 13865626962 1 19.0 woman NaN 2 17.0 NaN NaN 3 NaN NaN NaN |
刪除NaN
刪除NaN所在的行
刪除表中全部為NaN的行
1
2
3
4
5
|
>>> data.dropna(axis = 0 , how = 'all' ) age sex phone 0 12.0 man 13865626962 1 19.0 woman NaN 2 17.0 NaN NaN |
刪除表中任何含有NaN的行
1
2
3
|
>>> data.dropna(axis = 0 , how = 'any' ) age sex phone 0 12.0 man 13865626962 |
刪除NaN所在的列
刪除表中全部為NaN的列
1
2
3
4
5
6
|
>>> data.dropna(axis = 1 , how = 'all' ) age sex phone 0 12.0 man 13865626962 1 19.0 woman NaN 2 17.0 NaN NaN 3 NaN NaN NaN |
刪除表中任何含有NaN的列
1
2
3
4
|
>>> data.dropna(axis = 1 , how = 'any' ) Empty DataFrame Columns: [] Index: [ 0 , 1 , 2 , 3 ] |
注意:axis 就是”軸,數軸“的意思,對應多維數組里的”維“。此處作者的例子是二維數組,所以,axis的值對應表示:0軸(行),1軸(列)。
填充NaN
如果不想過濾(去除)數據,我們可以選擇使用fillna()方法填充NaN,這里,作者使用數值'0'替代NaN,來填充DataFrame。
1
2
3
4
5
6
|
>>> data.fillna( 0 ) age sex phone 0 12.0 man 13865626962 1 19.0 woman 0 2 17.0 0 0 3 0.0 0 0 |
我們還可以通過字典來填充,以實現對不同的列填充不同的值。
1
2
3
4
5
6
|
>>> data.fillna({ 'sex' : 233 , 'phone' : 666 }) age sex phone 0 12.0 man 13865626962 1 19.0 woman 666 2 17.0 233 666 3 NaN 233 666 |
以上這篇數據清洗--DataFrame中的空值處理方法就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持服務器之家。
原文鏈接:https://blog.csdn.net/yuanxiang01/article/details/78738812