在數(shù)據(jù)處理的時(shí)候，我們比較常用到的庫(kù)要么是numpy，要么是pandas。在數(shù)據(jù)中出現(xiàn)空值的情況下我們要對(duì)其進(jìn)行一些處理，這兩種庫(kù)的處理方式有類(lèi)似之處，那么numpy處理數(shù)據(jù)中的空值和pandas處理數(shù)據(jù)中的空值有什么區(qū)別呢？接下來(lái)我們就來(lái)分析一下。
最近在做數(shù)據(jù)處理的時(shí)候，遇到個(gè)讓我欲仙欲死的問(wèn)題，那就是數(shù)據(jù)中的空值該如何獲取。
我的目的本來(lái)是獲取數(shù)據(jù)中的所有非零且非空值，然后再計(jì)算獲得到的所有數(shù)據(jù)計(jì)算均值，再用均值把0和空值填上。這個(gè)操作讓我意識(shí)到了i is None/np.isnan(i)/i.isnull()之間的差別，再此做簡(jiǎn)單介紹：
1.關(guān)于np.nan：
先明確一個(gè)問(wèn)題，即空值的產(chǎn)生只有np.nan()一種方法。
# np.nan()的一些奇妙性質(zhì)： np.nan == np.nan >>> False np.isnan(np.nan) >>> True np.nan is None >>> False type(np.nan) >>> float
總結(jié)一下：
np.nan不是一個(gè)“空”對(duì)象，用 i is None判斷是False；
對(duì)某個(gè)值是否為空值進(jìn)行判斷，只能用np.isnan(i)函數(shù)，萬(wàn)萬(wàn)不可用 i == np.nan()來(lái)做，否則你會(huì)死的很慘的，因?yàn)榭罩挡⒉荒苡门袛嘞嗟鹊摹?=”正確識(shí)別（上例前兩條）；
np.nan非空對(duì)象，其類(lèi)型為基本數(shù)據(jù)類(lèi)型float（是不是很神奇，我也不知道為什么要這樣設(shè)計(jì)）
2.np.isnan()和pd.isnull()何時(shí)使用：
# 首先創(chuàng)建一個(gè)DataFrame：
bb = pd.DataFrame({'a':[0,1,2,np.nan]})
bb
>>> a
0 0.0
1 1.0
2 2.0
3 NaN
# 先測(cè)試一下np.isnan()
np.isnan(bb)
>>> a
0 False
1 False
2 False
3 True
# 值得一提的是，如果想獲悉整個(gè)DataFrame有無(wú)空值，可以在此基礎(chǔ)上這樣做：
np.isnan(bb).all()
>>> a False
dtype: bool # 這行是指返回值的dtype
# 再測(cè)試一下isnull()
pd.isnull(bb)
>>> a
0 False
1 False
2 False
3 True
由上可見(jiàn)，其實(shí)np.isnan()和pd.isnull()都可以對(duì)不論是DataFrame、Python list還是僅僅一個(gè)數(shù)值進(jìn)行空值檢測(cè)。但一般在實(shí)際應(yīng)用中，np.isnan()多用于單個(gè)值的檢驗(yàn)，pd.isnull()用于對(duì)一個(gè)DataFrame或Series（整體）的檢驗(yàn)。
此外，根據(jù)pandas官方文檔和源代碼，pandas提供的另一個(gè)函數(shù)pd.isna()與pd.isnull()完全一樣。
上面提到的any()/all()函數(shù)，請(qǐng)見(jiàn)pandas文檔：
其他與空值檢測(cè)或刪除相關(guān)的函數(shù)還有：notna()、fillna()、dropna()等等。實(shí)戰(zhàn)中應(yīng)靈活使用。
補(bǔ)充：numpy中的nan(判斷一個(gè)元素等于nan, 及nan安全函數(shù) )
Nunpy中的NaN
多種方式創(chuàng)建nan(空值)
import numpy as np
np.nan
nan
np.NaN
nan
np.NAN
nan
判斷是否存在空值
x = np.array([1, 1, 8, np.nan, 10])
np.nan in x
False
np.isin(np.nan, x)
array(False)
1 in x
True
np.isin(1, x)
array(True)
np.isnan(x)
array([False, False, False, True, False])
x[-2] == np.nan, np.isnan(x[-2])
(False, True)
在np中nan需要用isnan這個(gè)函數(shù)來(lái)識(shí)別，還要注意：
x
array([ 1., 1., 8., nan, 10.])
x 中所有的元素都變成了浮點(diǎn)型，這是因?yàn)閚an是浮點(diǎn)型的。
nan安全函數(shù)
np.mean(x)
nan
np.nanmean(x)
5.0
此外max, min, median等都是默認(rèn)非nan安全的，需要加上nan來(lái)標(biāo)記nan安全。
ps:pandas中是默認(rèn)nan安全的。
補(bǔ)充：Python 處理DataFrame數(shù)據(jù) pd.isnull() np.isnan()的方式
數(shù)據(jù)處理時(shí)，經(jīng)常會(huì)遇到處理數(shù)據(jù)中的空值，涉及幾個(gè)常用函數(shù)，pd.isnull()，pd.notnull()，np.isnan()，pd.notna()，pd.isna()，pd.fillna()、pd.dropna()等等.
本文關(guān)注pd.isnull()，pd.notnull()，np.isnan()，pd.notna()，pd.isna()。
總結(jié)：
由下可知，np.isnan()和pd.isnull()都可以對(duì)不論是DataFrame、Python list還是僅僅一個(gè)數(shù)值進(jìn)行空值檢測(cè)。但一般在實(shí)際應(yīng)用中，np.isnan()多用于單個(gè)值的檢驗(yàn)，pd.isnull()用于對(duì)一個(gè)DataFrame或Series（整體）的檢驗(yàn)。
1.pd.isnull()
pd.isnull()可以對(duì)不論是DataFrame、Python list還是僅僅一個(gè)數(shù)值進(jìn)行空值檢測(cè)。但一般在實(shí)際應(yīng)用中，pd.isnull()用于對(duì)一個(gè)DataFrame或Series（整體）的檢驗(yàn)。
此外，根據(jù)pandas官方文檔和源代碼，pandas提供的另一個(gè)函數(shù)pd.isna()與pd.isnull()完全一樣。
# 首先創(chuàng)建一個(gè)DataFrame：
df = pd.DataFrame({'a':[0,1,2,np.nan]})
df
>>> a
0 0.0
1 1.0
2 2.0
3 NaN
# 測(cè)試isnull()
pd.isnull(df)
>>> a
0 False
1 False
2 False
3 True
# 測(cè)試isna()
pd.isna(df)
>>> a
0 False
1 False
2 False
3 True
# 測(cè)試notnull()
pd.notnull(df)
>>> a
0 True
1 True
2 True
3 False
# 測(cè)試notna()
pd.notna(df)
>>> a
0 True
1 True
2 True
3 False
2.np.nan()
判斷是否為np.nan()。
np.nan不是一個(gè)“空”對(duì)象，對(duì)某個(gè)值是否為空值進(jìn)行判斷，只能用np.isnan(i)函數(shù)。
np.nan非空對(duì)象，其類(lèi)型為基本數(shù)據(jù)類(lèi)型float。
np.nan()可以對(duì)不論是DataFrame、Python list還是僅僅一個(gè)數(shù)值進(jìn)行空值檢測(cè)。但一般在實(shí)際應(yīng)用中，np.nan()多用于單個(gè)值的檢驗(yàn)。
np.nan == np.nan
>>> False
np.isnan(np.nan)
>>> True
type(np.nan)
>>> float
np.nan is None
>>> False
np.isnan(df)
>>> a
0 False
1 False
2 False
3 True
以上就是numpy處理數(shù)據(jù)中的空值和pandas處理數(shù)據(jù)中的空值有什么區(qū)別的全部?jī)?nèi)容，希望能給大家一個(gè)參考，也希望大家多多支持W3Cschool。
