Qual è la differenza tra NaN e None?

Question

Sto leggendo due colonne di un file csv usando i panda readcsv() e quindi assegnando i valori a un dizionario. Le colonne contengono stringhe di numeri e lettere. Occasionalmente ci sono casi in cui una cella è vuota. A mio parere, il valore letto su quella voce del dizionario dovrebbe essere None ma è invece assegnato nan. Sicuramente None è più descrittivo di una cella vuota in quanto ha un valore nullo, mentre nan dice solo che il valore letto non è un numero.

La mia comprensione è corretta, qual è la differenza tra None e nan? Perché è stato assegnato nan anziché None?

Inoltre, il mio controllo di dizionario per tutte le celle vuote ha utilizzato numpy.isnan():

for k, v in my_dict.iteritems(): 
    if np.isnan(v): 

Ma questo mi dà un errore dicendo che non posso usare questo controllo per v. Suppongo che sia dovuto a una variabile intera o variabile, non a una stringa destinata. Se questo è vero, come posso verificare v per una "cella vuota"/nan?

Answer 1

NaN viene utilizzato come segnaposto per missing data consistently in pandas, la coerenza è buona. Di solito leggo/traduco NaN come "mancante". Vedere anche la sezione 'working with missing data' nella documentazione.

Wes scrive nella documentazione 'choice of NA-representation':

Dopo anni di uso di produzione [NaN] si è dimostrato, almeno a mio parere, di essere la decisione migliore dato lo stato delle cose in NumPy e Python in generale. Il valore speciale NaN (Not-A-Number) viene utilizzato ovunque come valore NA e vi sono le funzioni API isnull e notnull che possono essere utilizzate nei dtype per rilevare i valori NA.
Quindi, ho scelto l'approccio Pythonic "praticità picchi di purezza" e ho scambiato la capacità di numeri interi NA per un approccio molto più semplice dell'utilizzo di un valore speciale in array float e object per indicare NA e promozione di array di numeri interi a floating quando le NA devono essere introdotte.

Nota: il "gotcha" that integer Series containing missing data are upcast to floats.

A mio parere il motivo principale per utilizzare NaN (oltre None) è che può essere conservato con DTYPE float64 di NumPy, piuttosto che l'oggetto DTYPE meno efficiente, vedere NA type promotions.

# without forcing dtype it changes None to NaN! 
s_bad = pd.Series([1, None], dtype=object) 
s_good = pd.Series([1, np.nan]) 

In [13]: s_bad.dtype 
Out[13]: dtype('O') 

In [14]: s_good.dtype 
Out[14]: dtype('float64') 

commenti Jeff (in basso) su questo:

np.nan consente per le operazioni vectorized; è un valore float, mentre None, per definizione, forza il tipo di oggetto, che sostanzialmente disabilita tutta l'efficienza in numpy.

Quindi ripetere 3 volte veloce: oggetto == male, galleggiante == buona

Detto questo, molte operazioni possono ancora funzionare altrettanto bene con Nessuno vs NaN (ma forse sono non supportato ossia possono a volte dare surprising results):

In [15]: s_bad.sum() 
Out[15]: 1 

In [16]: s_good.sum() 
Out[16]: 1.0 

Per rispondere alla seconda domanda:
Si dovrebbe usare pd.isnull e pd.notnull per verificare i dati mancanti (NaN).

Answer 2

NaN stants per NON un numero.
None potrebbe corrispondere a qualsiasi.

Answer 3

La funzione isnan() controlli per vedere se qualcosa è "non un numero" e tornerà o meno di una variabile è un numero, ad esempio isnan(2) sarebbe tornato falsi

il condizionale myVar is not None restituisce se la variabile è definito

vostro array NumPy utilizza isnan() perché destinato ad essere una matrice di numeri e inizializza tutti gli elementi della matrice di NaN questi elementi sono considerati "vuoto"

Answer 4

NaN può essere utilizzato come valore numerico sulle operazioni matematiche, mentre None non può (o almeno non dovrebbe).

NaN è un valore numerico, come definito in IEEE 754 floating-point standard. None è un tipo Python interno (NoneType) e sarebbe più simile a "inesistente" o "vuoto" che "numericamente non valido" in questo contesto.

I principali "sintomo" di quella è che, se si esegue, ad esempio, una media o una somma su un array contenente NaN, anche una sola, si ottiene come risultato NaN ...

In D'altra parte, non è possibile eseguire operazioni matematiche utilizzando None come operando.

Quindi, a seconda dei casi, è possibile utilizzare None per dire al proprio algoritmo di non considerare valori non validi o inesistenti sui calcoli. Ciò significherebbe che l'algoritmo dovrebbe testare ciascun valore per vedere se è None.

Numpy ha alcune funzioni per evitare che i valori NaN contaminino i risultati, ad esempio nansum e nan_to_num, ad esempio.