panda e sicurezza del thread numpy

Question

Sto usando pandas su un server web (apache + modwsgi + django) e ho un bug difficile da riprodurre che ora ho scoperto è causato dal fatto che i panda non sono thread-safe.

Dopo un sacco di riduzione del codice ho finalmente trovato un breve programma standalone che può essere utilizzato per riprodurre il problema. Puoi vederlo sotto.

Il punto è: contrariamente alla risposta di this question questo esempio mostra che i panda possono bloccarsi anche con operazioni molto semplici che non modificano un dataframe. Non riesco a immaginare come questo semplice frammento di codice possa non essere sicuro con i thread ...

La domanda riguarda l'utilizzo di panda e numpy in un server web. È possibile? Come posso risolvere il mio codice usando i panda? (Un esempio di utilizzo di blocco sarebbe utile)

Ecco il codice che causa un errore di segmentazione:

import threading 
import pandas as pd 
import numpy as np 

def let_crash(crash=True): 
    t = 0.02 * np.arange(100000) # ok con 10000                    
    data = pd.DataFrame({'t': t}) 
    if crash: 
     data['t'] * 1.5 # CRASH 
    else: 
     data['t'].values * 1.5 # THIS IS OK! 

if __name__ == '__main__': 
     threads = [] 
     for i in range(100): 
      if True: # asynchronous                       
       t = threading.Thread(target=let_crash, args =()) 
       t.daemon = True 
       t.start() 
       threads.append(t) 
      else: # synchronous                        
       let_crash() 
     for t in threads: 
      t.join() 

mio ambiente: python 2.7.3, 1.8.0 NumPy, panda 0.13.1

Answer 1

vedere avvertenza nei documenti qui: http://pandas.pydata.org/pandas-docs/dev/gotchas.html#thread-safety

panda non è thread-safe perché il meccanismo di copia sottostante non lo è. Numpy credo abbia un'operazione di copia atomica, ma i panda hanno uno strato sopra questo.

Copy è la base delle operazioni panda (come la maggior parte delle operazioni generano un nuovo oggetto per tornare per l'utente)

Non è banale per risolvere questo problema e sarebbe venuto con un costo perf piuttosto pesante così avrebbe bisogno di un po ' di lavoro per affrontarlo correttamente.

Il più semplice è semplicemente non condividere oggetti tra thread o bloccarli durante l'utilizzo.

Answer 2

Configura mod_wsgi per l'esecuzione in una modalità a thread singolo.

WSGIDaemonProcess mysite processes=5 threads=1 
WSGIProcessGroup mysite 
WSGIApplicationGroup %{GLOBAL} 

In questo caso si utilizza la modalità mod_wsgi demone modo che processi/thread possono essere impostati indipendentemente su qualunque Apache MPM in uso.