cPython usa più core per funzioni integrate come sort, any, all?

Question

Capisco che cPython abbia un GIL in modo che lo script non possa essere eseguito su più core senza utilizzare il modulo multiprocessing. Ma c'è qualcosa per fermare le funzioni incorporate come l'ordinamento utilizzando più core? Non capisco la struttura di cPython ma penso che la domanda che sto ponendo sia 'sono funzioni incorporate come ordinamento, qualsiasi ed elenco di descrizioni effettivamente al di sotto del GIL?

Answer 1

Il cPython GIL ha a che fare solo con l'abilitazione di un singolo thread per eseguire bytecode all'interno di un processo - non è correlato alla CPU non astratta.

Detto questo, a partire da ora, a meno che non stiate chiamando qualcosa da biforcarsi/utilizzare più processi o il vostro sistema operativo/hardware sta intercettando le chiamate e facendo questo per voi (altamente improbabile), vedrete tutte le vostre operazioni core a singola CPU.

Le funzioni integrate implementate in C si verificano "sotto GIL" in quanto sono chiamate più dirette alle API sottostanti, ma l'inserimento di argomenti e dati per tali funzioni avviene all'interno di GIL, poiché si utilizza bytecode per leggere e scrivere.

Per inciso, se si desidera comprendere meglio la relazione cPython con il suo host, suggerirei il seguente high-level official overview e/o the PDF slides and the playground that I wrote for a conference.

Answer 2

Nessuna delle funzioni menzionate si parallelizza automaticamente. In generale, i thread che si generano in modo silenzioso sono considerati di scarsa qualità nella maggior parte dei linguaggi (questo sta cambiando, ma è ancora visto solo in linguaggi funzionali puri in cui la sicurezza del thread è integrata nella progettazione); generare molti thread senza dare un avvertimento è come si ottengono errori misteriosi quando l'utente tenta di lanciare i propri thread e ottenere errori transitori dovuti ad avere troppi thread in esecuzione. Quindi, anche se il GIL non era un problema, non avrebbe senso farlo.

Detto questo, il GIL è lì per proteggere gli interni dell'interprete e copre qualsiasi scenario in cui i conteggi di riferimento vengono manipolati, il che è costante; con rare eccezioni, non è possibile fare alcun lavoro significativo su PyObject* s (che è quello che tutti i tipi di livello Python sono rappresentati come in C) con GIL mantenuto. In genere, i built-in Python rilasciano il GIL solo per operazioni di blocco (I/O, in attesa di blocchi, ecc.); è solo nelle estensioni C di terze parti (e ctypes) in cui la versione di GIL è normale, poiché in questi casi convertono gli PyObject interamente in tipi di livello C, rilascia il GIL ora che nessun conteggio dei riferimenti o altri interni vengono toccati, esegui lavoro costoso, riacquisire GIL e convertire i risultati da tipi di livello C in oggetti di livello Python.