Questa è più una questione di comprensione che di programmazione. Sono abbastanza nuovo per Pandas e SQL. Sto usando i panda per leggere i dati da SQL con alcuni chunksize specifici. Quando eseguo una query sql ad es. panda di importazione come pdPandas SQL chunksize
df = pd.read_sql_query('select name, birthdate from table1', chunksize = 1000)
Quello che non capisco è quando non me ne frega un chunksize, i dati vengono memorizzati nella memoria e posso vedere la memoria in crescita però, quando mi danno un chunksize l'utilizzo della memoria è non così in alto.
che ho è che questo DF ora contiene una serie di array di cui posso accedere come
for df_array in df:
print df.head(5)
Quello che non capisco è qui se l'intero risultato della istruzione SQL viene mantenuto in IE memoria df è un oggetto che trasporta più array o se questi sono come puntatori rivolti verso una tabella temporanea creata dalla query SQL.
Sarei molto lieto di sviluppare una certa comprensione di come questo processo funzioni effettivamente.