5
Ho scritto un programma Python che gestisce dati molto grandi. Mentre elabora i dati, mette i dati elaborati in un array, che cresce facilmente fino a centinaia di megabyte o addirittura su un gigabyte.Come utilizzare Python con un database?
Il motivo per cui l'ho impostato è perché Python ha bisogno di accedere continuamente ai dati nell'array. Poiché la matrice diventa sempre più grande, il processo è facilmente soggetto a errori e molto lento.
C'è un modo per avere il database di tipo array memorizzato su un diverso file o modulo di database e accedervi in base alle necessità?
Forse questo è un compito molto semplice, ma non ne ho idea.
Quanto spesso Si sta accedendo questi dati? È un accesso lineare? Accesso casuale? – ubik
Solo per motivi di interesse, quanta RAM consuma il programma ai massimi livelli? –
@ubik è lineare nella prima fase e casuale nella seconda fase. Costruisce una matrice dall'analisi dei dati e la matrice diventa più grande man mano che vengono elaborati più dati, il che avviene in modo lineare. Successivamente, i valori nella matrice vengono continuamente e casualmente accessibili per calcolare altri valori. – ytrewq