Come evitare l'esaurimento della memoria quando si inserisce un milione di righe in mysql con php

Question

Ho creato uno script in Laravel che legge un file JSON riga per riga e importa il contenuto nel mio database.

Tuttavia, durante l'esecuzione dello script, viene visualizzato un errore di memoria insufficiente dopo l'inserimento di circa 80.000 di record.

mmap() failed: [12] Cannot allocate memory 

mmap() failed: [12] Cannot allocate memory 
PHP Fatal error: Out of memory (allocated 421527552) (tried to allocate 12288 bytes) in /home/vagrant/Code/sandbox/vendor/laravel/framework/src/Illuminate/Database/Query/Builder.php on line 1758 

mmap() failed: [12] Cannot allocate memory 
PHP Fatal error: Out of memory (allocated 421527552) (tried to allocate 32768 bytes) in /home/vagrant/Code/sandbox/vendor/symfony/debug/Exception/FatalErrorException.php on line 1 

ho costruito una sorta di coda di fortuna ai soli commettere gli elementi raccolti ogni 100, ma questo fatto alcuna differenza.

Questo è ciò che la parte del mio codice che fa gli inserti assomiglia:

public function callback($json) { 

    if($json) { 

     $this->queue[] = [ 

      'type' => serialize($json['type']), 
      'properties' => serialize($json['properties']), 
      'geometry' => serialize($json['geometry']) 
     ]; 

     if (count($this->queue) == $this->queueLength) { 

      DB::table('features')->insert($this->queue); 

      $this->queue = []; 
     } 
    } 
} 

E 'gli inserti effettivi (DB::table('features')->insert($this->queue);) che stanno causando l'errore, se lascio quelli fuori posso perfettamente iterare su tutto linee e li echeggia senza problemi di prestazioni.

Immagino di poter allocare più memoria, ma dubito che questa sarebbe una soluzione perché sto cercando di inserire 3 milioni di record e al momento è già in corso dopo 80 K con 512 MB di memoria allocata. Inoltre, in realtà voglio eseguire questo script su un server a basso budget.

Il tempo necessario per l'esecuzione di questo script non è di alcuna preoccupazione, quindi se potessi in qualche modo rallentare l'inserimento di record in basso sarebbe una soluzione per la quale potrei accontentarmi.

Answer 1

Sulle impalcature la mia applicazione ho installato il pacchetto itsgoingd/clockwork. È un'abitudine in cui mi sono imbattuto perché è uno strumento così utile. (Raccomando a tutti gli sviluppatori di Laravel di leggerlo per verificarlo!)

Ovviamente questo pacchetto registra le query a scopo di debug e quindi, è stato il colpevole che ha consumato tutta la mia memoria.

La disabilitazione del pacchetto eliminando il riferimento al proprio fornitore di servizi nella mia configurazione ha risolto il problema.

Saluti a @ dbushy727 per avermi dato una spinta nella giusta direzione per capirlo.

Answer 2

Informazioni sul problema, penso che dovresti usare la coda messaggi (Gearman, Rabbit ...) per risolvere questo problema.

Scarica tutto il record e passa alla coda. La coda verrà elaborata una alla volta

Answer 3

Se si utilizza MySQL 5.7+, dispone di funzionalità per l'importazione di dati dal file JSON utilizzando LOAD DATA INFILE.

LOAD DATA INFILE 'afile.json' INTO TABLE atable (field1, field2, ....); 

Se si utilizza la versione di MySQL inferiore, è necessario convertire prima JSON in formato CSV. Ad esempio, utilizzando https://github.com/danmandle/JSON2CSV

LOAD DATA INFILE 'afile.csv' INTO TABLE atable (field1, field2, ....); 

See s' documentationLOAD DATA INFILE.

Answer 4

Verificare che la registrazione della query non sia attiva. Se la registrazione delle query è attiva, anche se stai cancellando $ this-> queue, il log delle query aumenta fino a raggiungere dimensioni ingestibili e il limite di memoria.

Per verificare se la registrazione di query è acceso o spento, utilizzare la facciata DB in questo modo:

DB::logging() 

Se questo restituisce true, allora la vostra registrazione è acceso, e questo è il vostro problema. Se questo restituisce false, allora è qualche altra configurazione che trattiene le tue query.