Heroku banco operaio che dà R14 errori - problemi con la gestione della memoria - opzioni di limite di memoria RMagick

Question

ho provato ad utilizzare un banco operaio 2X, in attesa di non ottenere R14 errori, ma questo è il risultato:

2013-06-04T13:03:30.723260+00:00 heroku[worker.1]: Process running mem=1047M(102.3%) 
2013-06-04T13:03:30.723260+00:00 heroku[worker.1]: Error R14 (Memory quota exceeded) 

Tuttavia, l'attività per il lavoratore è stata completata correttamente.

Domande:

• Come posso ridurre la memoria necessaria per il mio lavoro? - Sto usando rmagick gem per convertire una lista di immagini in un unico pdf multipagina.
• Quanto è pericoloso mantenere il processo in questo modo (con errori R14) mentre il lavoro finale sta terminando con successo?

Grazie in anticipo

Answer 1

ho finalmente trovato una soluzione. Il problema era con rmagick. Ottiene tutta la memoria che vede disponibile. Non importa se usi un dyno 2X worker invece di 1X. Cresce al massimo delle risorse disponibili. Quindi, we have to set a limit. Ma nel mio caso non tutti i limiti hanno funzionato.

È possibile effettuare una chiamata di sistema direttamente in questo modo:

convert -limit memory 0 -limit map 0 list_of_input_files output_file

In questo modo, si evita di utilizzare la memoria cache, andando direttamente alla cache del disco. Questo è l'unico modo per evitare errori R14 in heroku. Con altre combinazioni come -limit memory 32 -limit map 64 o simili, mi ha sempre dato errori. Ho preso l'idea from here.

Naturalmente, si può sempre utilizzare il rmagick library con queste righe, ma non ha funzionato per me e mi ha fatto usare l'approccio syscall spiegato prima:

Magick.limit_resource(:memory, 0) 
Magick.limit_resource(:map, 0) 

UPDATE: Ho usato il nice comando per garantire più priorità. Sembra che migliori, ma alla fine ricevo errori R14, ma è vero che non sono così frequenti (anche con lo stesso file!).

Answer 2

Un po 'tardi per la festa, ma nel mio caso il netturbino era il mio salvatore. Basta eseguire GC.start dopo ogni lavoro.