Lavori ritardati che perdono memoria?

Question

Sto usando collectiveidea's delayed_job con la mia app Ruby on Rails (v2.3.8) e ho eseguito circa 40 processi in background con esso su una macchina Slicehost RAM da 8GB (Ubuntu 10.04 LTS, Apache 2).

Diciamo che ssh nel mio server senza operatori in esecuzione. Quando faccio il numero free -m, vedo che generalmente utilizzo circa 1 GB di RAM su 8. Quindi, dopo aver avviato i lavoratori e aver atteso circa un minuto per il loro utilizzo da parte del codice, sono fino a circa 4 GB. Se torno tra un'ora o due, sarò a 8 GB e nella memoria di scambio e il mio sito Web genererà 502 errori.

Finora ho appena ucciso e riavviato i lavoratori, ma preferirei risolvere la radice del problema. qualche idea? Si tratta di una perdita di memoria? Oppure, come suggerito da un amico, devo trovare un modo per eseguire la garbage collection?

Answer 1

Quasi ogni volta che qualcuno chiede questo, il problema è nel loro codice. Prova a utilizzare uno degli strumenti di profilatura disponibili per scoprire dove perde il tuo lavoro. (https://github.com/wycats/ruby-prof o simile.)

L'attivazione di GC alla fine di ogni lavoro riduce il consumo massimo di memoria al costo di ridurre il throughput. Tuttavia, non impedirà a Ruby di gonfiarsi fino alla dimensione massima richiesta da un singolo lavoro, dal momento che Ruby non può liberare memoria nel sistema operativo. Non consiglio di adottare questo approccio.

Answer 2

In realtà, Delayed :: Job 3.0 perde memoria in Ruby 1.9.2 se i modelli hanno attributi serializzati. (Io sono nel processo di ricerca di una soluzione.)

Ecco qualcuno che sembrava aver risolto, http://spacevatican.org/2012/1/26/memory-leak-in-yaml-on-ruby-1-9-2

Ecco la questione dal ritardato :: Lavoro https://github.com/collectiveidea/delayed_job/issues/336