L'utilizzo di server Web di stato ha senso?

Question

Sto lavorando ad un'applicazione web, che storicamente è stata costruita su uno stack PHP/MySQL.

Una delle operazioni chiave dell'applicazione doveva eseguire alcuni calcoli pesanti che richiedevano l'iterazione su ogni riga di un'intera tabella DB. Inutile dire che questo è stato un serio collo di bottiglia. Quindi è stata presa una decisione per riscrivere l'intero processo in Java.

Questo ci ha dato due vantaggi. Uno era che Java, come linguaggio, era molto più veloce di un processo PHP. Il secondo era che potevamo mantenere l'intero set di dati nella memoria del server delle applicazioni Java. Così ora possiamo fare le operazioni pesanti di calcolo in memoria, e tutto accade molto più velocemente.

Questo ha funzionato per un po ', fino a quando non ci siamo resi conto che abbiamo bisogno di ridimensionare, quindi ora abbiamo bisogno di più server web.

Il problema è che, con la progettazione attuale, tutti devono mantenere lo stesso identico stato. Tutti interrogano il DB, elaborano i dati e li mantengono in memoria. Ma cosa succede quando è necessario modificare questi dati? In che modo tutti i server mantengono la coerenza?

Questa architettura mi sembra imperfetta. Il beneficio delle prestazioni dal tenere tutti i dati in memoria è ovvio, ma questo ostacola seriamente la scalabilità.

Quali sono le opzioni da qui? Passare a una memoria, valore-chiave, archivio dati? Dovremmo rinunciare completamente allo stato di attesa all'interno dei server web?

Answer 1

ora passare alla Erlang :-)

sì, è uno scherzo; ma c'è un granello di verità. il problema è: originariamente il tuo stato era in un repository esterno, condiviso: il DB.ora lo hai (parzialmente) precalcolato in un repository interno non condiviso: oggetti RAM Java. Il modo ovvio è di averlo ancora precalcolato, ma in un repository condiviso esterno, più veloce è, meglio è.

Una semplice risposta è memcached.

Un altro è creare il proprio "server di calcolo", che centralizza sia l'attività di calcolo che i risultati (parziali). Il frontend web elabora solo l'accesso a questo server. In Erlang sarebbe il modo naturale per farlo. In altre lingue, il davanzale può farlo, solo più lavoro. Controlla ZeroMQ per l'ispirazione, anche se non lo usi alla fine (ma è un'impresa maledettamente buona).

Answer 2

Questo può essere cliché, ma i dati si espandono sempre per riempire lo spazio in cui l'hai inserito. I tuoi dati potrebbero essere tutti in memoria oggi, ma ti garantisco che non lo faranno in futuro. Quanto è lontano il tempo necessario per capire un'architettura migliore. Lo stato della tua applicazione è solo un sintomo di questo problema più grande.

Ognuno fa calcoli diversi sull'intero set di dati? È qualcosa che puoi fare in un lotto durante la notte e avere accesso alle persone durante il giorno? Quanto è sensibile al tempo?

Penso che queste siano le domande a cui è necessario rispondere in quanto ad un certo punto non sarà possibile acquistare abbastanza memoria per memorizzare i dati necessari. Potrebbe sembrare sciocco dato a dove sei ora, ma dovresti pianificare su quello essere vero. Molti sviluppatori con cui ho parlato non pensano a che aspetto ha il successo e che impatto ha sui loro progetti.

Answer 3

Sono d'accordo con te - questo sembra imperfetto, ma avrei bisogno di più dettagli per saperlo con certezza.

Si menziona un set di dati di grandi dimensioni e calcoli pesanti, ma non si parla di come vengono aggiornati i dati, quando vengono eseguiti i calcoli, se si tratta di dati di un giorno o dell'intero set di dati, ecc. Suona molto simile a un lavoro batch che potrebbe essere fatto giornalmente off-line.

Se questo è il caso, non sono sicuro di dove si collega il web. I tuoi utenti web eseguono query personalizzate solo dopo aver completato il crunch? I dati sono di sola lettura o letti principalmente per gli utenti? O stanno cambiando i dati continuamente al volo?

Mi chiedo se la tecnologia di persistenza che hai scelto influenzi le cose? Forse un'alternativa NoSQL potrebbe essere migliore per il tuo problema, come un cluster MongoDB distribuito.

Answer 4

Questa è una domanda di motore di dati, credo, tanto quanto è una domanda di distribuzione di server web. Perché il tuo motore di database (centrale) non può eseguire il calcolo (abbastanza rapidamente)?

È possibile memorizzare valori precalcolati che vengono contrassegnati come non aggiornati quando i dati sottostanti vengono modificati, richiedendo un ricalcolo. Non è necessario aggirare la necessità di ricalcolare quando i dati cambiano. Hai solo bisogno di gestire quando e come avviene il cambiamento in quanto influenzerà i consumatori dei dati.