Diverse questioni chiave:
- Consideriamo un banco di prova locale per alcuni scopi & considerare se un dato test ha davvero bisogno EC2. Se è davvero così difficile sbrogliare 2-4 macchine da usare come banco di prova per Hadoop, c'è un altro problema. Prendi la testa su quello che farai, su come Hadoop svolgerà un ruolo, e calpesterai le gomme. Col tempo, vorrai anche cambiare la tua griglia, aggiornare il software, armeggiare con altre idee, ecc. Quando vai su EC2, avrai già livellato alcuni spigoli.
- Non utilizzare una macchina con una capacità maggiore di quella necessaria per ottenere il blocco delle cose. Se non stai eseguendo molti cicli di dati o di elaborazione in questa fase, non preoccuparti dei nodi di calcolo dei cluster, delle massicce istanze RAM, ecc. Concentrati solo su come configurare correttamente le cose.
- Quando si è pronti a eseguire il retargeting su macchine più potenti, provare alcune impostazioni della macchina diverse. Forse le istanze di calcolo del cluster pagheranno, forse non hai bisogno di quel tipo di throughput: finché non conosci i colli di bottiglia, non spendere troppo.
- Assicurarsi di utilizzare frequentemente le istanze spot durante la fase di test. In genere pagherai circa il 50% del prezzo su richiesta.
- Se si arriva a un punto in cui si desidera pagare istanze su richiesta, avviare un'istanza separata e arrestare le istanze di Hadoop in base alle esigenze, a meno che non sia necessario un grande cluster tutte su istanze di calcolo cluster.
- Prepara i tuoi AMI per essere lanciati il più rapidamente possibile (meno di 1 minuto) e non lasciare mai nulla durante la notte o nel fine settimana se non è necessario.
Fino a quando il sistema non viene configurato e funzionante, stai sostanzialmente pagando lezioni per imparare come ottenere tutto su misura per le tue esigenze. Basta pagare le "tasse scolastiche" per imparare ogni lezione (configurazioni, colli di bottiglia, ampliamento, ecc.), Piuttosto che cercare di assumere tutto in una volta. Quando ci si avvicina come una serie di lezioni da apprendere, è meno doloroso spendere i soldi, ma finché sai cosa stai per testare e imparare, spenderai anche denaro in modo più giudizioso.
Infine, confronta i $ 1500 al costo del lavoro di questa esperienza di apprendimento - probabilmente non è un grosso problema a lungo termine. Una volta che sai che qualcosa sarà un ragionevole blocco dello sforzo computazionale, è ben progettato e finirà rapidamente (anche se su molte macchine), non è così doloroso spendere soldi per questo. Al momento, è difficile apprezzare ciò che stai imparando perché non è ancora vantaggioso per gli obiettivi dell'organizzazione.
Ma quanto avrebbe dovuto sostenere/supportare il proprio HW equivalente? Se fosse 15K +, hai un buon affare ... – timday