2016-01-06 13 views
5

Sto provando a lanciare lo scheduler framework kafka-mesos utilizzando il contenitore docker come prescritto allo https://github.com/mesos/kafka/tree/master/src/docker#running-image-in-marathon usando l'implementazione Marathon in esecuzione in minimesos (vorrei aggiungere un tag minimesos, ma non ho i punti). L'app è registrata e può essere visualizzata nella console di Marathon ma rimane in stato di attesa e la GUI di distribuzione indica che sta tentando di ridimensionare l'applicazione.Come posso avviare lo scheduler di kafka usando la maratona in minimesos?

Ho provato a cercare i file/var/log nei container marathon e mesos-master che potrebbero mostrare perché questo sta accadendo. Inizialmente pensavo che fosse dovuto al fatto che l'immagine non era stata tirata, quindi ho aggiunto "forcePullImage": true alla configurazione dell'app JSON ma è ancora in attesa. Ho anche cambiato il networking da HOST a BRIDGE partendo dal presupposto che questo è coerente con gli avvertimenti minimi di http://minimesos.readthedocs.org/en/latest/.

Negli mesos registro Vedo:
I0106 20:07:15.259790 15 master.cpp:4967] Sending 1 offers to framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000 (marathon) at [email protected]:39111
I0106 20:07:15.266100 9 master.cpp:3300] Processing DECLINE call for offers: [ 5e1508a8-0024-4626-9e0e-5c063f3c78a9-O77 ] for framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000 (marathon) at [email protected]:39111
I0106 20:07:15.266633 9 hierarchical.hpp:1103] Recovered ports(*):[33000-34000]; cpus(*):1; mem(*):1001; disk(*):13483 (total: ports(*):[33000-34000]; cpus(*):1; mem(*):1001; disk(*):13483, allocated:) on slave 5e1508a8-0024-4626-9e0e-5c063f3c78a9-S0 from framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000
I0106 20:07:15.266770 9 hierarchical.hpp:1140] Framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000 filtered slave 5e1508a8-0024-4626-9e0e-5c063f3c78a9-S0 for 2mins
I0106 20:07:16.261010 11 hierarchical.hpp:1521] Filtered offer with ports(*):[33000-34000]; cpus(*):1; mem(*):1001; disk(*):13483 on slave 5e1508a8-0024-4626-9e0e-5c063f3c78a9-S0 for framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000
I0106 20:07:16.261245 11 hierarchical.hpp:1326] No resources available to allocate!
I0106 20:07:16.261335 11 hierarchical.hpp:1421] No inverse offers to send out!
ma non sono sicuro se questo è rilevante dal momento che non si correla alle impostazioni delle risorse nella configurazione dell'app Kafka. La GUI mostra che non sono state create attività.

Ho dieci attività di finestra mobile mesosphere/inky che corrono a fianco della tentata implementazione di Kafka. Questo potrebbe essere un problema di configurazione specifico per l'immagine del docker di Kafka. Non conosco il modo migliore per eseguirne il debug. Forse un caso di aumentare i livelli di log in un file di configurazione. Potrebbe essere una variabile d'ambiente o un'impostazione di rete. Ci sto scavando e aggiornerò i miei progressi, ma ogni suggerimento sarebbe apprezzato.

grazie!

+0

forse dovrei aggiungere che il repository Docker utilizzato per l'immagine di mesos-kafka è pubblico. L'immagine è stata creata e inviata a DockerHub in base alle istruzioni su https://github.com/mesos/kafka/tree/master/src/docker#running-image-in-marathon. –

+0

c'è anche una riga di comando docker per eseguire kafka-mesos secondo le istruzioni: 'finestra mobile run -it -p 7000: 7000 --add-host = master: 192.168.99.100 batwicket/kafka-mesos ./kafka-mesos. sh scheduler --master = master: 5050 --zk = master: 2181 --api = http: // : 7000 --storage = zk:/kafka-mesos' ma ottieni un errore: ' 2016-01-06 20: 40: 33,448 [main-SendThread (master: 2181)] WARN org.apache.zookeeper.ClientCnxn - Sessione 0x0 per il server null, errore imprevisto, chiusura della connessione socket e tentativo di riconnessione' Credo che il guardiano dello zoo la configurazione è diversa per i minimesos. –

+0

Guardando il logos del mesos sul master e il filtro per 'marathon' vedo:' Elaborazione del call di REVIVE per il framework 7e93533d-9b6a-46f9-ab08-1e771cb7327b-0000 (maratona) allo scheduler-2cb48b67-ccde-4f6d-9360-3a7c01541bab @ 172.17.0.6: 50597 Invio di 1 offerte al framework 7e93533d-9b6a-46f9-ab08-1e771cb7327b-0000 (maratona) a [email protected]: 50597 Elaborazione dell'opuscolo DECLINE per le offerte: [7e93533d -9b6a-46f9-ab08-1e771cb7327b-O9] per framework 7e93533d-9b6a-46f9-ab08-1e771cb7327b-0000 (maratona) a [email protected]: 50597'. –

risposta

1

Grazie per aver provato questo! Sto esaminando questo e si può seguire i progressi su questo problema a https://github.com/ContainerSolutions/minimesos/issues/188 e https://github.com/mesos/kafka/issues/172

+0

Sarebbe fantastico se potessi aggiornare questa risposta in futuro, quando il problema sarà completato. Solo per il beneficio delle persone che trovano questa domanda su SO :) – N3dst4

+0

lo farà .. Penso che sia solo una questione di quando hanno il tempo di implementare la funzione o di trovare/suggerire come impostare correttamente LIBPROCESS_IP. Il progetto minimesos è essenzialmente una shell sulla parte superiore della finestra mobile per avviare/arrestare i contenitori master/slave/marathon/zookeeper in un batch. Puoi fare qualcosa di simile con https://medium.com/@gargar454/deploy-a-mesos-cluster-with-7-commands-using-docker-57951e020586#.vkh1n6hym se bloccato. –

0

FYI Ho ottenuto Mesos Kafka installato su minimesos tramite uno script di shell quickstart. Vedi questo PR su Mesos Kafka https://github.com/mesos/kafka/pull/183

Non utilizza ancora Marathon e il comando di installazione minimesos. Questo è il prossimo passo.

+0

grazie per l'aggiornamento, Frank. Sono stato piuttosto impegnato su altri argomenti, ma tornerò su di esso. –

Problemi correlati