Stavo cercando su google e leggendo la documentazione di Kafka, ma non sono riuscito a trovare il valore massimo di uno scostamento consumatore e se è presente un offset dopo il valore massimo. Capisco che l'offset sia un valore Int64, quindi il valore massimo è 0xFFFFFFFFFFFFFFFFFF. Se c'è un avvolgimento, come fa Kafka a gestire questa situazione?Valore massimo di offset consumatore di Kafka?
7
A
risposta
17
Secondo questa post, l'offset non viene azzerato:
Non eseguiamo il roll back offset in questo momento. Poiché l'offset è lungo, lo può durare a lungo. Se scrivi 1 TB al giorno, puoi andare avanti allo per circa 4 milioni di giorni.
Inoltre, è sempre possibile utilizzare più partizioni (ciascuna partizione ha il proprio offset ).
Così come disse Luciano, probabilmente non vale la pena preoccuparsi.
2
Sembra che questo non sia veramente "gestito". Ma, tenendo conto che l'offset è per partizione, a quanto pare questo è qualcosa che non dovremmo preoccupare :)
Si prega di vedere http://search-hadoop.com/m/uyzND1uRn8D1sSH322/rollover/v=threaded
Problemi correlati
- 1. Apache Kafka: stato consumatore
- 2. Kafka CommitFailedException eccezione consumatore
- 3. Chiarificazione operazioni di offset API Kafka Java
- 4. Kafka ha un consumatore in batch?
- 5. Offset di Kafka Connect. Preparatevi?
- 6. Come posso ottenere l'ULTIMO offset di un argomento di kafka?
- 7. Che cosa determina l'offset del consumatore Kafka?
- 8. Come far leggere al consumatore kafka l'ultimo offset consumato ma non dall'inizio
- 9. Kafka consumatore non riceve i messaggi fino riavviato
- 10. Come funziona il riequilibrio del consumatore in Kafka?
- 11. Numero massimo di ripetizioni della tupla su Storm Kafka Spout
- 12. Valore massimo di unsigned char
- 13. sessioni di consumo kafka timeout
- 14. argomento Kafka vs partizione
- 15. Trovare il valore massimo massimo di scrollTop su un div?
- 16. Strategia efficace per evitare i messaggi duplicati nel consumatore apache kafka
- 17. Apache Kafka Consumer group e Simple Consumer
- 18. Replica di messaggi da un argomento di Kafka a un altro argomento di kafka
- 19. jQuery .offset impostazione valore y
- 20. modo Modello di trovare valore massimo consentito
- 21. Qual è il valore massimo di NSInteger?
- 22. z-index valore massimo
- 23. Kafka 0.8.2.1 come leggere dall'argomento __consumer_offsets
- 24. kafka consumer 0.9 retrocompatibile?
- 25. È possibile ottenere uno specifico offset di messaggio in Kafka + SparkStreaming?
- 26. Come ottenere l'ultimo offset per una partizione per un argomento di kafka?
- 27. geom_bar dal valore minimo al valore massimo
- 28. Esiste un modo per mantenere l'ordine dei messaggi tra le partizioni di un argomento di kafka con un singolo consumatore?
- 29. Kafka: nessun messaggio visualizzato sul consumatore della console dopo il messaggio inviato da Java Producer
- 30. Vincolo SQL valore minimo/valore massimo?
Sì. Proprio come Y2K :) – Nick