Elasticsearch fallisce in modo silenzioso se il documento ha una mancata corrispondenza di mappatura per un campo

Question

Mi trovo di fronte a un problema strano con Elasticsearch. La mia mappatura specifica che un certo campo è di tipo long. Ora accidentalmente stavo cercando di indicizzare alcuni documenti che avevano il tipo string per quel campo invece di long. Non ricevevo errori da Elasticsearch, ma i documenti non sono mai stati indicizzati. Quando ho risolto il problema, i documenti sono stati indicizzati correttamente.

Esempio:

mio mappatura:

{ 
    "field1": { 
     "type": "long" 
    } 
} 

Quando invio questo documento non riesce in silenzio:

{ 
    "field1": "this is a string" 
} 

Quando invio questo funziona come previsto:

{ 
    "field1": 12345 
} 

C'è un modo per rilevare questo tipo di errori?

Answer 1

Se si imposta ignore_malformed stringa su false. Non indicizza il documento se è malformato ma genera un'eccezione. Almeno in elasticsearch 1.6.0.

Esempio:

put test 

put test/test/_mapping 
{ 
    "properties" : { 
     "title" : {"type" : "string"}, 
     "data" : {"type": "long" ,"ignore_malformed":false} 

    } 
} 

put test/test/1 
{ 
    "data" : "1", 
    "title" : "valid coerce string to number" 
} 

put test/test/2 
{ 
    "data" : "hello", 
    "title" : "invalid number" 
} 

#Failed Response 
{ 
    "error": "MapperParsingException[failed to parse [data]]; nested: NumberFormatException[For input string: \"hello\"]; ", 
    "status": 400 
} 

Query with Get fails 

get test/test/2 


{ 
    "_index": "test", 
    "_type": "test", 
    "_id": "2", 
    "found": false 
} 

Answer 2

Ho il sospetto che la mappatura è simile a questo:

{ 
    "long_field": { 
     "type": "long" 
    } 
} 

Se questo è il caso, è possibile impostare il flag coerce per false come è true by default e sarà sempre cercare di convertire stringhe in numeri e troncare frazioni per interi.

{ 
    "long_field": { 
     "type": "long", 
     "coerce": false 
    } 
} 

Se si esegue questa operazione, la prossima volta che si tenta di indicizzare un campo lungo come una stringa, ES vi dirà questo:

MapperParsingException[failed to parse [long_field]]; nested: IllegalArgumentException[Long value passed as String];