C'è un modo per impostare manualmente un ID documento ElasticSearch quando si inserisce tramite AWS Kinesis Firehose?

Question

Possiedo un flusso AWS Kinesis Firehose impostato per inviare i dati a un cluster AWS ElasticSearch e posso inserire correttamente i documenti inviandoli al flusso Firehose, che li carica in ElasticSearch.

Ma vorrei essere in grado di specificare manualmente/impostare il valore id di un documento quando lo si invia a Firehose Stream. Sto usando con successo l'SDK PHP AWS per inviare dati a Firehose, non riesco a capire se c'è un modo per impostare manualmente il documento id.

$firehoseParams = [ 
    'DeliveryStreamName' => 'myStreamName', // REQUIRED 
    'Record' => [ // REQUIRED 
     'Data' => '{"json_encoded": "data", ...}', // REQUIRED 
    ], 
]; 
$firehoseResult = $this->_firehoseClient->putRecord($firehoseParams); 

Ho provato a installare id, _id e esDocumentId valori nei dati JSON, tutti senza alcun risultato.

Qualcuno ha qualche idea?

Answer 1

Abbiamo lo stesso identico problema e mi dispiace dire che al momento non esiste una soluzione valida. Il supporto Amazon ha confermato di aver ricevuto più richieste per questo e che stanno attualmente lavorando a una soluzione.