Come utilizzare botocore.response.StreamingBody come stdin PIPE

Question

Desidero convogliare file video di grandi dimensioni da AWS S3 in Popen's stdin, che è dal punto di vista di Python un 'oggetto simile a un file'. Questo codice viene eseguito come una funzione AWS Lambda, quindi questi file non si adatteranno alla memoria o al file system locale. Inoltre, non voglio copiare questi file enormi da nessuna parte, voglio solo trasmettere l'input, elaborare al volo e trasmettere l'output. Ho già elaborato i bit di output di elaborazione e streaming. Il problema è come ottenere un flusso di input come Popen pipe.

Aggiornamento: ho creato uno short program che richiama StreamingBody.read (amt = chunk_size) in base a un commento. Il programma legge parte del file di input (un video mp4) e si blocca, probabilmente perché il consumatore dei dati (ffmpeg) non viene effettivamente eseguito, o forse il suo buffer STDIN si riempie e tutto il pasticcio si ferma?

posso accedere a un file in un secchio S3:

import boto3 
s3 = boto3.resource('s3') 
response = s3.Object(bucket_name=bucket, key=key).get() 
body = response['Body'] 

body è un botocore.response.StreamingBody che assomiglia a questo:

{ u'Body': <botocore.response.StreamingBody object at 0x00000000042EDAC8>, u'AcceptRanges': 'bytes', u'ContentType': 'video/mp4', 'ResponseMetadata': { 'HTTPStatusCode': 200, 'HostId': 'aAUs3IdkXP6vPGwauv6/USEBUWfxxVeueNnQVAm4odTkPABKUx1EbZO/iLcrBWb+ZiyqmQln4XU=', 'RequestId': '6B306488F6DFEEE9' }, u'LastModified': datetime.datetime(2015, 3, 1, 1, 32, 58, tzinfo=tzutc()), u'ContentLength': 393476644, u'ETag': '"71079d637e9f14a152170efdf73df679"', u'Metadata': {'cb-modifiedtime': 'Sun, 01 Mar 2015 01:27:52 GMT'}}

Ho intenzione di utilizzare body qualcosa di simile:

from subprocess import Popen, PIPE 
Popen(cmd, stdin=PIPE, stdout=PIPE).communicate(input=body)[0] 

Ma ovviamente body deve essere convertito in un oggetto simile a un file. La domanda è come?

Answer 1

Per la lettura di dati binari da StreamingBody utilizzare StreamBody.read(). Ottieni una stringa binaria.