Come utilizzare AWS S3 CLI per eseguire il dump dei file su stdout in BASH?

Question

Sto avviando uno script bash che eseguirà un percorso in S3 (come specificato nel comando ls) e riverserà il contenuto di tutti gli oggetti del file su stdout. In sostanza, mi piacerebbe replicare cat /path/to/files/* ad eccezione di S3, ad es. s3cat '/bucket/path/to/files/*'. La mia prima inclinazione a guardare le opzioni è di usare il comando cp in un file temporaneo e poi quello cat.

Qualcuno ha provato questo o simile o c'è già un comando che non trovo che lo fa?

Answer 1

eseguire il dump del contenuto di tutti gli oggetti file su stdout.

È possibile raggiungere questo obiettivo se si passa - per destinazione di aws s3 cp comando. Ad esempio, $ aws s3 cp s3://mybucket/stream.txt -.

Quello che stai cercando di fare è qualcosa di simile? ::

#!/bin/bash 

BUCKET=YOUR-BUCKET-NAME 
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'` 
do 
    echo $key 
    aws s3 cp s3://$BUCKET/$key - | md5sum 
done 

Answer 2

Ah ah!

https://pypi.python.org/pypi/s3cat/1.0.8

sto scrivendo più caratteri per soddisfare il requisito di lunghezza.

Answer 3

Se si desidera eseguire ciò utilizzando BASH, sarà necessario chiamare ad un'app esterna come la AWS Command-Line Interface (CLI). Non ha un equivalente CAT, quindi è necessario copiare il file localmente e quindi CAT.

In alternativa, è possibile utilizzare/scrivere un'app che chiama direttamente l'SDK AWS, disponibile per le lingue come Python, PHP, Java. Utilizzando l'SDK, i contenuti dei file possono essere recuperati in memoria e quindi inviati a stdout.

Answer 4

Se si utilizza una versione del AWS CLI che non supporta la copia di "-" è anche possibile utilizzare/dev/stdout:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout 

È inoltre può volere la --quiet bandiera per evitare che una riga di riepilogo come la seguente di essere aggiunto alla vostra uscita:

scaricare: S3: //mybucket/stream.txt per ../../dev/stdout

Answer 5

Si può provare a utilizzare s3streamcat, supporta anche i formati bzip, gzip e xz.

Installare con

sudo pip install s3streamcat

Usage:

s3streamcat s3://bucketname/dir/file_path 
s3streamcat s3://bucketname/dir/file_path | more 
s3streamcat s3://bucketname/dir/file_path | grep something