2015-06-15 34 views
6

Ho bisogno di scaricare i file in modo ricorsivo da un bucket s3. Il bucket s3 consente l'accesso anonimo.Come configurare aws CLI per s3 cp con utente anonimo

Come elencare i file e scaricarli senza fornire AWS Access Key utilizzando un utente anonimo?

è il mio comandamento:

aws s3 cp s3://[email protected]/pavlo/text/tiny/rankings/uservisits uservisit --region us-east --recursive 

AWS Compains che:

Unable to locate credentials. You can configure credentials by running "aws configure"

risposta

3

probabilmente dovete fornire un chiavi di accesso e chiave segreta, anche se si sta facendo anonimo non vedere un'opzione per l'anonimo per l'AWS cli

un altro modo per farlo, per colpire l'endpoint http e prendere i file che modo.

Nel tuo caso: http://big-data-benchmark.s3.amazonaws.com

Otterrete e l'elenco XML tutte le chiavi nel secchio. È possibile estrarre le chiavi ed emettere richieste per ciascuna. Non è la cosa più veloce là fuori, ma farà il lavoro.

Ad esempio: http://big-data-benchmark.s3.amazonaws.com/pavlo/sequence-snappy/5nodes/crawl/000741_0

per ottenere i file arricciatura dovrebbe essere sufficiente. per analizzare il codice XML in base a ciò che ti piace, puoi scegliere il livello più basso di sed e il livello più alto di un linguaggio appropriato.

spero che questo aiuti.

+0

:) Alla fine, ho fatto esattamente questo. Ho usato wget per ottenere l'indice e scaricare i file. – Skarab

13

È possibile utilizzare l'opzione no-sign-request

aws s3 cp s3://[email protected]/pavlo/text/tiny/rankings/uservisits uservisit --region us-east --recursive --no-sign-request

Problemi correlati