Come si esegue distcp crittografato da hdfs a s3?

Question

Mi piace copiare i dati dal nostro cluster hadoop (su premise) a s3. Posso farlo in chiaro. Posso anche eseguire s3cmd put con la crittografia lato client. Come faccio a distinguere con la crittografia lato client?

Answer 1

Le versioni recenti di Hadoop devono eseguire il trasferimento utilizzando la crittografia lato client.

Per essere sicuri e non cadere vittima di specifiche della configurazione, vorrei semplicemente garantire un trasferimento sicuro inserendo una politica del bucket come quella in basso, impedendo il trasferimento non sicuro.

{ 
    "Statement":[ 
     { 
      "Action": "s3:*", 
      "Effect":"Deny", 
      "Principal": "*", 
      "Resource":"arn:aws:s3:::bucketname/*", 
      "Condition":{ 
       "Bool": 
       { "aws:SecureTransport": false } 
      } 
     } 
    ] 
}