Voglio eseguire il codice Spark su EC2 rispetto ai dati memorizzati nel bucket S3. In base allo Spark EC2 documentation e allo Amazon S3 documentation, devo aggiungere il mio AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY al file core-site.xml. Tuttavia, quando shell nel mio nodo EC2 master, vedo diversi file core-site.xml.A quale nucleo-site.xml devo aggiungere le mie chiavi di accesso AWS?
$ find . -name core-site.xml
./mapreduce/conf/core-site.xml
./persistent-hdfs/share/hadoop/templates/conf/core-site.xml
./persistent-hdfs/src/packages/templates/conf/core-site.xml
./persistent-hdfs/src/contrib/test/core-site.xml
./persistent-hdfs/src/test/core-site.xml
./persistent-hdfs/src/c++/libhdfs/tests/conf/core-site.xml
./persistent-hdfs/conf/core-site.xml
./ephemeral-hdfs/share/hadoop/templates/conf/core-site.xml
./ephemeral-hdfs/src/packages/templates/conf/core-site.xml
./ephemeral-hdfs/src/contrib/test/core-site.xml
./ephemeral-hdfs/src/test/core-site.xml
./ephemeral-hdfs/src/c++/libhdfs/tests/conf/core-site.xml
./ephemeral-hdfs/conf/core-site.xml
./spark-ec2/templates/root/mapreduce/conf/core-site.xml
./spark-ec2/templates/root/persistent-hdfs/conf/core-site.xml
./spark-ec2/templates/root/ephemeral-hdfs/conf/core-site.xml
./spark-ec2/templates/root/spark/conf/core-site.xml
./spark/conf/core-site.xml
Dopo alcuni esperimenti, ho deciso che io possa accedere un URL S3N come s3n://mcneill-scratch/GR.txt Spark solo se aggiungo le mie credenziali sia MapReduce/conf/core-site.xml e scintilla/conf/core-site. xml.
Questo mi sembra sbagliato. Non è DRY e non riesco a trovare nulla nella documentazione che dice che devi aggiungere le tue credenziali a più file.
È la modifica di più file il modo corretto di impostare le credenziali s3 tramite core-site.xml? C'è documentazione da qualche parte che spiega questo?