Ciclo infinito durante lo streaming di un file .gz da S3 utilizzando boto

Question

Sto tentando di eseguire lo streaming di un file .gz da S3 utilizzando boto e iterato sulle righe del file di testo non compresso. Misteriosamente, il ciclo non termina mai; quando l'intero file è stato letto, l'iterazione si riavvia all'inizio del file.

Diciamo che ho creare e caricare un file di input come la seguente:

> echo '{"key": "value"}' > foo.json 
> gzip -9 foo.json 
> aws s3 cp foo.json.gz s3://my-bucket/my-location/ 

e corro il seguente script Python:

import boto 
import gzip 

connection = boto.connect_s3() 
bucket = connection.get_bucket('my-bucket') 
key = bucket.get_key('my-location/foo.json.gz') 
gz_file = gzip.GzipFile(fileobj=key, mode='rb') 
for line in gz_file: 
    print(line) 

Il risultato è:

b'{"key": "value"}\n' 
b'{"key": "value"}\n' 
b'{"key": "value"}\n' 
...forever... 

Perché sta succedendo? Penso che ci debba essere qualcosa di molto essenziale che mi manca.

Answer 1

Ah, boto. Il problema è che il metodo di lettura ridistribuisce la chiave se la chiami dopo che la chiave è stata completamente letta una volta (confronta i metodi read e next per vedere la differenza).

Questo non è il modo più pulito per farlo, ma risolve il problema:

import boto 
import gzip 

class ReadOnce(object): 
    def __init__(self, k): 
     self.key = k 
     self.has_read_once = False 

    def read(self, size=0): 
     if self.has_read_once: 
      return b'' 
     data = self.key.read(size) 
     if not data: 
      self.has_read_once = True 
     return data 

connection = boto.connect_s3() 
bucket = connection.get_bucket('my-bucket') 
key = ReadOnce(bucket.get_key('my-location/foo.json.gz')) 
gz_file = gzip.GzipFile(fileobj=key, mode='rb') 
for line in gz_file: 
    print(line) 

Answer 2

Grazie zweiterlinde per la splendida intuizione e excellent answer provided.

ero alla ricerca di una soluzione per leggere un oggetto S3 compressa direttamente in un Pandas dataframe, e usando il suo involucro, può essere espresso in due linee:

with gzip.GzipFile(fileobj=ReadOnce(bucket.get_key('my/obj.tsv.gz')), mode='rb') as f: 
    df = pd.read_csv(f, sep='\t')