Come faccio a caricare molti file al momento per creare file cloud con Python?

Question

Sto utilizzando la cloudfile module per caricare i file in file Rackspace cloud, utilizzando qualcosa di simile pseudocodice:

import cloudfiles 

username = '---' 
api_key = '---' 

conn = cloudfiles.get_connection(username, api_key) 
testcontainer = conn.create_container('test') 

for f in get_filenames(): 
    obj = testcontainer.create_object(f) 
    obj.load_from_filename(f) 

Il mio problema è che ho un sacco di piccoli file da caricare, e ci vuole troppo tempo in questo modo .

Sepolto nella documentazione, vedo che esiste una classe ConnectionPool, che presumibilmente può essere utilizzata per caricare file in parallelo.

Qualcuno potrebbe mostrare come posso caricare questo pezzo di codice più di un file alla volta?

Answer 1

La classe ConnectionPool è pensata per un'applicazione multithreading che occasionalmente deve inviare qualcosa al rackspace.

In questo modo è possibile riutilizzare la connessione ma non è necessario mantenere aperte 100 connessioni se si dispone di 100 thread.

Stai semplicemente cercando un uploader multithreading/multiprocessing. Ecco un esempio utilizzando la libreria multiprocessing:

import cloudfiles 
import multiprocessing 

USERNAME = '---' 
API_KEY = '---' 


def get_container(): 
    conn = cloudfiles.get_connection(USERNAME, API_KEY) 
    testcontainer = conn.create_container('test') 
    return testcontainer 

def uploader(filenames): 
    '''Worker process to upload the given files''' 
    container = get_container() 

    # Keep going till you reach STOP 
    for filename in iter(filenames.get, 'STOP'): 
     # Create the object and upload 
     obj = container.create_object(filename) 
     obj.load_from_filename(filename) 

def main(): 
    NUMBER_OF_PROCESSES = 16 

    # Add your filenames to this queue 
    filenames = multiprocessing.Queue() 

    # Start worker processes 
    for i in range(NUMBER_OF_PROCESSES): 
     multiprocessing.Process(target=uploader, args=(filenames,)).start() 

    # You can keep adding tasks until you add STOP 
    filenames.put('some filename') 

    # Stop all child processes 
    for i in range(NUMBER_OF_PROCESSES): 
     filenames.put('STOP') 

if __name__ == '__main__': 
    multiprocessing.freeze_support() 
    main()