Come caricare i dati in tabelle di database esistenti, usando sqlalchemy?

Question

Ho i miei dati caricati da file excel ed organizzati per quanto pitone dict dove ogni chiave è il nome della tabella del database e il suo valore è definito come la lista dei dizionari (le righe)

system_data = {table_name1:[{'col_1':val1, 'col2': val1...}, 
          {'col_1':val2, 'col2': val2..}..],  
       table_name2:[{},{}..],[{},{}..]..} 

Questi dati devono essere caricati in esistenti database durante il prelievo di chiavi table_names e valori da system_data.

Inoltre, utilizzo la lista order_table che ho creato in ordine specifico per evitare problemi con FK durante il caricamento dei dati.

Ecco il codice (una delle versioni 1000 che ho provato):

from sqlalchemy import create_engine 
from sqlalchemy.sql import insert 

def alchemy_load(): 
    system_data = load_current_system_data() 
    engine = create_engine('mysql+pymysql://username:password@localhost/my_db') 
    conn = engine.connect() 
    for table_name in ordered_tables: 
     conn.execute(insert(table_name, system_data[table_name])) 
    print("System's Data successfully loaded into Database!") 

Questa funzione produrrà un errore seguente:

"TypeError: 'method' object is not iterable" 

ho sprecato quasi tutto il giorno su questo roba (((

Tutti gli esempi in linea descrivono la situazione in cui un utente utilizza MetaData e crea le proprie tabelle ... Non c'è nulla su come aggiungere effettivamente dati a tabelle esistenti.

C'è una soluzione al mio problema usando la libreria "dataset".

Il codice:

import dataset 

def current_data(): 
    db = dataset.connect(url='mysql+pymysql://user:pass@localhost/my_db') 
    system_data = load_current_system_data() 

    for table_name in ordered_tables: 
     db[table_name].insert_many(system_data[table_name]) 
    print("System's Data successfully loaded into Database!") 

MA, non ho idea di come implementare questo codice utilizzando sqlalchemy ...

Qualsiasi aiuto sarà apprezzato.

Answer 1

Una possibile soluzione usando SQLAlchemymetadata sarebbe andata così:

In [7]: 

from sqlalchemy.schema import MetaData 
meta = MetaData() 
meta.reflect(bind=engine) 

In [20]: 

for t in meta.tables: 
    for x in engine.execute(meta.tables[t].select()): 
     print x 
(1, u'one') 
(2, u'two') 
(1, 1, 1) 
(2, 1, 2) 
(3, 2, 0) 
(4, 2, 4) 

(. Io uso selezionare invece di inserimento e applicarlo a un database stupido quello che ho per le prove)

spero che aiuta.

MODIFICA: Dopo i commenti, aggiungo qualche chiarimento.

In MetaData(), tables è un dizionario delle tabelle nello schema. Il dizionario va sotto il nome della tabella, ed è in realtà molto simile al dizionario nel tuo codice. Si potrebbe iterare i metadati come questo,

for table_name, table in meta.tables.items(): 
    for x in engine.execute(table.select()): 
     print x 

o, cercando di adattarlo nel codice, si può solo fare qualcosa di simile,

for table_name in ordered_tables: 
    conn.execute(meta.tables[table_name].insert_many(system_data[table_name])) 

Answer 2

Quindi, ecco il codice finale (molte grazie a Irnzcig per l'orientamento e per me stesso per una rilettura approfondita dei documenti ufficiali SA^_ ^).

from sqlalchemy import create_engine, MetaData 
# from myplace import load_current_system_data() and other relevant functions 

def alchemy_current(): 
    system_data = load_current_system_data() 
    engine = create_engine('mysql+pymysql://user:password@localhost/your_db_name') 
    meta = MetaData() 
    meta.reflect(bind=engine) 
    conn = engine.connect() 
    for table_name in ordered_tables: 
     conn.execute(meta.tables[table_name].insert().values(system_data[table_name])) 
    conn.close() 
    # engine.dispose() 

    print("System's Data successfully loaded into Database!") 

Tutto questo dovrebbe funzionare, partendo dal presupposto che uno ha:

1. Existing mysql database. 
    2. An organized data as I've described prior in this question. 
    3. An ordered `table_name_list` in order to keep referential integrity and avoid FK problems. 

Nel caso qualcuno hanno una "consigli di miglioramento", sarò contento di sentire.

Ivan.