Analisi SQL con Python

Question

Voglio creare un'interfaccia SQL su un archivio dati non relazionale. Archivio dati non relazionali, ma ha senso accedere ai dati in modo relazionale.

Sto cercando di utilizzare ANTLR per produrre un AST che rappresenta l'SQL come espressione di algebra relazionale. Quindi restituisci i dati valutando/camminando sull'albero.

Non ho mai implementato un parser in precedenza e vorrei quindi qualche consiglio su come implementare al meglio un parser e un analizzatore SQL.

• L'approccio sopra descritto suona giusto?
• Ci sono altri strumenti/librerie che dovrei esaminare? Come PLY o Pyparsing.
• Puntatori ad articoli, libri o codice sorgente che mi aiuteranno sono apprezzati.

Aggiornamento:

ho implementato un semplice parser SQL utilizzando pyparsing. Combinato con il codice Python che implementa le operazioni relazionali contro il mio archivio dati, questo era abbastanza semplice.

Come ho detto in uno dei commenti, il punto dell'esercizio era rendere i dati disponibili ai motori di segnalazione. Per fare questo, probabilmente dovrò implementare un driver ODBC. Questo probabilmente è un sacco di lavoro.

Answer 1

Ho esaminato la questione in modo approfondito. Python-sqlparse è un parser non validante che non è proprio quello di cui hai bisogno. Gli esempi in antlr hanno bisogno di molto lavoro per convertirsi in un bello ast in python. Le grammatiche standard sql sono here, ma sarebbe un lavoro a tempo pieno per convertirle da soli ed è probabile che sia necessario solo un sottoinsieme di esse senza join. Potresti provare a guardare allo gadfly (un database sql python), ma l'ho evitato poiché usavano il loro strumento di analisi.

Per il mio caso, ho solo bisogno essenzialmente di una clausola where. Ho provato booleneo (un parser di espressioni booleane) scritto con pyparsing ma ho finito per usare pyparsing da zero. Il primo collegamento nel post reddit di Mark Rushakoff fornisce un esempio SQL che lo utilizza. Whoosh anche un motore di ricerca full text lo usa ma non ho guardato la fonte per vedere come.

Pyparsing è molto facile da usare e puoi facilmente personalizzarlo per non essere esattamente uguale a sql (la maggior parte della sintassi non ti servirà). Non mi piaceva la piega in quanto utilizza un po 'di magia usando le convenzioni di denominazione.

In breve dare una prova di pyparsing, sarà probabilmente abbastanza potente da fare ciò che ti serve e la semplice integrazione con python (con facili callback e gestione degli errori) renderà l'esperienza abbastanza indolore.

Answer 2

This reddit post suggerisce Python-sqlparse come un'implementazione esistente, tra un paio di altri collegamenti.

Answer 3

Naturalmente, può essere meglio per sfruttare python-sqlparse on Google Code

UPDATE: Ora vedo che questo è stato suggerito - Sono d'accordo che questo è utile:

Answer 4

di TwoLaid Python SQL Parser funziona molto bene per i miei scopi . È scritto in C e deve essere compilato. È robustoAnalizza i singoli elementi di ciascuna clausola.

https://github.com/TwoLaid/python-sqlparser

sto usando per analizzare le query nomi delle colonne da utilizzare nelle intestazioni dei report. Ecco un esempio.

import sqlparser 

def get_query_columns(sql): 
    '''Return a list of column headers from given sqls select clause''' 

    columns = [] 

    parser = sqlparser.Parser() 

    # Parser does not like new lines 
    sql2 = sql.replace('\n', ' ') 

    # Check for syntax errors 
    if parser.check_syntax(sql2) != 0: 
     raise Exception('get_query_columns: SQL invalid.') 

    stmt = parser.get_statement(0) 
    root = stmt.get_root() 
    qcolumns = root.__dict__['resultColumnList'] 
    for qcolumn in qcolumns.list: 
     if qcolumn.aliasClause: 
     alias = qcolumn.aliasClause.get_text() 
     columns.append(alias) 
     else: 
     name = qcolumn.get_text() 
     name = name.split('.')[-1] # remove table alias 
     columns.append(name) 

    return columns 

sql = ''' 
SELECT 
    a.a, 
    replace(coalesce(a.b, 'x'), 'x', 'y') as jim, 
    a.bla as sally -- some comment 
FROM 
    table_a as a 
WHERE 
    c > 20 
''' 

print get_query_columns(sql) 

# output: ['a', 'jim', 'sally']