Esegui SQL su file CSV tramite JDBC

Question

Devo applicare una query SQL a file CSV (file di testo separati da virgole). Il mio SQL è predefinito da un altro strumento e non è idoneo a cambiare. Può contenere selezioni e alias di tabella incorporati nella parte FROM.

Per il mio compito ho trovato due open-source (questo è un requisito di progetto) librerie che forniscono i driver JDBC:

1. CsvJdbc
2. XlSQL
3. JBoss Teiid
4. Creare un Apache Derby DB, carica tutti i CSV come tabelle ed esegue la query.

Questi sono i problemi che ho incontrato:

1. che non accetta la sintassi SQL (che utilizza seleziona interne e alias di tabella). Inoltre, non è stato mantenuto dal 2004.
2. non ho potuto farlo funzionare, in quanto ha come dipendenza un parser SAX che causa un'eccezione durante l'analisi di altri documenti. Allo stesso modo, nessun cambiamento dal 2004.
3. Non ho controllato se supporta la sintassi, ma sembra un sovraccarico. Ha bisogno di diverse entità definite (Virtual Databases, Bindings). Dalla mailing list mi hanno detto che l'ultima release supporta la creazione in runtime degli oggetti richiesti. Qualcuno lo ha usato per un compito così semplice (normalmente può connettersi a diversi tipi di dati, come CSV, XML o altri DBS e creare uno virtuale, unificato)?
4. Questo può anche essere fatto facilmente?

Dalle 4 cose che ho considerato/provato, solo 3 e 4 mi sembrano valide. Qualche consiglio su questi o su qualsiasi altro modo in cui posso interrogare i miei file CSV?

Acclamazioni

Answer 1

Se SQL è predefinito e non può essere cambiata la soluzione migliore è quella di caricare il file CSV in un database ed eseguire query contro di essa.

Apache Derby è un'opzione valida, quindi lo è MySQL, che ha anche un CSV storage engine o PostgreSQL.

Il vostro SQL utilizzare qualsiasi proprietarie funzioni/estensioni? Se è così, ciò potrebbe limitare le tue scelte.

Answer 2

direi db incorporato. Suggerirei Javadb (Derby incorporato nell'API Java) o H2 se non ti interessa estrarre la dipendenza extra.

Answer 3

vorrei caricare i dati nel HSQL (HypersonicSQL). Pure Java, SQL corretto, ben collaudato. Praticamente qualsiasi altra cosa ha un'impronta più grande.

Answer 4

C'è uno script Groovy, gcsvsql che consente di trattare i file CSV come tabelle di database, inclusi i join. Con gcsvsql si possono fare cose come:

gcsvsql "select * from people.csv in cui l'età> 40"

gcsvsql "selezionare people.name, i bambini.bambino da people.csv, children.csv dove people.name = children.name"

gcsvsql "selezionare avg (score) da people.csv in cui l'età < 40"

si possono trovare questo script, che si basa sul motore di database h2, al codice di Google qui:

http://code.google.com/p/gcsvsql/

Answer 5

Se si vogliono trattare i file CSV i database all'interno di un programma Java, si dovrebbe guarda il h2 database engine. Ha un bel supporto per leggere/scrivere file CSV e lavorare con i database in memoria. È un successore di hsql, più veloce e con funzionalità aggiuntive. Puoi leggere il supporto csv nel tutorial h2.

Answer 6

forse un po 'in ritardo, mi dispiace per quello.

Sto sviluppando lo csvjdbc per oltre un anno e da qualche settimana ho diritti di "amministratore" su quel progetto, quindi sono stato in grado di rilasciare la versione più recente che avevo prodotto. ha bisogno di tutto ciò di cui "noi" (noi: io e i miei colleghi attuali), e aggiungo le cose man mano che i bug vengono archiviati.

dare un'occhiata ora e decidere di nuovo. (la documentazione web ha ancora bisogno di revisione, per una migliore comprensione, controllare i casi di test, che sono molto estesi).

Answer 7

Lo so, si tratta di un caso molto vecchio, ma ...

CsvJdbc è una biblioteca fredda, ma ci sono alcuni problemi che utilizzano DbUtils mentre ResultsSets mappatura POJO. Una seconda cosa negativa è che non hanno un buon supporto per diversi tipi di dati.

Dopo aver giocato con CSVJdbc Userò uno stupido CsvParser per leggere i file e pomparli in un HsqlDB o qualcosa del genere.