come importare enormi .csv nel database sql?

Question

Voglio importare un enorme file .csv di circa 1 concerto nel database.

La mia applicazione è codificata in C# in Visual Studio 2010. È in esecuzione a livello locale e non è necessario utilizzare in rete.

Il mio tentativo di importare solo 25mb utilizzando gli script della casella degli strumenti compatta di sql causa l'arresto anomalo in Visual Studio.

Il mio tentativo di utilizzare stringbuilder causa un'eccezione di memoria insufficiente (utilizzo di circa 4 gig di memoria!) E quindi non riesce.

Il tentativo di importare questi file in Excel o Access e di convertirli in database non funziona.

Quali di questi database possono gestire meglio per risolvere il mio problema?

• SQL Express
• SQL Compact
• locale database di SQL Server

Inoltre, quale metodo devo usare per importare il più velocemente che posso e per caricare più velocemente in un datagridview?

Grazie per qualsiasi aiuto.

Answer 1

Sia SQL Express che SQL Server standard sono buoni candidati per l'archiviazione. E per quanto riguarda cosa usare per importare i dati, usa SSIS. Una volta creato il database sull'istanza SQL Express o SQL Server standard, fare clic con il tasto destro del mouse su quel database e sotto l'elemento del menu Tasks vedrai un'opzione per Import Data. Ti guiderà nella selezione di un'origine dati, nel tuo caso Excel, e poi nel importarlo nel database.

Questo script, al termine del processo, può essere salvato.

Answer 2

Se il file CSV non ha stringhe contenenti virgole, si può fare una diretta BULK INSERT da SQL (se lo fa, si dovrà cambiare il delimitatore a qualcosa come una barra (|) personaggio, prima. Questo è il modo più diretto per ottenere dati da un file flat nel database e non richiede alcun programma intermedio come SSIS o Excel

Lo uso spesso ed è il modo più rapido ed efficiente di ottenere dati in SQL dall'esterno. Il tuo comando sarà simile a

BULK INSERT MyDatabase.dbo.MyTable 
     FROM MyFileName 
      DATAFILETYPE='char', 
      FIELDTERMINATOR=',', 
      BATCHSIZE=10000 

T la strategia più comune è quella di caricare i dati in una tabella di lavoro, eseguire qualsiasi operazione di pulizia/conversione e quindi inserirla nella tabella di destinazione effettiva.

Answer 3

È possibile utilizzare l'oggetto SQLBulkImporter in C#. Funziona come un fascino.

Answer 4

Se si desidera ottenere ciò utilizzando C#, è necessario leggere il CSV riga per riga e inserirlo prima di passare a quello successivo.

Ho una situazione simile in cui devo leggere un "CSV" da 2 GB (scheda separata) e caricare in MSSQL. Ecco come l'ho installato.

using (FileStream fs = new FileStream(@"C:\file.csv", FileMode.Open, FileAccess.Read, FileShare.None)) 
using (StreamReader sr = new StreamReader(fs, Encoding.GetEncoding(1252))) 
{ 
    if (sr.ReadLine() == null) //Take this out if you don't have a header 
    { 
     throw new Exception("Empty file?!"); 
    } 

    while (sr.Peek() >= 0) 
    { 
      String s = sr.ReadLine(); 

      //SPLIT 

      //INSERT SQL 
    } 
}