Gestione dei campi contenenti doppie virgolette senza escape con TextFieldParser

Question

Sto tentando di importare un file CSV utilizzando TextFieldParser. Un particolare file CSV mi sta causando problemi a causa della sua formattazione non standard. Il CSV in questione ha i suoi campi racchiusi tra virgolette. Il problema si presenta quando c'è un ulteriore set di virgolette doppie senza escape in un particolare campo.

Ecco un caso di test troppo semplificato che evidenzia il problema. I file CSV effettivi con cui ho a che fare non sono tutti formattati allo stesso modo e hanno dozzine di campi, ognuno dei quali può contenere questi problemi di formattazione probabilmente complicati.

TextReader reader = new StringReader("\"Row\",\"Test String\"\n" + 
    "\"1\",\"This is a test string. It is parsed correctly.\"\n" + 
    "\"2\",\"This is a test string with a comma, which is parsed correctly\"\n" + 
    "\"3\",\"This is a test string with double \"\"double quotes\"\". It is parsed correctly\"\n" + 
    "\"4\",\"This is a test string with 'single quotes'. It is parsed correctly\"\n" + 
    "5,This is a test string with fields that aren't enclosed in double quotes. It is parsed correctly.\n" + 
    "\"6\",\"This is a test string with single \"double quotes\". It can't be parsed.\""); 

using (TextFieldParser parser = new TextFieldParser(reader)) 
{ 
    parser.Delimiters = new[] { "," }; 
    while (!parser.EndOfData) 
    { 
     string[] fields= parser.ReadFields(); 
     Console.WriteLine("This line was parsed as:\n{0},{1}", 
      fields[0], fields[1]); 
    } 
} 

È comunque necessario analizzare correttamente un CSV con questo tipo di formattazione utilizzando TextFieldParser?

Answer 1

Sono d'accordo con il consiglio di Hans passant che non è vostra responsabilità di analizzare i dati malformati. Tuttavia, in accordo con lo Robustness Principle, qualcuno di fronte a questa situazione potrebbe tentare di gestire tipi specifici di dati non validi. Il codice che ho scritto di seguito funziona sul set di dati specificato nella domanda. Fondamentalmente rileva l'errore del parser sulla linea malformata, determina se è racchiuso in doppia citazione in base al primo carattere e quindi divide/rimuove manualmente tutte le virgolette di wrapping.

using (TextFieldParser parser = new TextFieldParser(reader)) 
{ 
    parser.Delimiters = new[] { "," }; 

    while (!parser.EndOfData) 
    { 
     string[] fields = null; 
     try 
     { 
      fields = parser.ReadFields(); 
     } 
     catch (MalformedLineException ex) 
     { 
      if (parser.ErrorLine.StartsWith("\"")) 
      { 
       var line = parser.ErrorLine.Substring(1, parser.ErrorLine.Length - 2); 
       fields = line.Split(new string[] { "\",\"" }, StringSplitOptions.None); 
      } 
      else 
      { 
       throw; 
      } 
     } 
     Console.WriteLine("This line was parsed as:\n{0},{1}", fields[0], fields[1]); 
    } 
} 

Sono sicuro che è possibile inventare un esempio patologica in cui questo non riesce (ad esempio le virgole adiacenti virgolette all'interno di un valore di campo), ma tali esempi sarebbe probabilmente di analizzarlo in senso stretto, mentre la la linea di problema data nella domanda è decifrabile nonostante sia malformata.

Answer 2

Può essere più facile di fare proprio questo manualmente, e sarebbe sicuramente vi darà un maggiore controllo:

Edit: Per il vostro esempio chiarito, io ancora suggerisco di movimentazione manuale il parsing:

using System.IO; 

string[] csvFile = File.ReadAllLines(pathToCsv); 
foreach (string line in csvFile) 
{ 
    // get the first comma in the line 
    // everything before this index is the row number 
    // everything after is the row value 
    int firstCommaIndex = line.IndexOf(','); 

    //Note: SubString used here is (startIndex, length) 
    string row = line.Substring(0, firstCommaIndex+1); 
    string rowValue = line.Substring(firstCommaIndex+1).Trim(); 

    Console.WriteLine("This line was parsed as:\n{0},{1}", 
      row, rowValue); 
} 

per un CSV generica che non consente le virgole nei campi:

using System.IO; 

string[] csvFile = File.ReadAllLines(pathToCsv); 
foreach (string line in csvFile) 
{ 
    string[] fields = line.Split(','); 
    Console.WriteLine("This line was parsed as:\n{0},{1}", 
      fields[0], fields[1]); 
} 

Answer 3

Si prega di impostare HasFieldsEnclosed InQuotes = true sull'oggetto TextFieldParser prima di iniziare a leggere il file.

Answer 4

di lavoro Soluzione:

using (TextFieldParser csvReader = new TextFieldParser(csv_file_path)) 
      { 
       csvReader.SetDelimiters(new string[] { "," }); 
       csvReader.HasFieldsEnclosedInQuotes = false; 
       string[] colFields = csvReader.ReadFields(); 

       while (!csvReader.EndOfData) 
       { 
        string[] fieldData = csvReader.ReadFields(); 
        for (i = 0; i < fieldData.Length; i++) 
        { 
         if (fieldData[i] == "") 
         { 
          fieldData[i] = null; 
         } 
         else 
         { 
          if (fieldData[i][0] == '"' && fieldData[i][fieldData[i].Length - 1] == '"') 
          { 
           fieldData[i] = fieldData[i].Substring(1, fieldData[i].Length - 2); 
          } 
         } 
        } 
        csvData.Rows.Add(fieldData); 
        } 
      } 

Answer 5

Se non si imposta HasFieldsEnclosedInQuotes = true l'elenco risultante di colonne sarà maggiore se i dati contengono (,) virgola. "Col1", "Col2", "Col3" "Test1", 100, "Test1, Test2" "Test2", 200, "Test22" Questo file deve avere 3 colonne ma durante l'analisi si otterrà 4 campi che è sbagliato.