Come leggere file xml di grandi dimensioni senza caricarlo in memoria e utilizzando XElement

Question

Desidero leggere un file xml di grandi dimensioni (100 + M). A causa delle sue dimensioni, non voglio caricarlo in memoria usando XElement. Sto usando query linq-xml per analizzarlo e leggerlo.

Qual è il modo migliore per farlo? Qualche esempio sulla combinazione di XPath o XmlReader con linq-xml/XElement?

prega di aiuto. Grazie.

Answer 1

Sì, è possibile combinare XmlReader con method XNode.ReadFrom, vedere l'esempio nella documentazione che utilizza C# per elaborare in modo selettivo i nodi trovati da XmlReader come XElement.

Answer 2

Ricorda che dovrai leggere il file in modo sequenziale e fare riferimento ai fratelli o discendenti sarà nel migliore dei casi lento e impossibile nel peggiore dei casi. Altrimenti @MartinHonnn ha la chiave.

Answer 3

Il codice di esempio nella documentazione MSDN per il metodo XNode.ReadFrom è la seguente:

class Program 
{ 
    static IEnumerable<XElement> StreamRootChildDoc(string uri) 
    { 
     using (XmlReader reader = XmlReader.Create(uri)) 
     { 
      reader.MoveToContent(); 
      // Parse the file and display each of the nodes. 
      while (reader.Read()) 
      { 
       switch (reader.NodeType) 
       { 
        case XmlNodeType.Element: 
         if (reader.Name == "Child") 
         { 
          XElement el = XElement.ReadFrom(reader) as XElement; 
          if (el != null) 
           yield return el; 
         } 
         break; 
       } 
      } 
     } 
    } 

    static void Main(string[] args) 
    { 
     IEnumerable<string> grandChildData = 
      from el in StreamRootChildDoc("Source.xml") 
      where (int)el.Attribute("Key") > 1 
      select (string)el.Element("GrandChild"); 

     foreach (string str in grandChildData) 
      Console.WriteLine(str); 
    } 
} 

Ma ho trovato che il metodo StreamRootChildDoc nell'esempio deve essere modificato come segue:

static IEnumerable<XElement> StreamRootChildDoc(string uri) 
    { 
     using (XmlReader reader = XmlReader.Create(uri)) 
     { 
      reader.MoveToContent(); 
      // Parse the file and display each of the nodes. 
      while (!reader.EOF) 
      { 
       if (reader.NodeType == XmlNodeType.Element && reader.Name == "Child") 
       { 
        XElement el = XElement.ReadFrom(reader) as XElement; 
        if (el != null) 
         yield return el; 
       } 
       else 
       { 
        reader.Read(); 
       } 
      } 
     } 
    }