Ho un documento XML, che è molto grande (circa 120m), e io non voglio caricarlo in memoria in una sola volta. Il mio scopo è verificare se questo file utilizza la codifica UTF-8 valida.decodificare un flusso di file utilizzando UTF-8
Tutte le idee per avere un rapido controllo senza leggere l'intero file nella memoria in forma di byte[]
?
Sto usando VSTS 2008 e C#.
Quando si utilizza XMLDocument
per caricare un documento XML che contiene le sequenze di byte non validi, non v'è un'eccezione, ma quando si legge tutti i contenuti in un array di byte e poi controllando contro UTF-8, non esiste alcuna eccezione, tutte le idee?
Ecco uno screenshot che mostra il contenuto del mio file XML, oppure è possibile scaricare una copia del file da here
EDIT 1:
class Program
{
public static byte[] RawReadingTest(string fileName)
{
byte[] buff = null;
try
{
FileStream fs = new FileStream(fileName, FileMode.Open, FileAccess.Read);
BinaryReader br = new BinaryReader(fs);
long numBytes = new FileInfo(fileName).Length;
buff = br.ReadBytes((int)numBytes);
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
return buff;
}
static void XMLTest()
{
try
{
XmlDocument xDoc = new XmlDocument();
xDoc.Load("c:\\abc.xml");
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
}
static void Main()
{
try
{
XMLTest();
Encoding ae = Encoding.GetEncoding("utf-8");
string filename = "c:\\abc.xml";
ae.GetString(RawReadingTest(filename));
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
return;
}
}
EDIT 2: Quando si utilizza new UTF8Encoding(true, true)
ci sarà un'eccezione, ma quando si utilizza new UTF8Encoding(false, true)
, non c'è nessun ex getta gettata. Sono confuso, perché dovrebbe essere il 2 ° parametro che controlla se viene lanciata un'eccezione (se ci sono sequenze di byte non valide), perché il 1 ° parametro è importante?
public static void TestTextReader2()
{
try
{
// Create an instance of StreamReader to read from a file.
// The using statement also closes the StreamReader.
using (StreamReader sr = new StreamReader(
"c:\\a.xml",
new UTF8Encoding(true, true)
))
{
int bufferSize = 10 * 1024 * 1024; //could be anything
char[] buffer = new char[bufferSize];
// Read from the file until the end of the file is reached.
int actualsize = sr.Read(buffer, 0, bufferSize);
while (actualsize > 0)
{
actualsize = sr.Read(buffer, 0, bufferSize);
}
}
}
catch (Exception e)
{
// Let the user know what went wrong.
Console.WriteLine("The file could not be read:");
Console.WriteLine(e.Message);
}
}
non è quasi qualsiasi sequenza di byte, valori anche casuali di byte, UTF8 valida? O ci sono alcune sequenze di valori di byte che non sono UTF8 validi? – ChrisW
Non tutti, ci sono alcune eccezioni, fare riferimento qui, http://en.wikipedia.org/wiki/UTF-8#Invalid_code_points – George2
@ChrisW: Assolutamente no; UTF-8 ha regole di codifica specifiche. –