Ricerca tramite elmah error log files (Forse in 1000)

Question

Abbiamo una cartella di log di elmah error in formato XML. Questi file saranno in milioni e ogni file potrebbe avere dimensioni fino a 50 kb. Dobbiamo essere in grado di cercare sui file (ad esempio: quali errori si sono verificati, quale sistema non è riuscito, ecc.). Abbiamo un sistema open source che indicizzerà i file e forse ci aiuterà a cercare tra i file usando le parole chiave? Ho guardato Lucene.net ma sembra che avrò il codice dell'applicazione. Si prega di avvisare.

Answer 1

Se è necessario disporre dei registri in una cartella in XML, è possibile utilizzare elmah-loganalyzer.

È inoltre possibile utilizzare Log Parser di Microsoft per eseguire "sql come" query sui file xml:

LogParser -i:XML "SELECT * FROM *.xml WHERE detail like '%something%'" 

EDIT:

Si potrebbe utilizzare una combinazione di nutch + SOLR o logstash + elasticsearch come soluzione di indicizzazione.

• http://wiki.apache.org/nutch/NutchTutorial
• http://lucene.apache.org/solr/tutorial.html

• http://blog.building-blocks.com/building-a-search-engine-with-nutch-and-solr-in-10-minutes

• http://www.logstash.net/

• http://www.elasticsearch.org/tutorials/using-elasticsearch-for-logs/
• http://www.javacodegeeks.com/2013/02/your-logs-are-your-data-logstash-elasticsearch.html

Answer 2

Siamo un paio di sviluppatori che fanno il sito web http://elmah.io. elmah.io indicizza tutti i tuoi errori (in ElasticSearch) e rende possibile fare ricerche funky, errori di gruppo, nascondere errori, errori di filtro del tempo e altro. Siamo attualmente in versione beta, ma riceverai un link al sito beta se ti iscrivi allo http://elmah.io.

Purtroppo elmah.io non importa i log degli errori esistenti. Apriremo l'implementazione del tipo ErrorLog ELMAH, che indicizza i tuoi errori nel tuo ElasticSearch (guarda https://github.com/elmahio per il progetto). Anche in questo caso il log degli errori non indicizza i log degli errori esistenti, ma è possibile implementare un parser che esegua i file XML e indicizzi tutto utilizzando il nostro log degli errori open source. Inoltre, è possibile importare gli errori direttamente su elmah.io tramite la nostra API, se non si desidera implementare una nuova interfaccia utente su ElasticSearch.