corrispondenza di file più vicina nella data di testo ASCII Files

Question

PROBLEMA:

Ho circa 20 file di testo ASCII, ciascuna una dimensione inferiore a 10^9 Bytes .Un altro file di testo ASCII avere (diciamo FOO) è dato . Il programma è quello di abbinare strategicamente il contenuto di FOO con i dati di 20 file e stampare il nome del file di matching di CLOSEST. Il contenuto di FOO potrebbe corrispondere solo parzialmente.

Poiché la dimensione del file è troppo grande, mi chiedo:

1.How da usare Information Retrieval (dato che non so molto di IR)

struttura dati

2.Which dovrei usare per memorizzare tali informazioni

3. Quale sarebbe il miglior Algoritmo per implementarlo.

So che sto chiedendo troppo, ma in realtà sono bloccato a questo problema e non sono in grado di scoprire come affrontare. Qualsiasi aiuto sarebbe apprezzato. Grazie!

Answer 1

Quindi presumo che un file contenga del testo. Quindi possiamo dire che ognuno dei file è una grande stringa. Ora realizza 20 vettori o array. Passa attraverso il file e metti ogni parola come un elemento nel vettore. Ora crea un vettore con una dimensione di 20 per memorizzare la corrispondenza di ciascun file Ora crea anche un vettore di parole per il file specificato. Ora crea un ciclo per correre attraverso questi vettori se in un dato indice trovi una corrispondenza con uno di questi 20 vettori e con i tuoi vettori dati. Aumentare il valore per il file corrispondente in corrispondenza della memorizzazione dei vettori. Alla fine, il valore più alto nel vettore di memorizzazione delle corrispondenze indicherà il file con la migliore corrispondenza.

Answer 2

Soluzione di Vampire Coder presuppone che i documenti siano un sacco di parole, il che significa che l'ordine delle parole non ha importanza. Ma per "corrispondere parzialmente", intendevi alcune delle corrispondenze, quindi non servirà a nulla.

È possibile dividere ciascun documento in sottoinsiemi sovrapposti e utilizzare l'hash di ciascun sottoinsieme. Quindi trasformi il tuo documento in un set di hash. Quindi è possibile confrontare gli hash. Questo è un modo in cui puoi fare ciò che vuoi fare.

Per ogni documento, una volta ristrette le potenziali corrispondenze, è possibile aumentare la risoluzione con cui si suddividono i documenti. Diciamo che inizialmente li hai divisi in due, ora puoi dividerli in 10. Questo per minimizzare il tempo di esecuzione.

Inoltre si dovrebbe usare algoritmo di hash sensibili località come: http://en.wikipedia.org/wiki/Nilsimsa_Hash

Answer 3

mia ipotesi a "più vicino", è il file con il più piccolo diff tra i 2 file.

vorrei cercare un algoritmo diff, o sottosequenza più lunga comune https://en.m.wikipedia.org/wiki/Longest_common_subsequence_problem