2012-02-07 17 views
13

Eventuali duplicati:
Looking for dataset to test FULLTEXT style searches onDove posso trovare una grande quantità di file di testo?

Sono di recente su di un progetto di Data Mining, per cui ho bisogno di 100 GB di testo normale per le prove ... io sono stanco di cercare la rete tutto il giorno. Qualcuno per favore aiutami fornendo i collegamenti dove posso scaricare tali file di testo. Grazie.

+1

Si sta tentando file di testo scaricare 100 GB. .... – vikky

+0

Sì ..! Più di 100 GB in realtà .. 1 TB è il nostro obiettivo ..! – Sri

+0

Ottieni l'intero file di gutenberg in un file 7zip: http://www.gutenberg-tar.com/ – JoeRocc

risposta

8

Che tipo di testo stai cercando? Conversazione, articoli, libri - o una buona diffusione di tutto?

Progetto Gutenberg potrebbe essere un buon punto di partenza: http://www.gutenberg.org/

Wikipedia permette anche di scaricare un archivio di articoli: http://en.wikipedia.org/wiki/Wikipedia:Database_download

+0

Sì ... qualsiasi tipo di file di testo è Ok ... sì ... conversazionale, articoli, documentari, romanzi, ecc ...! – Sri

+0

Il progetto Gutenberg sarebbe probabilmente la soluzione migliore, ci sono oltre 38.000 libri gratuiti. Molti di questi possono essere scaricati come file di testo. – Jordan

+0

C'è un modo migliore ... invece di scaricare ogni file di testo uno dopo l'altro .. posso ottenere un file zippato la cui dimensione è dell'ordine di 1 GB ?? – Sri

3

si dovrebbe usare http://dumps.wikimedia.org/

+1

puoi fornirmi un link specifico ..! Ho visto un file zippato di formato xml che corrisponde a circa 230 GB. Ecco il link .. http://en.wikipedia.org/wiki/Wikipedia:Database_download .. prima di scaricare vorrei sapere che cosa è esattamente presente al suo interno .. ps: stiamo cercando file di testo che abbiano qualche significato testo ... come conversazioni, documentari, ecc.! – Sri

+0

in realtà è un file di dump del file di dump di Wikimedia.e generalmente contiene l'articolo di Wikipedia in formato xml. Così puoi controllarlo. Penso che dovrebbe esserti utile. – vikky

Problemi correlati