Aggiungo miliardi di righe all'indice di Lucene, ogni riga è quasi 6000 byte. C'è un limite al numero massimo di righe che possono essere aggiunte a Lucene Index? Quanto spazio occuperebbe miliardi di righe di 6000 byte su Lucene Index. C'è qualche limite per questa taglia?Quali sono i limiti spaziali dell'indice Lucene?
6
A
risposta
7
documentazione Vedere Lucene per il suo limitations, non può avere più di
- ~ 274 miliardi termini distinti,
- ~ 2,1 miliardi di documenti.
Per set di dati di questo tipo, è generalmente consigliabile utilizzare Lucene solo per l'indice invertito e memorizzare il contenuto effettivo dei documenti da qualche altra parte. È possibile aspettarsi che la dimensione dell'indice sia pari a circa il 30% delle dimensioni del corpus originale dei documenti (purché si tratti di documenti normali, i documenti generati dal calcolo generano un sacco di termini univoci genererebbero un indice molto più grande).
Problemi correlati
- 1. Quali sono i lati negativi dell'uso di Lucene?
- 2. Quali sono le migliori alternative a Lucene?
- 3. Quali sono i limiti pratici dei thread per CPU?
- 4. Archiviazione interna di Android: quali sono i limiti?
- 5. Quali sono i limiti di implementazione di MySQL Cluster NDB?
- 6. Quali sono i limiti tecnici di phoneGap/Cordova?
- 7. Quali sono i limiti di WiX e WiX Toolset?
- 8. Quali sono i limiti della distribuzione di file .pyc?
- 9. Quali sono i limiti della compilazione di dart in javascript?
- 10. Quali sono i limiti NSubstitute, specialmente rispetto a MOQ?
- 11. Quali sono i limiti della dimensione dell'immagine del feed Fb.ui?
- 12. Quali sono i limiti del ragionamento nell'aritmetica quantificata in SMT?
- 13. Quali sono i limiti delle funzioni multi curl di PHP?
- 14. Quali sono i limiti di inferenza di tipo?
- 15. Quali sono i limiti del nome dell'argomento di Apache Kafka?
- 16. Quali limiti ci sono sul numero di risorse Android?
- 17. Quali sono i limiti superiore e inferiore e i tipi di valori dei pixel in OpenCV?
- 18. Quali sono i limiti utili degli automi legati lineari rispetto alle macchine di Turing?
- 19. Quali sono i limiti pratici al numero di istanze FileSystemWatcher un server in grado di gestire?
- 20. Quali sono i limiti di un thread STA rispetto ai thread MTA?
- 21. quali sono i limiti di inverse_of in rails 3 con ActiveRecord
- 22. Quali sono i limiti o le definizioni dell'ambito dello sviluppo HTML5?
- 23. Quali sono i limiti di minimongo (Meteor)? cursor.toArray() non riesce lato client
- 24. Quali sono i limiti di meccanizzazione? e qual è la differenza (s) tra mechanize e watir
- 25. Quali sono alcuni framework consigliati per la manipolazione dei dati spaziali in C++?
- 26. Come rappresentare i dati spaziali in Cassandra
- 27. Struttura dati spaziali per i giochi
- 28. Verificare se sono stati raggiunti i limiti YQL?
- 29. Quali sono i migliori componenti di Boost?
- 30. Quali sono i vantaggi dell'uso di Elixir
questa sezione è scomparsa dai doc probabilmente non ci sono più limiti ai termini unici http://lucene.apache.org/core/6_5/core/org/apache/lucene/codecs/lucene62/package-summary.html – yura