Ho file binari non più grandi di 20 Mb di dimensione che hanno una sezione di intestazione e quindi una sezione di dati contenente sequenze di uchar. Ho Numpy, SciPy, ecc. E ogni libreria ha diversi modi di caricare i dati. Qualche suggerimento per i metodi più efficaci che dovrei usare?Il modo più efficiente per caricare file binari formattati in Python
5
A
risposta
4
struct dovrebbe funzionare per la sezione di intestazione, mentre numpy memmap sarebbe efficiente per la sezione di dati se si intende manipolarlo comunque in numpy. Non c'è bisogno di sottolineare l'essere incoerente qui. Entrambi i metodi sono compatibili, basta usare lo strumento giusto per ogni lavoro.
8
Utilizzare il modulo struct o eventualmente un modulo personalizzato scritto in C se le prestazioni sono fondamentali.
0
Ho trovato che array.fromfile
è il metodo più veloce per dati omogenei.
1
bdec sembra promettente.
Problemi correlati
- 1. Qual è il modo più efficiente per caricare il file JPG memorizzato in ImageView?
- 2. Modo efficiente per creare array di Numpy da file binari
- 3. Il modo più efficiente per creare un indice in Postgres
- 4. Il modo più efficiente per creare miniature?
- 5. Node.js - modo più efficiente per creare il file chiaro
- 6. Come caricare file di piccole dimensioni in Amazon S3 in modo efficiente in Python
- 7. Il modo più efficiente per analizzare Xml
- 8. Come caricare file binari con ftplib in Python?
- 9. Il modo più efficiente per ottenere diversi hash in Redis?
- 10. Il modo migliore per caricare più file da un browser
- 11. Python: modo più efficiente per convertire la data a datetime
- 12. Eseguire in modo efficiente più sostituzioni di stringhe in Python
- 13. Il modo più efficiente per ripetere un vettore in Matlab
- 14. Il modo più efficiente per attivare una guida in C#
- 15. Il modo più efficiente per convertire java.lang.Long in primitive int
- 16. Il modo più efficiente per memorizzare l'indirizzo IP in MySQL
- 17. Il modo più efficiente per convertire InputStream in byte []?
- 18. Modo efficiente per scorrere l'elenco dei file
- 19. modo più efficiente per trovare & tar milioni di file
- 20. Il modo più efficiente per cercare in un file di grandi dimensioni
- 21. C++ Il modo più efficiente per archiviare, caricare e cercare un lessico
- 22. Modo Python efficiente per equazioni ricorsive
- 23. Il modo più efficiente di convertire un DataTable in CSV
- 24. Esiste una memoria efficiente e veloce per caricare file json di grandi dimensioni in python?
- 25. Qual è il modo più efficiente per trovare una delle varie sottostringhe in Python?
- 26. Qual è il modo più efficiente per cercare elenchi nidificati in python?
- 27. Haskell - Modo più efficiente per completare l'algoritmo?
- 28. Qual è il modo più efficiente per ordinare un NSSet?
- 29. Qual è il modo più efficiente per filtrare un DataFrame
- 30. Archiviazione efficiente di file binari in un repository git