cambiare indici specifici stringa stesso pitone valore

Question

Calcio

lettura in una massiccia binario formato di file 1,3 GB circa e cambiare alcuni bit e quindi scrivere indietro in un file separato (non può modificare file originale).

Metodo

Quando ho letto nel file binario che viene memorizzato in una stringa massiccia codificato in formato esadecimale che è immutabile da quando sto usando pitone.

Il mio algoritmo scorre l'intero file e memorizza in un elenco tutti gli indici della stringa che devono essere modificati. Il problema è che tutti gli indici nella stringa devono essere modificati allo stesso valore. Non posso farlo sul posto a causa della natura immutabile. Non riesco a convertirlo in una lista di caratteri perché questo fa esplodere i miei vincoli di memoria e richiede molto tempo. La cosa da fare è memorizzarla in una stringa separata, ma a causa della natura immutabile devo creare una tonnellata di oggetti stringa e continuare a concatenarli.

Ho usato alcune idee da https://waymoot.org/home/python_string/ tuttavia non mi dà una buona prestazione. Qualche idea, l'obiettivo è copiare esattamente una stringa super lunga esistente in un altro tranne per determinati segnaposti determinati dai valori nella lista dell'indice?

Answer 1

Quindi, per essere onesti, non dovresti leggere il tuo file in una stringa. Non dovresti scrivere in particolare niente ma i byte che effettivamente cambierai. Questo è solo uno spreco di risorse, dal momento che sembra che tu stia leggendo linearmente attraverso il file, annotando i punti in basso che devono essere modificati.

Su tutti i sistemi operativi con un certo livello di supporto mmap (ovvero Unix, tra cui Linux, OS X, * BSD e altri sistemi operativi come Windows), è possibile utilizzare il modulo Python's mmap per aprire il file in modalità lettura/scrittura , analizzalo e modificalo sul posto, senza la necessità di caricarlo completamente nella RAM e poi riscriverlo. Esempio stupido, conversione di tutti i byte con 12 valori in base alla posizione:

Nota: questo codice è mio e non è concesso al MIT. È destinato agli scopi di miglioramento del testo e quindi coperto da CC-by-SA. Grazie SE per aver reso necessaria questa stupida affermazione.

import mmap 
with open("infilename", "r") as in_f: 
    in_view = mmap.mmap(in_f.fileno(), 0) ##length = 0: complete file mapping 
    length = in_view.size() 
    with open("outfilename", "w") as out_f 
    out_view = mmap.mmap(out_f.fileno(), length) 
    for i in range(length): 
     if in_view[i] == 12: 
     out_view[i] = in_view[i] + i % 10 
     else: 
     out_view[i] = in_view[i] 

Answer 2

Che dire di affettare la stringa, modificare ogni slice, scriverlo sul disco prima di passare alla slice successiva? Troppo intensivo per il disco?