Problema di prestazioni della mappa

Question

Se qualcuno mi può aiutare, sono completamente fuori dalle idee.

così ho questo codice (si tratta di una versione molto semplificata del mio codice):

while(readNewFile()) 
{ 
    while(getNewStructFromFile()) 
    { 
     unsigned long starttime = GetTickCount(); 
     customerData.fillFromBinaryData(structPointer); 
     cout<< GetTickCount() - starttime; 

     aMap.insert(pair<int,string>(customerData.phoneNumber,"")); 
    } 

    // Ouptut all data 

    aMap.clear(); 
} 

In sostanza, si legge solo i record da un file binario. customerData ottiene i dati e riempie le sue variabili con i dati da esso. Quindi, inserisce il numero di telefono in una mappa (per il debug sto solo inserendo una stringa int e una stringa vuota).

Il problema è che dopo un po 'questo programma diventa molto lento; se commento la mappa, il programma viene eseguito correttamente senza problemi con un tempo di esecuzione costante per file. Se utilizzo l'inserimento della mappa, dopo alcuni file, il programma torna molto lentamente (da 8 a 10 secondi a 1 minuto o più). Ma eseguendo il debug con GetTickCount(), mi viene mostrato che il ritardo si verifica in customerData.fillFromBinaryData (al primo 0 ms, quindi salta a 30-40 ms (per compilare le variabili di classe)). Ma se commento questa semplice inserzione della mappa, non c'è alcun ritardo nel riempire l'oggetto con i dati! Dov'è la logica in questo? Qualcuno potrebbe darmi un suggerimento, sono fuori di idee. Scusa se questa domanda non è veramente buona.

Ho provato diversi tipi di mappe, ma ancora una volta, mi mostra che il ritardo non è nell'inserimento della mappa.

Modifica/Possibile soluzione:

Nel caso in cui qualcuno ha problemi simili, ho installato VS2015, e il ritardo utilizzando le mappe è andato! Non sono sicuro di come sia correlato, ma Hurra!

Answer 1

Potrebbe succedere che se una mappa diventa molto grande, si ha un problema con la gestione della memoria e fillFromBinaryData richiede un po 'di allocazione di memoria che ora è più lenta. A causa di una frammentazione della memoria, forse?

Vorrei suggerire di provare alcune librerie per questo scopo specifico. Tuttavia, ho dimenticato come vengono chiamati. So solo che ce n'è uno disponibile da Google, "jemalloc" o qualcosa di simile.

Il punto principale di un pool di memoria personalizzato è che è possibile allocare la memoria una volta come un grande gruppo e utilizzarla solo in un ambito della propria app con allocatori personalizzati.

Un'altra cosa è forse quella di smettere di usare una mappa e usare invece la mappa non ordinata. Modifica la complessità temporale per l'inserimento da O (logn) a O (1) con una funzione di hash perfetta, poiché per te è un numero di telefono.

• Si chiama jemalloc e non è di Google. :)