Memorizzazione nella cache. Ottimizzazione della memoria e riutilizzo

Question

Attualmente sto lavorando su un'applicazione legacy molto grande che gestisce una grande quantità di dati stringa raccolti da varie fonti (IE, nomi, identificatori, codici comuni relativi al business, ecc.). Questi dati da soli possono richiedere fino a 200 meg di ram nel processo di applicazione.

Un mio collega ha menzionato una possibile strategia per ridurre l'impronta di memoria (dato che molte stringhe individuali sono duplicate tra i set di dati), sarebbe quella di "memorizzare" le stringhe ricorrenti in un dizionario e riutilizzarle Quando richiesto. Così, per esempio ...

public class StringCacher() 
{ 
    public readonly Dictionary<string, string> _stringCache; 

    public StringCacher() 
    { 
     _stringCache = new Dictionary<string, string>(); 
    } 

    public string AddOrReuse(string stringToCache) 
    { 
     if (_stringCache.ContainsKey(stringToCache) 
      _stringCache[stringToCache] = stringToCache; 

     return _stringCache[stringToCache]; 
    } 
} 

quindi di utilizzare questo caching ...

public IEnumerable<string> IncomingData() 
{ 
    var stringCache = new StringCacher(); 

    var dataList = new List<string>(); 

    // Add the data, a fair amount of the strings will be the same. 
    dataList.Add(stringCache.AddOrReuse("AAAA")); 
    dataList.Add(stringCache.AddOrReuse("BBBB")); 
    dataList.Add(stringCache.AddOrReuse("AAAA")); 
    dataList.Add(stringCache.AddOrReuse("CCCC")); 
    dataList.Add(stringCache.AddOrReuse("AAAA")); 

    return dataList; 
} 

come stringhe sono immutabili e un sacco di lavoro interno è fatto da quadro per farli lavorare in modo simile a tipi di valore Sto pensando a metà che questo creerà solo una copia di ciascuna stringa nel dizionario e raddoppierà solo la quantità di memoria utilizzata anziché passare semplicemente un riferimento alla stringa memorizzata nel dizionario (che è ciò che il mio collega sta assumendo).

Quindi tenendo conto che questo sarà eseguito su una serie massiccia di dati di stringa ...

• è questa intenzione di salvare qualsiasi memoria, partendo dal presupposto che il 30% dei valori di stringa verrà usata due volte o più?

• L'ipotesi è che funzioni correttamente?

Answer 1

Questo è essenzialmente ciò che lo string interning è, tranne che non devi preoccuparti di come funziona. Nell'esempio si sta ancora creando una stringa, quindi confrontandola, quindi lasciando la copia da smaltire. .NET lo farà per te in runtime.

Vedi anche String.Intern e Optimizing C# String Performance (C Calvert)

Se una nuova stringa viene creato con il codice simile (String goober1 = "foo"; String goober2 = "foo";) mostrata in linee 18 e 19, quindi la tabella interna viene controllata. Se la stringa è già presente, entrambe le variabili punteranno allo stesso blocco di memoria gestito dalla tabella interna.

Quindi, non è necessario eseguire il rollover - non fornirà alcun vantaggio. EDIT UNLESS: le stringhe in genere non vivono fino a quando le stringhe internate di AppDomain sono attive per tutta la vita di AppDomain, il che non è necessariamente ottimo per GC. Se vuoi stringhe di breve durata, allora vuoi una piscina. Da String.Intern:

Se si sta tentando di ridurre la quantità totale di memoria allocata dall'applicazione, tenere presente che l'interning di una stringa ha due effetti collaterali indesiderati. Innanzitutto, la memoria allocata per gli oggetti String interni non verrà rilasciata finché il Common Language Runtime (CLR) non termina. Il motivo è che il riferimento CLR dell'oggetto String internato può persistere dopo la chiusura dell'applicazione o persino del dominio dell'applicazione. ...

EDIT 2 Vedere anche Jon Skeets SO answer here

Answer 2

Questo è già built-in .NET, si chiama String.Intern, non c'è bisogno di reinventare.

Answer 3

Si prega di leggere su String Interning e fanno uso di questa funzionalità già disponibile in .Net: Ci sono molti articoli come segue per capire su come segue:

String interning From Wikipedia

Understanding C#: String.Intern makes strings interesting

SO QA

Eric Lippert’s String interning

Answer 4

È possibile raggiungere questo obiettivo con il costruito nel funzionalità .Net.

Quando si inizializza la stringa, effettuare una chiamata a string.Intern() con la stringa.

Ad esempio:

dataList.Add(string.Intern("AAAA")); 

Ogni chiamata successiva con la stessa stringa utilizzerà lo stesso riferimento in memoria. Quindi se hai 1000 AAAA, solo 1 copia di AAAA viene memorizzata.