Come aggirare i limiti di chiave/valore di memcached?

Question

Memcached ha limitazioni di lunghezza per le chiavi (250?) E valori (1 MB premuroso), nonché alcune (a mia conoscenza) restrizioni di caratteri non ben definite per le chiavi. Qual è il modo migliore per aggirare quelli secondo te? Io uso il Perl API Cache :: Memcached.

Quello che faccio è attualmente memorizzare una stringa speciale per il valore della chiave principale se il valore originale era troppo grande ("parti: < numero>") e in tal caso, io memorizzare < numero> parti con chiavi denominate 1+ < chiave principale>, 2+ < chiave principale> ecc. Questo sembra "OK" (ma disordinato) per alcuni casi, non così buono per gli altri e ha il problema intrinseco che alcune parti potrebbero mancare in qualsiasi momento (così lo spazio è sprecato per mantenere gli altri e il tempo è sprecato per leggerli).

Per quanto riguarda le limitazioni chiave, si potrebbe probabilmente implementare l'hashing e memorizzare la chiave intera (per aggirare le collisioni) nel valore, ma non ho ancora avuto bisogno di farlo.

Qualcuno ha escogitato un modo più elegante o addirittura un'API Perl che gestisce in modo trasparente le dimensioni (ei valori chiave) dei dati arbitrari? Qualcuno ha hackerato il server memcached per supportare chiavi/valori arbitrari?

Answer 1

Il server non già consente di specificare qualsiasi dimensione che si desidera:

-I   Override the size of each slab page. Adjusts max item size 
       (default: 1mb, min: 1k, max: 128m) 

Tuttavia, la maggior parte del tempo, quando le persone sono desiderosi di memorizzare nella cache oggetti più grandi, che stanno facendo qualcosa di sbagliato. Hai davvero bisogno di così tanti dati nella chiave di cache una? Non compresso?

Se si dispone di attività sufficientemente grandi, il vantaggio dell'accesso a bassa latenza è ridotto al minimo dal tempo necessario per il trasferimento dei dati. Oppure scopri che buttare tutto nella stessa chiave significa che il tuo frontend finisce per fare un sacco di lavoro per deserializzare un po 'di dati che vogliono.

Dipende dai tuoi bisogni, e non posso dirti cosa è meglio per te senza sapere più di quello che stai facendo. Se davvero hai bisogno di qualcosa di più grande di 1 MB, è per questo che abbiamo aggiunto -I, però.

Answer 2

Per valori troppo grandi, invece di memorizzare un valore standard (che, quando decodificato, era sempre un dizionario) abbiamo memorizzato un elenco di chiavi. Abbiamo quindi letto i dati in ciascuna chiave e ripristinato il valore principale. Penso che abbiamo anche cancellato le chiavi quando erano troppo lunghe (cosa che potrebbe accadere nel nostro set di dati, ma estremamente raramente).

Abbiamo scritto tutto questo codice direttamente sopra il client memcached (stavamo usando Python), quindi a un livello superiore era tutto trasparente.

Answer 3

$key=abs(crc32($long_key)) 

In questo modo si ottiene una chiave univoca per le query e altri tasti lunghi che possono avere modifiche oltre i 250 caratteri che Memcache vede.

Answer 4

$ key = abs (CRC32 ($ long_key))

In questo modo si ottiene chiave univoca per query e altre chiavi lunghe che possono avere modifiche oltre i 250 caratteri memcache vede.

Whoa ... attento. Un buon consiglio, ma senza un avvertimento importante. Ciò può causare collisioni.Certo è altamente improbabile, ma deve accadere solo una volta per causare un bug sconvolgente. Probabilmente vorrai comunque memorizzare la chiave lunga con memcached e controllare sempre le collisioni sulla chiave. Il modo migliore per gestirli sarebbe quello di memorizzare un semplice elenco di coppie long_key/value.

Answer 5

Non reale correlato alla domanda iniziale ma nel caso si pensi di passare a APC: il suo max. len per le chiavi è 9727 caratteri. (testato su PHP 5.3.2)