Come aggregare su un enorme array in mongoDB?

Question

Ho un mongodb di circa 400gb. I documenti contengono una varietà di campi, ma la chiave qui è un array di ID.

Quindi un file JSON potrebbe assomigliare a questo

{ 
"name":"bob" 
"dob":"1/1/2011" 
"key": 
     [ 
     "102", 
     "1234123222", 
     "5021297723" 
     ] 
} 

La variabile focale qui è "fondamentale". Ci sono circa 10 miliardi di chiavi totali su 50 milioni di documenti (quindi ogni documento ha circa 200 chiavi). Le chiavi possono essere ripetute e ci sono circa 15 milioni di chiavi UNIQUE.

Quello che mi piacerebbe fare è restituire le 10.000 chiavi più comuni. Pensavo che l'aggregato potesse farlo, ma ho molti problemi a farlo funzionare. Ecco il mio codice:

db.users.aggregate( 
[ 
    { $unwind : "$key" }, 
    { $group : { _id : "$key", number : { $sum : 1 } } }, 
    { $sort : { number : -1 } }, 
    { $limit : 10000 } 
] 
); 

Qualche idea su cosa sto facendo male?

Answer 1

Prova questo:

db.users.aggregate( 
[ 
    { $unwind : "$key" }, 
    { $group : { _id : "$key", number : { $sum : 1 } } }, 
    { $sort : { number : -1 } }, 
    { $limit : 10000 }, 
    { $out:"result"}, 
], { 
    allowDiskUse:true, 
    cursor:{} 
} 
); 

poi trovare risultare da db.result.find().