5
La dimensione del grafico è in miliardi di nodi e in decine di miliardi di vertici.Come memorizzare un grande grafico diretto non pesato con miliardi di nodi e vertici
Conserverà URL di pagine Web e collegamenti tra pagine Web e verrà utilizzato per testare algoritmi di classificazione.
Qualsiasi lingua va bene, ma java è preferibile.
soluzioni che ho trovato finora:
- neo4j
- memorizzazione nel file piatti ordinati
Sì, ho già letto Best Way to Store/Access a Directed Graph.
Aggiornamento
I dati possono essere distribuiti su più computer e non ha bisogno di essere pienamente in memoria.
La tua domanda è un po 'vago, si fa realmente bisogno di accedere a tutti i set di dati? O stai solo visualizzando i nodi di connessione. Quello che faccio di solito, e quello che molti nel mio campo fanno è semplicemente prendere un ampio campionamento calcolato dei dati e quindi visualizzarli. Questo potrebbe non essere un approccio abbastanza accurato in base alle tue esigenze – slimbo
Hai bisogno di conservare i tuoi dati in memoria? Se è così, basta dimenticarlo ... Chiarire la tua domanda, o prendere in considerazione l'uso di memoria non in memoria (database indicizzato). – NewbiZ
@Steve: l'algoritmo di classificazione deve analizzare tutti i collegamenti per generare un valore per collegamento. Quindi l'utilizzo di un sottoinsieme/campione non funziona. – elhoim