Archiviazione di Windows Azure Cloud - Impatto di un numero enorme di file nella directory principale

Question

Scusate se ho sbagliato la terminologia qui, ma spero che otterrete ciò che intendo.

Sto usando Windows Azure Cloud Storage per archiviare una grande quantità di piccoli file (immagini, 20Kb ciascuno).

Al momento, questi file sono tutti memorizzati nella directory principale. Capisco che non è un normale file system, quindi forse root non è il termine corretto.

Ho cercato di trovare informazioni sugli effetti a lungo termine di questo piano ma senza fortuna, quindi se qualcuno mi può dare qualche informazione sarei grato.

Fondamentalmente, ho intenzione di imbattersi in problemi se il numero di file memorizzati in questa radice finisce nelle centinaia di migliaia/milioni?

Grazie,

Steven

Answer 1

Sono stato in una situazione simile in cui stavamo memorizzando ~ 10 milioni di piccoli file in un contenitore BLOB. L'accesso ai singoli file attraverso il codice andava bene e non c'erano problemi di prestazioni.

Dove abbiamo avuto problemi è stato con la gestione di molti file al di fuori del codice. Se utilizzi un explorer di archiviazione (o quello fornito con VS2010 o chiunque degli altri), quelli che ho incontrato non supportano i file di ritorno tramite API prefisso, puoi solo elencare i primi 5K, quindi il il prossimo 5K e così via. Puoi vedere come questo potrebbe essere un problema quando vuoi guardare il 125.000esimo file nel contenitore.

L'altro problema è che non esiste un modo semplice per scoprire quanti file ci sono nel tuo contenitore (che può essere importante per sapere esattamente quanto tutto questo blob di archiviazione ti costa) senza scrivere qualcosa che semplicemente scorre su tutti i blob e li conteggia.

Questo è stato un problema facile da risolvere per noi poiché i nostri BLOB avevano nomi numerici sequenziali, quindi li abbiamo semplicemente suddivisi in cartelle di elementi da 1k ciascuno. A seconda di quanti elementi hai, puoi raggruppare 1 K di queste cartelle in sottocartelle.

Answer 2

http://social.msdn.microsoft.com/Forums/en-US/windowsazure/thread/d569a5bb-c4d4-4495-9e77-00bd100beaef

Risposta breve: No

medio di risposta: kindof?

Risposta lunga: No, ma se si esegue una query per un elenco di file, verrà restituito solo 5000. È necessario eseguire la query ogni 5k per ottenere un elenco completo in base a tale pagina MSDN.

Modifica: Root funziona correttamente per la descrizione. Il 99,99% delle persone divorerà ciò che stai cercando di dire.