Come caricare file di grandi dimensioni (> 25 MB) in un servizio Web?

Question

Ho un servizio Web che accetta un byte [] e lo salva.

Questo funziona bene per i file "piccoli", ma una volta che si raggiunge una determinata dimensione il servizio Web non riesce e restituisce "La richiesta non è riuscita con stato HTTP 404: non trovato".

Da quello che ho visto sembra essere un'impostazione IIS che limita le dimensioni di un file che può essere pubblicato (per prevenire attacchi di tipo Denial of Service). Ho provato ad aumentare questa impostazione, ma ho difficoltà a determinare quale impostazione e dove/come si vorrebbe impostare. Sto usando IIS7 e il webservice è fatto in .net (asmx).

Nel web.config del servizio web ho aggiunto quanto segue (che sembrava aumentare la dimensione del file che può essere accettato, ma non fino in fondo a questa dimensione impostazione)

<system.web> 
    <httpRuntime executionTimeout="999999" maxRequestLength="2097151" /> 
    ... 
    </system.web> 

Qualsiasi suggerimenti su dove (e come) aumentare la dimensione del file che il servizio web sarebbe molto apprezzato.

Answer 1

In aggiunta a httpRuntime/maxRequestLength menzionato nella domanda, sembra che vi sia un elemento aggiuntivo che può essere aggiunto al file web.config del servizio Web per consentire trasferimenti di file di grandi dimensioni.

<system.webServer> 
    <security> 
     <requestFiltering> 
     <requestLimits maxAllowedContentLength="2000000000" /> 
     </requestFiltering> 
    </security> 
    </system.webServer> 

Questo sembra consentire il caricamento di file di grandi dimensioni tramite servizi Web.

Answer 2

maxRequestLength è in KB, non in byte. Questo dovrebbe darti un limite di 30 MB entro una finestra di timeout di 4 minuti.

<httpRuntime executionTimeout="240" maxRequestLength="30000" /> 

Avere numeri troppo alti potrebbe effettivamente impedire l'applicazione dei valori. I penso Mi sono imbattuto in questo alcuni anni fa quando pensavo che fosse un limite di byte (memoria vaga).

Answer 3

È necessario tenere presente che i servizi Web non sono progettati principalmente come meccanismi di trasferimento file. Qualsiasi protocollo di trasferimento file progettato appositamente farà probabilmente un lavoro migliore di un servizio web. Ad esempio, tali protocolli hanno maggiori probabilità di gestire il recupero degli errori, caricamenti parziali, ecc.

Tuttavia, se si intende utilizzare i servizi Web per questo scopo in .NET, è necessario utilizzare WCF, se possibile. . Tra gli altri vantaggi, WCF gestisce lo streaming e sarà quindi molto più efficiente in termini di utilizzo della memoria. Sono preoccupato che se segui i due (accurati) suggerimenti sopra, il tuo prossimo risultato saranno eccezioni "esaurite di memoria o risorse", dato che la vecchia tecnologia ASMX prova a caricare l'intero file da 25MB in memoria in una volta. In effetti, potrebbe avere più copie in memoria allo stesso tempo!

Answer 4

Questo non risponde in modo specifico alla domanda, ma quello che ho fatto in passato è usare WCF per trasferire nomi di file/percorsi/elenchi, ma poi usare una libreria FTP per trasferire il file tramite FTP.

Answer 5

Se si è deciso di utilizzare i servizi Web per spostarsi tra i file, prenderei in considerazione almeno l'utilizzo degli allegati WS-Attachment/DIME. Il problema principale con l'invio di servizi web su byte [] è che vengono inseriti nel corpo SOAP che viene codificato come una stringa 64 di base. I file di codifica come questo aumentano le dimensioni del file fino a due terzi nel corpo del sapone (ad esempio un file da 6 MB diventa un file da 9 MB sul filo).

È probabile che il caricamento da 25 MB si trasformi in buste di sapone enormi.

Suggerisco caldamente reading this. Quale potrebbe farti entrare in DIME.

Ecco un estratto.

WSE Toolkit di Microsoft permette grandi allegati da inviare insieme a un metodo di servizio Web utilizzando il DIME e WS-Allegati standard. Sarà esaminare questi standard e il motivo per cui sono più efficienti dell'invio di grandi quantità di dati binari in una chiamata di servizio Web tramite altri mezzi comuni .

Spero che questo aiuti!

Answer 6

Se mi è stato impedito di utilizzare i servizi Web e avevo bisogno di supportare file molto grandi, vedrei l'implementazione di un sistema che consente di caricare file in pezzi.

Es.

• TICKETID getticket (dimensione)
• UploadData (TICKETID, byte [] payload) (questo può essere chiamato tutte le volte che si desidera)
• FinalizeUpload (TICKETID)

Questo sarebbe consente di ridurre i grandi caricamenti e di non conservare troppi dati in memoria. Lo svantaggio è che si sta ancora utilizzando un meccanismo di trasporto abbastanza inefficiente.

Answer 7

Giusto per aggiungere informazioni alle persone googling questo web.config:

C: \ Programmi \ File comuni \ Microsoft Shared \ Web Server Extensions \ 12 \ ISAPI

<location path="Copy.asmx"> <!-- Name of you asmx --> 
    <system.webServer> 
     <security> 
     <requestFiltering> 
      <requestLimits maxAllowedContentLength="104857600"/> <!-- 100 megs --> 
     </requestFiltering> 
     </security> 
    </system.webServer> 
    </location> 

Ciò ha risolto il nostro problema dopo aver risolto questo problema per un bel po 'di tempo.

Answer 8

questo ha funzionato per me:

  <binding name="uploadFilesBasicHttpBinding" maxReceivedMessageSize="2147483647" maxBufferSize="2147483647" maxBufferPoolSize="2147483647" receiveTimeout="00:10:10" sendTimeout="00:10:00" openTimeout="00:10:00" closeTimeout="00:10:00"> 
       <readerQuotas maxArrayLength="2147483647" maxBytesPerRead="2147483647" maxDepth="2147483647" maxNameTableCharCount="2147483647" maxStringContentLength="2147483647"/> 
       <security mode="TransportWithMessageCredential"> 
        <message clientCredentialType="UserName"/> 
       </security> 
      </binding>