SpringBoot: caricamento file di grandi dimensioni in streaming utilizzando Apache Commons FileUpload

Sto tentando di caricare un file di grandi dimensioni utilizzando l'API di caricamento file Apache Commons "streaming".SpringBoot: caricamento file di grandi dimensioni in streaming utilizzando Apache Commons FileUpload

Il motivo per cui utilizzo Apache Commons File Uploader e non l'uploader Spring Multipart predefinito è che non riesce quando si caricano file di dimensioni molto grandi (~ 2 GB). Sto lavorando a un'applicazione GIS in cui tali caricamenti di file sono piuttosto comuni.

Il codice completo per il mio controller caricamento di file è la seguente:

@Controller 
public class FileUploadController { 

    @RequestMapping(value="/upload", method=RequestMethod.POST) 
    public void upload(HttpServletRequest request) { 
     boolean isMultipart = ServletFileUpload.isMultipartContent(request); 
     if (!isMultipart) { 
      // Inform user about invalid request 
      return; 
     } 

     //String filename = request.getParameter("name"); 

     // Create a new file upload handler 
     ServletFileUpload upload = new ServletFileUpload(); 

     // Parse the request 
     try { 
      FileItemIterator iter = upload.getItemIterator(request); 
      while (iter.hasNext()) { 
       FileItemStream item = iter.next(); 
       String name = item.getFieldName(); 
       InputStream stream = item.openStream(); 
       if (item.isFormField()) { 
        System.out.println("Form field " + name + " with value " + Streams.asString(stream) + " detected."); 
       } else { 
        System.out.println("File field " + name + " with file name " + item.getName() + " detected."); 
        // Process the input stream 
        OutputStream out = new FileOutputStream("incoming.gz"); 
        IOUtils.copy(stream, out); 
        stream.close(); 
        out.close(); 

       } 
      } 
     }catch (FileUploadException e){ 
      e.printStackTrace(); 
     }catch (IOException e){ 
      e.printStackTrace(); 
     } 
    } 

    @RequestMapping(value = "/uploader", method = RequestMethod.GET) 
    public ModelAndView uploaderPage() { 
     ModelAndView model = new ModelAndView(); 
     model.setViewName("uploader"); 
     return model; 
    } 

}

Il guaio è che il getItemIterator(request) restituisce sempre un iteratore che non ha nessun articolo (vale a dire iter.hasNext()) restituisce sempre false.

Il mio file application.properties è la seguente:

spring.datasource.driverClassName=org.postgresql.Driver 
spring.datasource.url=jdbc:postgresql://localhost:19095/authdb 
spring.datasource.username=georbis 
spring.datasource.password=asdf123 

logging.level.org.springframework.web=DEBUG 

spring.jpa.hibernate.ddl-auto=update 

multipart.maxFileSize: 128000MB 
multipart.maxRequestSize: 128000MB 

server.port=19091

La vista JSP per la /uploader è la seguente:

<html> 
<body> 
<form method="POST" enctype="multipart/form-data" action="/upload"> 
    File to upload: <input type="file" name="file"><br /> 
    Name: <input type="text" name="name"><br /> <br /> 
    Press here to upload the file!<input type="submit" value="Upload"> 
    <input type="hidden" name="${_csrf.parameterName}" value="${_csrf.token}" /> 
</form> 
</body> 
</html>

Cosa potrei fare male?

fonte

2015-09-25 balajeerc

Hai disabilitato il supporto multipart molle altrimenti la tua soluzione non funzionerà e Spring avrà già analizzato le richieste. Sostituisci tutte le proprietà 'multipart' con un singolo' multipart.enabled = false' per disabilitare la gestione predefinita. –

Non avevo fatto nulla di specifico per disabilitare il supporto multipart di primavera. Ho provato ad aggiungere 'multipart.enabled = false' nel mio file' application.properties'. Tuttavia, una volta eseguita questa operazione, ricevo un errore "POST" 405: Request method "non supportato" ogni volta che eseguo un caricamento. – balajeerc

Indicherebbe errato mappaggio o post all'URL errato ... Abilita la registrazione di debug e vedi a quale URL stai postando ea quale URL è associato il tuo metodo di controllo. –

Grazie ad alcuni commenti molto utili di M.Deinum, sono riuscito a risolvere il problema. Ho ripulito parte del mio post originale e lo sto postando come risposta completa per riferimento futuro.

Il primo errore che stavo facendo non era disabilitare il valore predefinito MultipartResolver fornito da Spring. Questo è finito nel resolver che processava lo HttpServeletRequest e quindi lo consumava prima che il mio controller potesse agire su di esso.

Il modo per disattivarlo, grazie a M. Deinum è stato il seguente:

multipart.enabled=false

Tuttavia, c'era ancora un altro trabocchetto nascosta che mi aspetta dopo questo. Appena ho disabilitato di default multipart resolver, ho cominciato a ricevere il seguente errore quando si cerca di fare un upload:

Fri Sep 25 20:23:47 IST 2015 
There was an unexpected error (type=Method Not Allowed, status=405). 
Request method 'POST' not supported

Nella mia configurazione di sicurezza, avevo attivato la protezione CSRF. Che ha reso necessaria che mando la mia richiesta POST nel seguente modo:

<html> 
<body> 
<form method="POST" enctype="multipart/form-data" action="/upload?${_csrf.parameterName}=${_csrf.token}"> 
    <input type="file" name="file"><br> 
    <input type="submit" value="Upload"> 
</form> 
</body> 
</html>

Ho anche modificato il mio controller un po ':

@Controller 
public class FileUploadController { 
    @RequestMapping(value="/upload", method=RequestMethod.POST) 
    public @ResponseBody Response<String> upload(HttpServletRequest request) { 
     try { 
      boolean isMultipart = ServletFileUpload.isMultipartContent(request); 
      if (!isMultipart) { 
       // Inform user about invalid request 
       Response<String> responseObject = new Response<String>(false, "Not a multipart request.", ""); 
       return responseObject; 
      } 

      // Create a new file upload handler 
      ServletFileUpload upload = new ServletFileUpload(); 

      // Parse the request 
      FileItemIterator iter = upload.getItemIterator(request); 
      while (iter.hasNext()) { 
       FileItemStream item = iter.next(); 
       String name = item.getFieldName(); 
       InputStream stream = item.openStream(); 
       if (!item.isFormField()) { 
        String filename = item.getName(); 
        // Process the input stream 
        OutputStream out = new FileOutputStream(filename); 
        IOUtils.copy(stream, out); 
        stream.close(); 
        out.close(); 
       } 
      } 
     } catch (FileUploadException e) { 
      return new Response<String>(false, "File upload error", e.toString()); 
     } catch (IOException e) { 
      return new Response<String>(false, "Internal server IO error", e.toString()); 
     } 

     return new Response<String>(true, "Success", ""); 
    } 

    @RequestMapping(value = "/uploader", method = RequestMethod.GET) 
    public ModelAndView uploaderPage() { 
     ModelAndView model = new ModelAndView(); 
     model.setViewName("uploader"); 
     return model; 
    } 
}

cui risposta è solo una semplice risposta di tipo generico che uso:

public class Response<T> { 
    /** Boolean indicating if request succeeded **/ 
    private boolean status; 

    /** Message indicating error if any **/ 
    private String message; 

    /** Additional data that is part of this response **/ 
    private T data; 

    public Response(boolean status, String message, T data) { 
     this.status = status; 
     this.message = message; 
     this.data = data; 
    } 

    // Setters and getters 
    ... 
}

fonte

2015-09-25 20:39:38 balajeerc

Si prega di provare ad aggiungere spring.http.multipart.enabled=false in application.properties file.

fonte

2017-08-18 14:21:57 HopeBing

Se si sta utilizzando una versione recente di avvio a molla (sto usando 2.0.0.M7), i nomi delle proprietà sono cambiati. Primavera iniziata utilizzando nomi specifici della tecnologia

spring.servlet.multipart.MaxFileSize = -1

spring.servlet.multipart.maxRequestSize = -1

spring.servlet.multipart.enabled = false

Se stai ricevendo eccezioni StreamClosed causati da implementazioni multiple di essere attivi , quindi l'ultima opzione ti consente di disabilitare l'implementazione predefinita della molla

fonte

2018-01-27 23:38:35

SpringBoot: caricamento file di grandi dimensioni in streaming utilizzando Apache Commons FileUpload

risposta

Problemi correlati