Come scaricare e salvare un file da internet usando Scala?

Question

Fondamentalmente ho un url/link a un file di testo online e sto provando a scaricarlo localmente. Per qualche motivo, il file di testo che viene creato/scaricato è vuoto. Aperto a qualsiasi suggerimento. Grazie!

def downloadFile(token: String, fileToDownload: String) { 

    val url = new URL("http://randomwebsite.com/docs?t=" + token + "&p=tsr%2F" + fileToDownload) 
    val connection = url.openConnection().asInstanceOf[HttpURLConnection] 
    connection.setRequestMethod("GET") 
    val in: InputStream = connection.getInputStream 
    val fileToDownloadAs = new java.io.File("src/test/resources/testingUpload1.txt") 
    val out: OutputStream = new BufferedOutputStream(new FileOutputStream(fileToDownloadAs)) 
    val byteArray = Stream.continually(in.read).takeWhile(-1 !=).map(_.toByte).toArray 
    out.write(byteArray) 
    } 

Answer 1

Lavare il buffer e chiudere il flusso di output.

Answer 2

Ecco un'implementazione ingenuo da scala.io.Source.fromURL e java.io.FileWriter

def downloadFile(token: String, fileToDownload: String) { 
    try { 
    val src = scala.io.Source.fromURL("http://randomwebsite.com/docs?t=" + token + "&p=tsr%2F" + fileToDownload) 
    val out = new java.io.FileWriter("src/test/resources/testingUpload1.txt") 
    out.write(src.mkString) 
    out.close 
    } catch { 
    case e: java.io.IOException => "error occured" 
    } 
} 

Il codice funziona per me ... Ci sono altre possibilità che rendono file vuoto.

Answer 3

So che questa è una vecchia questione, ma ho appena imbattuto in un modo davvero piacevole di fare questo:

import sys.process._ 
import java.net.URL 
import java.io.File 

def fileDownloader(url: String, filename: String) = { 
    new URL(url) #> new File(filename) !! 
} 

Spero che questo aiuti. Source.

Ora è possibile utilizzare semplicemente la funzione fileDownloader per scaricare i file.

fileDownloader("http://ir.dcs.gla.ac.uk/resources/linguistic_utils/stop_words", "stop-words-en.txt")