Problemi di memoria con HTTParty e download di file di grandi dimensioni

Question

Ciò causerà problemi di memoria con Ruby. So che Open-URI scrive su un TempFile se le dimensioni superano i 10 KB. Ma HTTParty cercherà e salverà l'intero PDF in memoria prima che scriva su TempFile?

src = Tempfile.new("file.pdf") 
src.binmode 
src.write HTTParty.get("large_file.pdf").parsed_response 

Answer 1

È possibile utilizzare Net :: HTTP. Vedere the documentation (in particolare la sezione intitolata "Streaming Response Bodies").

Ecco l'esempio dalla documentazione:

uri = URI('http://example.com/large_file') 

Net::HTTP.start(uri.host, uri.port) do |http| 
    request = Net::HTTP::Get.new uri.request_uri 

    http.request request do |response| 
    open 'large_file', 'w' do |io| 
     response.read_body do |chunk| 
     io.write chunk 
     end 
    end 
    end 
end