Inviando manualmente la richiesta GET a un sito Web. 302 errore di reindirizzamento

Attualmente sto lavorando su un web scraper usando java. Sto inviando manualmente la richiesta GET impostando una connessione TCP e utilizzando printerwriter.Inviando manualmente la richiesta GET a un sito Web. 302 errore di reindirizzamento

Sono in grado di connettersi alla maggior parte dei siti Web come yahoo.com o cracked.com e ricevere una risposta, MA non riesco a collegarmi al mio sito Web di destinazione: vinylengine.com. Resterà sempre un errore 302.

Ho confrontato la mia richiesta di invio con il mio browser e sono quasi identici.

mia intestazione:

GET/HTTP/1.1 
Host: www.vinylengine.com

La mia risposta: intestazione

HTTP/1.1 302 Found 
Date: Thu, 06 Jun 2013 19:27:00 GMT 
Server: Apache 
Location: http://www.nakedresource.com/ 
Cache-Control: max-age=1209600 
Expires: Thu, 20 Jun 2013 19:27:00 GMT 
Content-Length: 213 
Content-Type: text/html; charset=iso-8859-1 

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> 
<html><head> 
<title>302 Found</title> 
</head><body> 
<h1>Found</h1> 
<p>The document has moved <a href="http://www.nakedresource.com/">here</a>.</p> 
</body></html>

del Browser:

GET http://www.vinylengine.com/ HTTP/1.1 
Host: www.vinylengine.com 
User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 
Accept-Language: en-US,en;q=0.5 
Accept-Encoding: gzip, deflate 
Cookie: __utma=72407316.18415374.1370488314.1370497873.1370543389.3; __utmz=72407316.1370488314.1.1.utmccn=(direct)|utmcsr=(direct)|utmcmd=(none); SESSaf8d12283bdbdc5f5bbfb2aef054db6d=1f0676e5cab0ba2c5a80e76ea0bd6f75; __utmc=72407316; has_js=1; __utmb=72407316 
Connection: keep-alive 
If-Modified-Since: Thu, 06 Jun 2013 18:02:53 GMT 
If-None-Match: "2186d59ac297e0f1a43433fa61e8a94b"

Codice:

public void sendRequest(String extensionString, String urlString) 
{ 
    try 
    { 
     //BufferedReader inFromServer; 
     //PrintWriter outToServer; 
     //These 2 are initalized elsewhere 

     outToServer.println("GET " + extensionString + " HTTP/1.1"); 
     outToServer.println("Host: " + urlString); 

     outToServer.println(""); 
     outToServer.flush(); 

     String temp; 
     while((temp=inFromServer.readLine()) != null) 
     { 
      System.out.println(temp); 
     } 

     return; 
    } 
    catch (Exception e) 
    { 
     System.out.printf("sendRequest failed: %s",e); 
     return; 
    } 
}

Ho provato a cambiare il nome host da nakedresource.com, ma quando lo faccio, io ottenere il sorgente della pagina per nakedresource.com e non vinylengine.com

fonte

2013-06-06 Python Lord

HTTP 302 significa reindirizzamento quindi è necessario chiamare nuovamente l'URL reindirizzato – nidhin

Quindi, non si sta facendo la stessa cosa del browser, quindi ci si chiede perché i risultati sono diversi? –

Il sito in questione sta guardando la stringa user agent (o la sua mancanza nel tuo caso).

Quando dici che stai facendo "quasi la stessa cosa" del browser ... hai ragione. E i computer sono piuttosto schizzinosi su cose del genere.

Se non si fornisce un'intestazione User-Agent: si ottiene un reindirizzamento.

> telnet www.vinylengine.com 80
Cercando 67.225.154.112 ...
connessione al vinylengine.com.
Il carattere di fuga è '^]'.
GET/HTTP/1.1
Host: www.vinylengine.com
Accept: */*

HTTP/1.1 302 Trovato
...

Mentre se l'utente fornisce uno, si ottiene la pagina:

> telnet www.vinylengine.com 80
Cercando 67.225.154.112 ...
Collegato a vinylengine.com.
Il carattere di fuga è '^]'.
GET/HTTP/1.1
Host: www.vinylengine.com
User-Agent: ricciolo/7.21.4 (Universal-apple-darwin11.0) libcurl/7.21.4 OpenSSL/0.9.8r zlib/1.2. 5
Accept: */*

HTTP/1.1 200 OK
... (pagina)

Questo di solito è fatto perché il sito fornisce diverse versioni del contenuto da diversi browser come determinato dall'intestazione User-Agent. Apparentemente la loro risposta a "no User-Agent" è ... punt, e tu verrai reindirizzato alla root del sito genitore.

fonte

2013-06-06 19:47:50

+1 Esattamente il mio risultato (anche fino alla stessa versione zLib :). –

Grazie a ciò è stato risolto il problema! –

Questo potrebbe essere possibile quando il tuo proxy è configurato nel tuo browser ma la tua JVM non ne è a conoscenza.

tenta di avviare il JVM con i seguenti argomenti e vedere se risolve il problema:

-Dhttp.proxyHost=10.12.11.1 -Dhttp.proxyPort=8800

fonte

2013-06-06 19:37:39 Chris

Il problema è che, il problema è che il sito cerca una stringa User Agent. –

HttpURLConnection.setFollowRedirects(true);

Se si utilizza HttpURLConnection utilizzare il codice di cui sopra.

si riferiscono anche a Example showing HTTP redirects

fonte

2013-06-06 19:43:56 user1889970

Solo una FYI, il reindirizzamento è dovuto alla mancanza della stringa 'User-Agent'. Quindi ti porta in un altro sito (padre) piuttosto che nella pagina in questione. –

È sempre possibile fare riferimento a http://stackoverflow.com/questions/2529682/setting-user-agent-of-a-java-urlconnection per informazioni su come aggiungere una stringa di user agent. – user1889970

Inviando manualmente la richiesta GET a un sito Web. 302 errore di reindirizzamento

risposta

Problemi correlati