Scrape Offer non restituisce risultati

Question

Ho cercato questo problema nel database, ho cercato su Google le domande e ho trovato due errori diversi. Ho determinato che gli errori 503 sono bloccati da Amazon ma ottengo un errore diverso lungo le stesse linee, ma non ho il 503 di ritorno. Non sono in grado di decifrare la differenza. Qualcuno in grado di aiutare? Gli errori che sto ottenendo sono elencati di seguito. Il parser HTML che sto usando sono HTML Agility Pack and Proprio Agile

http://www.amazon.com/gp/offer-listing/1902915208 error The remote server returned an error: (503) Server Unavailable.

e

Scrape Offers returned no results.

L'errore non è coerente e quindi non facile trappola. L'errore ritorna con nel prossimo scrap. È molto casuale e non si verifica con lo stesso prodotto in modo coerente. Sto ricevendo un sacco di questi al giorno e mi impedisce di aggiornare i prezzi e fornire informazioni corrette ai clienti.

Answer 1

Così come ho scoperto, il problema era l'User-Agent che è stato inviato ad Amazon. Ho aggiunto il seguente comando alle mie opzioni CURL e funziona ora, anche senza un US-Proxy.

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'); 

Answer 2

Ho messo 1 secondo di sonno tra ogni 20 richieste di pagina web. E questo ha risolto il mio problema.