5

La nostra piattaforma di integrazione ora riceve un paio di errori "Impossibile recuperare URL: ..." ogni giorno. Non so qual è la causa di questo.GAE: impossibile recuperare l'URL dall'API BigQuery

Primo GAE tenta di autorizzare con OAuth2 dall'interno dell'applicazione a BigQuery tramite BigQuery API. cerca in ogni secondo per più di 30 secondi (che è solo 1 su 30 linee simili):

2015-05-12 05:59:02.727 
URL being requested: https://www.googleapis.com/bigquery/v2/projects/XXX/jobs/job_w-z5K2zQObXeSaLy3hx7m4FOMXc?alt=json 

seguito è tracciare stesso (subito dopo i registri presentati in precedenza):

File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/connectors/connector_XXX_v1_0.py", line 189, in send 
    status = self._verify_status(resp, content) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/connectors/connector_XXX_v1_0.py", line 250, in _verify_status 
    jobId=jobReference).execute() 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/util.py", line 128, in positional_wrapper 
    return wrapped(*args, **kwargs) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/apiclient/http.py", line 676, in execute 
    body=self.body, headers=self.headers) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/util.py", line 128, in positional_wrapper 
    return wrapped(*args, **kwargs) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/client.py", line 490, in new_request 
    redirections, connection_type) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1570, in request 
    (response, content) = self._request(conn, authority, uri, request_uri, method, body, headers, redirections, cachekey) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1317, in _request 
    (response, content) = self._conn_request(conn, request_uri, method, body, headers) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1286, in _conn_request 
    response = conn.getresponse() 
    File "/base/data/home/runtimes/python27/python27_dist/lib/python2.7/gae_override/httplib.py", line 536, in getresponse 
    'An error occured while connecting to the server: %s' % e) 
error: An error occured while connecting to the server: Unable to fetch URL: https://www.googleapis.com/bigquery/v2/projects/XXX/jobs/job_d_ONsjBebYjreJuDD-ZdEqCHYv0?alt=json 

Questi sono da processi recupero dei dati da Google Datastore e caricamento in BigQuery.

Questi errori non sono determinabili. A volte capita. A volte no. Non riesco a vedere nessun modello qui.

Una cosa da notare: fino al 2015-05-01 non ci sono stati problemi con questi processi. I dati sono stati caricati in BQ senza problemi.

La mia ipotesi è che potrebbe essere in qualche modo correlato a OAuth2.0. Usiamo

oauth2client v1.1. Il più recente è 1.4.7. Forse l'aggiornamento potrebbe aiutare? O il problema si trova altrove?

+0

sono molto interessante delle possibili risposte. Abbiamo lo stesso identico problema dalla stessa data. – Epok

+0

si tratta di un problema di timeout? prova ad aumentare la connessione e leggere i timeout in GAE – pinoyyid

+0

@pinoyyid Come posso modificare la connessione e leggere i timeout? –

risposta

0

Per ridurre questo tipo di errore, implementare la strategia Riprova nell'applicazione durante l'inserimento dei dati nel BigQuery. Passare attraverso il document per una migliore spiegazione

+0

Come posso vedere abbiamo implementato questo. 'getJob = self.jobCollection.get ( projectId = self.config ['projectId'], jobId = jobReference) .execute()' Questo pezzo di codice viene eseguito circa 30 volte ogni 500 ms fino a "Impossibile recuperare l'URL: "si apre. –

Problemi correlati