Come posso vedere la quota attualmente raggiunta in BQ?

Question

La politica di quota BQ di Google indica che esiste un limite di 10.000 carichi per progetto.

Sotto il sito Web delle API di Google sono in grado di vedere le quote per il mio progetto ma la colonna "Utilizzata" è costantemente allo 0%. (Anche se so di aver raggiunto il limite massimo)

Come posso vedere la quantità di richieste di carico eseguite nel giorno recente? Inoltre, esattamente a che ora si resetta quella quota?

Grazie.

Answer 1

Te non è un modo per scoprire quanti carichi hai utilizzato nella tua quota giornaliera (oltre a elencare i tuoi lavori nell'ultimo giorno e contare il numero caricato). Stiamo pensando di aggiungere altri dati alla pagina delle quote nella pagina della Console di Google Cloud, aggiungeremo limiti di carico all'elenco.

Ci sono un paio di diversi tipi di limiti di quota in BigQuery. Alcuni sono limiti difficili progettati per impedire agli utenti di assumere troppa capacità finita. Il limite delle query "grandi" simultanee è uno di questi, poiché le query di grandi dimensioni utilizzano molte risorse e non vogliamo che un cliente sia in grado di influire negativamente sulle prestazioni degli altri utenti. Le quote rigide tendono ad aumentare nel tempo mentre aumentiamo la capacità.

Ci sono altre quote che sono quote "soft", che sono in atto per incoraggiare l'uso efficiente di BigQuery. Il limite di carico è una di queste quote "morbide", progettata per impedire agli utenti di eseguire molti piccoli aggiornamenti o scrivere su molti piccoli tavoli.

Se stai facendo un sacco di piccoli aggiornamenti, si potrebbe essere meglio utilizzare il meccanismo di inserimento in streaming (tabledata.insertAll()), che permette di inviare file a BigQuery che vengono immediatamente aggiunti alle tabelle. Se ci sono molti piccoli lavori di caricamento che si aggiungono alla stessa tabella, significa che la tabella non sarà ottimizzata fino a quando l'operazione di coalesce periodica di BigQuery non verrà eseguita sulla tabella. Le tabelle scritte usando tabledata.insertAll(), d'altra parte, sono scritte in un modo molto più efficiente e non hanno bisogno di essere combinate.

Se stai scrivendo su molti tavoli di piccole dimensioni, è probabile che tu stia pianificando di eseguire query su un numero elevato di tabelle. Un sacco di piccole tabelle in una query significa che BigQuery deve fare molto più lavoro per query e ha meno flessibilità nel modo in cui memorizza i dati.

Ci sono molti altri motivi per cui desideri avere più di 10.000 carichi per progetto al giorno. Se lo fai, vorremmo capire meglio il tuo caso d'uso. Se disponi di un accordo di supporto con il supporto di google cloud (https://cloud.google.com/support/), il tuo contatto di supporto può lavorare con te per capire le tue esigenze e se un urto di quota ha senso.