6
Persone, la società in cui lavoro ha alcuni database MySQL su AWS (Amazon RDS). Stiamo creando un POC con BigQuery e quello che sto cercando ora è come replicare le basi di BigQuery (i registri esistenti e quelli nuovi in futuro). I miei dubbi sono:Sincronizzare Amazon RDS con Google BigQuery
- Come replicare le tabelle e le righe MySQL su BigQuery. C'è qualche strumento per farlo (sto leggendo su Amazon Database Migration Service)? Devo replicare a Google Cloud SQL e esportarlo in BigQuery?
- Come replicare i registri futuri? È possibile creare un lavoro all'interno di MySQL per inviare i nuovi registri dopo un numero predefinito? Ad esempio, dopo aver inserito 1000 nuove righe (o trascorso un certo tempo), alcuni eventi vengono "innescati" e i nuovi registri vengono copiati in Cloud SQL/BigQuery?
La mia idea iniziale è di scaricare la base originale, caricarla sull'altro e utilizzare uno script per ascoltare nuovi registri e inviarli alla nuova base.
Ho spiegato correttamente? È comprensibile?
Io uso xplenty per fondamentalmente eseguire il mirror delle tabelle da mysql AWS RDS a BQ. Xplenty può rilasciare e ricreare i tavoli. Devi pagare per questo ma è molto veloce e facile. Potrebbe essere utile iscriversi alla pista per usarlo anche per poc. Questo è un po 'quello che ho fatto e lo sto ancora utilizzando, per cui concentriamoci maggiormente sulla rigidità più utile di come sto usando i dati in BQ. Potrebbe essere una soluzione rapida se letteralmente lo fai e devi essere veloce. – andrewm4894