Come devo eseguire test automatici di SQL ETL Scripts & SPROCs?

Question

Abbiamo un numero di pacchetti DTSX che estrarre-Trasforma-Carica dati da una serie di database Pervasive legacy -> SQL Server 2k8 R2. (Via ODBC)

La maggioranza dei nostri script T-SQL processo ETL

I dati legacy è un mal strutturato pasticcio & il più delle volte, i tweaks & modifiche che facciamo ai nostri script ETL sono a che fare con questo malformati dati.

Quello che ci piacerebbe fare è mettere un po 'di processo in atto per automatizzare il test di questi SPROCS/script che eseguono queste trasformazioni.

Quello che è venuta in mente noi stessi è quello di:

• Sono alcuni noti ingresso sorgente dati (ospitato in un database pervasivo locale)
• Eseguire il DTSX pacchetti per generare l'output
• Avere alcuni si aspettavano l'output pre-creato & da qualche altra parte all'interno di SQL Server.
• Scrivete i nostri script di verifica per confrontare il previsto con il reale.

Basta chiedersi se ci sono altri processi/sistemi/applicazioni di test db che dovremmo considerare anche.

Answer 1

Dai un'occhiata allo tSQLt - the Database Unit Testing Framework for SQL Server. Rende la scrittura di test robusti abbastanza facile.

Non consente (ancora) di testare gli script, ma è possibile includerli nelle stored procedure.

Answer 2

I database legacy sono sempre quelli impegnativi.

Vorrei consigliarvi di dare un'occhiata a questo post: http://quality-gates.com/?p=1284, dove descrivo quali sono i test di base che devono essere eseguiti per convalidare il processo ETL nei diversi livelli: Operativo, Datawarehouse e altro.

Abbiamo scelto di utilizzare porte di qualità nel nostro progetto. Poiché non fa parte dell'ETL, rende la convalida pulita e obiettiva. mi sembra quello che stai cercando.