Esecuzione di test VSTS senza mstest.exe

Question

Per ragioni a cui non intendo entrare, tutti i nostri test di unità utilizzano il framework di test VSTS. Ora voglio creare uno script MSBuild che esegua i test, ma non voglio usare mstest.exe per vari motivi (è più lento, richiede l'installazione di Visual Studio ovunque, ho bisogno di mantenere testrunconfig, ecc.)

Ho visto che TestDriven.net e TeamCity sono in grado di eseguire i test VSTS 'stile NUnit', senza utilizzare mstest.exe. Sei a conoscenza di qualsiasi utility da riga di comando standalone che fa questo?

Answer 1

è possibile eseguire test team System (MSTest) in NUnit se si utilizza uno speciale NUnit Addin che riconosce il test MS Attributi (TestClass, ecc).

Exact Magic Software ha un open-source "test-adapter" che può farlo.

AGGIORNAMENTO: Ho rielaborato l'Msn NUnit Adapter di Exact Magic per NUnit 2.5.2.

• Scarica qui: http://snippetware.googlecode.com/files/ExactMagic.MstsAdapter.zip
• Per saperne di più su di esso here: http://www.bryancook.net/2009/10/mstest-nunit-adapter.html

Answer 2

È possibile eseguire MSTests senza installare Visual Studio. Vedi how-do-i-use-mstest-without-visual-studio.

Ho fatto questo in modo che potessi eseguire i miei test come parte del mio processo CI. (Sto usando CC.NET per la mia soluzione CI).

---

mi trovo in una situazione simile a quella che si, in che voglio usare TestDriven.NET per ottenere statistiche code coverage. Ma sto incontrando problemi. Il mio primo problema è che sto usando gli attributi AssemblyInitialize per inizializzare una connessione al database. Questo non è supportato da NUnit, quindi circa metà dei miei test falliscono mentre funzionano correttamente con MSTest.

Quindi, sembra che la traduzione di test da un framework di test a un altro abbia delle insidie. Se ne siete consapevoli, andate avanti, ma potrebbe essere meglio cercare di mantenere la coerenza su una struttura di test.

Answer 3

Sembra che TeamCity stia semplicemente sfruttando Gallio per eseguire i test VS. Gallio sembra avere l'integrazione msbuild e suoni perfetti, ma dopo uno sguardo più attento sembra che sarebbe necessaria una VS installare proprio come MSTest come appare dipendere da MS exes:

The plugin enable condition was not satisfied: '${process:DEVENV.EXE} or 
${process:VSTESTHOST.EXE} or 
${process:QTAGENT.EXE} or 
${process:QTAGENT32.EXE} or 
${process:QTDCAGENT.EXE} or 
${process:QTDCAGENT32.EXE}'. 
Host process exited with code: 0 

Detto questo suona come almeno una persona ha ottenuto che funziona:

Christoph De Baene - Running MSTest without Visual Studio

Answer 4

Corriamo VSTS mette alla prova utilizzando msbuild TestToolsTask su un server di Cruise Control. Questo non usa l'eseguibile MSTEST - la condizione che chiedi - ma usa una varietà di dipendenze di TFS.

Si noti che stiamo eseguendo la migrazione dei test dal framework di test VSTS per NUnit, principalmente perché possiamo creare estensioni per NUnit per eseguire attività utili.