Esiste un modo per eseguire i test unitari in sequenza con MSTests?

Question

Sto lavorando in un'applicazione che è principalmente single-thread, singolo utente. Ci sono alcuni thread di lavoro qua e là, e usano solo oggetti e classi thread safe. I test unitari stanno effettivamente testando quelli con più thread (creati esplicitamente per i test) e testano bene.

I test unitari VSTS sicuro durante il test oggetti business e sottosistemi che non è thread-safe. Va bene per loro non essere thread-safe, questo è il modo in cui l'applicazione li usa.

Ma il 'un thread per TestMethod' approccio di test MS ci uccide. Ho dovuto implementare blocchi di oggetti in molte classi di test di unità solo per garantire che i test vengano eseguiti uno dopo l'altro (non mi interessa davvero l'ordine, ma non posso avere due metodi di test che colpiscono lo stesso oggetto a lo stesso tempo).

Il codice simile a questo:

[TestClass] 
public class TestSomeObject 
{ 
    static object turnStile = new object(); 
... 
    [TestMethod] 
    public void T01_TestThis() 
    { 
     lock(turnStile) 
     { 
     .. actual test code 
     } 
    } 

    [TestMethod] 
    public void T02_TestThat() 
    { 
     lock(turnStile) 
     { 
     -- actual test code 
     } 
    } 

} 

C'è un/modo migliore più elegante per fare il test in sequenza?

Answer 1

C'è la nozione di un "Test ordinato", in cui è possibile elencare i test in sequenza. È più orientato a garantire un certo ordine sequenziale, ma non vedo come sarebbe possibile se B non aspetti che A termini.

A parte questo, è un peccato che i test interferiscano tra loro. Esistono metodi di setup/TearDown che possono essere utilizzati per test in modo tale che dopo tutto possa essere possibile isolare i test l'uno dall'altro.

Answer 2

Utilizzare un Ordered Test.

Test> Nuovo Test> ordinato test

Answer 3

fine ho usato il metodo di prova ordinata. Funziona bene.

Tuttavia, ho avuto un sacco di tempo farlo funzionare con la build NAnt. In esecuzione solo l'elenco di test ordinato nella compilazione richiede l'utilizzo degli switch/testmetadata e/testlist nel blocco di chiamata MSTest. La documentazione su questi è abbozzata, per usare una descrizione gentile. Io google dappertutto per esempi di "MSTest/testmetadata/testlist" senza alcun effetto.

Il trucco è semplice, tuttavia, e mi sento in dovere di dare alla comunità, nel caso qualcuno urti altro lo stesso problema.

1. Modificare il file di metadati di prova (con estensione .vsmdi), e aggiungere un nuovo elenco per l'elenco delle prove (il primo nodo nell'albero nel riquadro di sinistra . Dategli il nome che si desidera, ad esempio 'SequentialTests'.
2. Se si è utilizzato un parametro/testcontainer per la chiamata MSTest, rimuoverlo.
3. Aggiungi un interruttore per MSTest ->/testmetadata:
4. Aggiungi un interruttore per MSTest /LISTA-TEST: SequentialTests (o qualsiasi altro nome che hai utilizzato)

Poi MSTest gira solo le prove elencate nel test lista che hai creato.

Se qualcuno ha un metodo migliore, mi piacerebbe sentirlo!

Answer 4

È possibile richiedere specificamente un mutex per ciascuna esecuzione di test, sia nei test specifici che si desidera serializzare, sia per tutti i test di una classe (indipendentemente dal fatto che condivida la stessa stringa mutex).

Per un'intera classe di test, è possibile utilizzare il TestInitialize e attributi TestCleanup in questo modo:

private readonly Mutex testMutex = new Mutex(true, "MySpecificTestScenarioUniqueMutexString"); 

[TestInitialize] 
public void Initialize() 
{ 
    testMutex.WaitOne(TimeSpan.FromSeconds(1)); 
} 

[TestCleanup] 
public void Cleanup() { 
    testMutex.ReleaseMutex(); 
} 

essere chiaro questa non è una caratteristica di test, qualsiasi struttura di bloccaggio dovrebbe funzionare. Sto utilizzando il sistema previsto mutex in questo caso: https://msdn.microsoft.com/en-us/library/system.threading.mutex(v=vs.110).aspx

Answer 5

test

ho usato ordinato, li configurato facilmente su Jenkins basta usare il comando

MSTest /testcontainer:"orderedtestfilename.orderedtest "/ resultsfile:" testresults .trx"

Answer 6

è possibile utilizzare playlist

tasto destro del mouse sul metodo di prova -> Aggiungi a playlist -> Nuova playlist

puoi specificare l'ordine di esecuzione