Come posso eseguire i miei test JUnit in ordine casuale?

Question

ho la struttura classica per le prove, ho una suite di test di differenti suite come DatabaseTests, Unittests ecc A volte queste suite contiene altre suite come SlowDatabaseTests, FastDatabaseTests ecc

Quello che voglio è quello di casuale l'ordine di esecuzione di test quindi mi assicurerò che non siano dipendenti l'uno dall'altro. La randomizzazione dovrebbe essere ad ogni livello, come suite dovrebbe mescolare l'ordine della classe di test, e la classe di test dovrebbe mescolare l'ordine del metodo di prova.

Se è possibile farlo in Eclipse, sarà il migliore.

Answer 1

avete una Sortable ma non riesco a vedere come si dovrebbe utilizzare.

È possibile estendere BlockJUnit4ClassRunner e avere computeTestMethods() restituire una copia randomizzata di super.computeTestMethods(). Quindi utilizzare @RunWith per impostarlo come runner da utilizzare.

ad es.

package com.stackoverflow.mlk; 

import java.util.Collections; 

import org.junit.runners.BlockJUnit4ClassRunner; 
import org.junit.runners.model.InitializationError; 

public class RandomBlockJUnit4ClassRunner extends BlockJUnit4ClassRunner { 

    public RandomBlockJUnit4ClassRunner(Class<?> klass) 
      throws InitializationError { 
     super(klass); 
    } 

    protected java.util.List<org.junit.runners.model.FrameworkMethod> computeTestMethods() { 
     java.util.List<org.junit.runners.model.FrameworkMethod> methods = super.computeTestMethods(); 
     Collections.shuffle(methods); 
     return methods; 
    } 

} 

Poi

@RunWith(com.stackoverflow.mlk.RandomBlockJUnit4ClassRunner.class) 
public class RandomOrder { 
    @Test 
    public void one() { 
    } 

    @Test 
    public void two() { 
    } 

    @Test 
    public void three() { 
    } 
} 

Answer 2

farò in modo che non sono dipendenti di vicenda

È necessario assicurarsi che questo è il caso senza fare affidamento su ordine di esecuzione casuale. Cosa ti fa temere che le dipendenze possano esistere?

Answer 3

In generale ciò che è necessario è scrivere il proprio runner di test e nella classe di test runner aggregare i metodi ed eseguire a caso ciascun test (assicurarsi di non eseguire un test due volte).

saperne di più sul framework di test e come scrivere il proprio test runner qui: http://www.ddj.com/architect/184415674

Answer 4

https://github.com/KentBeck/junit/pull/386 introduce alcuni ordini, ma non RANDOM. Probabilmente non lo vuoi veramente; i test dovrebbero essere eseguiti in modo deterministico. Se è necessario verificare che le diverse permutazioni dei test continuino a passare, testare tutte le permutazioni; oppure, se ciò non fosse abbastanza lento, introdurre un seme "casuale" per mischiare che è determinato da una variabile d'ambiente o simili, in modo da poter riprodurre eventuali errori. http://hg.netbeans.org/main/file/66d9fb12e98f/nbjunit/src/org/netbeans/junit/MethodOrder.java fornisce un esempio di ciò per JUnit 3.