Come posso riprovare un test basato sulla proprietà se gli input generati casualmente non sono utili?

Question

Sono un n00b al test di unità. Ho installato FsCheck.Nunit e NUnitTestAdapter da Nuget e sto provando a fare test basati sulle proprietà, in gran parte ispirati a the inestimable Scott Wlaschin.

Sto usando l'attributo [<Property>], e vorrei la possibilità di "saltare" gli ingressi che non soddisfano i requisiti della prova:

[<Property(MaxTest=10)>] 
let ``Calling unzipTo with an invalid destination will yield a failure.`` badDest = 
    if Directory.Exists(badDest) 
    then // somehow skip to the next randomized input 
    else // do the actual test 

Qual è il modo più semplice per fare questo?

Preferirei una risposta per FsCheck/NUnit se esiste, ma prenderei in considerazione qualsiasi altro framework i cui test possano essere eseguiti in Visual Studio. (Pensavo di aver visto qualche framework dove c'era una semplice funzione per fare esattamente questo, ma non riesco a capire di cosa si trattasse.)

Ho preferito FsCheck.NUnit finora perché può generare input casuali per F # tipi (sindacati discriminati, ecc.) senza ulteriore lavoro.

Answer 1

Si dovrebbe essere in grado di fare qualcosa del genere:

open FsCheck 
open FsCheck.Xunit 

[<Property(MaxTest=10)>] 
let ``Calling unzipTo with an invalid destination will yield a failure.`` badDest = 
    (not Directory.Exists(badDest)) ==> lazy 
    // do the actual test 

La prima riga è una condizione booleana, e ==> è un operatore personalizzato definito dal modulo FsCheck. Sarà forzata solo la valutazione dell'espressione pigra se la condizione sul lato destro è pari a true.

Considerare, tuttavia, il refactoring di questo test in modo che non dipenda dal file system. Il file system è persistente, in modo che venga creata automaticamente una Fix Persistent, che è a lot of trouble to manage; non impossibile da gestire, ma meglio evitare.

Questo esempio utilizza FsCheck.Xunit, ma IIRC FsCheck.Nunit funziona allo stesso modo. Si dovrebbe seriamente considerare l'utilizzo di FsCheck.Xunit invece di FsCheck.Nunit, tuttavia. Il modello di estensibilità di NUnit 2 è straordinariamente scadente, il che significa che la maggior parte delle librerie di colla che tentano di estendere NUnit hanno molti problemi. Questo non è un problema con FsCheck.Nunit, ma con NUnit stesso, ma si manifesterà in un sacco di problemi per voi.

Answer 2

Non ho molta familiarità con F # o fscheck, ma NUnit fornisce la funzione Assert.Ignore(), che interromperà immediatamente il test e contrassegnato come "ignorato". Potresti anche utilizzare Assert.Inconclusive() o Assert.Pass() se ritieni che si tratti di stati più appropriati.

Answer 3

FsCheck.Prop.discard() sembra fare ciò che voglio: quando eseguo il test con la registrazione, vedo che alcuni tentativi sono stati scartati, ma sono state completate 10 corse senza essere scartate.

L'operatore ==> funziona per l'esecuzione dei test con FsCheck.Quick o simili. Tuttavia, ciò richiede che la parte pigra sia nel formato di "Testabile", dove i test che sto attualmente scrivendo sono solo <inputs>->unit.