2016-06-27 20 views
5

Ci scusiamo se questa domanda è più adatta ai programmatori di scambi di stack, l'ho pubblicata su entrambi i siti perché ho pensato che fosse sulla recinzione.Metriche di test E2E

Domanda: Esistono metriche di valore sui test automatici E2E? (Ha senso per raccogliere tutti i dati che li circonda?)

Contesto: Per esempio, quando ho scritto il mio test di unità, ho implementato un pacchetto di copertura di test che copre% delle Classi, # dei metodi toccato ecc .. .

alcuni punti che ho incontrato:

  • efficienza di prova (velocità di specifiche)
  • prestazioni App (risposta/tempo di caricamento)
  • Automation Progress (# di test attualmente automatizzato VS # di test in grado di essere automatizzato)
  • Defect Efficienza (# di difetti riscontrati durante i test VS # di difetti riscontrati dopo la consegna)

Tutte le idee? Se è importante, sto usando Protractor su un'app Angular.

+1

È necessario definire prima gli obiettivi dell'automazione di test nel proprio contesto. Quindi creare le metriche per rappresentare il divario verso il risultato desiderato. La metrica di lancio senza uno scopo ben definito è inutile. –

+0

@FlorenteB. vero, grazie per il tuo contributo. Suppongo che l'obiettivo principale sia un controllo di integrità verificando che le parti principali dell'app funzionino ancora correttamente mentre lo sviluppo continua (suppongo che si tratti di test funzionali/di regressione?) Non voglio dire che è semplicemente un felice test di percorso (perché penso che sia più approfondito di così) ... ma per mancanza di un termine migliore possiamo considerarlo così. – Gunderson

risposta

2

Qualcosa che mi viene in mente con goniometro: È possibile misurare la copertura del codice con i test E2E pure, ma che richiederebbe alcuni trucchi per impostare, controllare questo: https://www.npmjs.com/package/protractor-istanbul-plugin https://www.npmjs.com/package/grunt-protractor-coverage

Essere consapevoli del fatto che non è soluzione pulita - il tuo codice potrebbe essere minimizzato, lato server non incluso, tieni questo a mente.

Inoltre, si potrebbe misurare le prestazioni pagina (velocità di caricamento, velocità di esecuzione JS, CSS rendere altri calcoli sul lato client) con qualcosa come goniometro-perf: https://github.com/axemclion/protractor-perf

ma anche tenere a mente che richiede un sacco di preparativi per farlo, ma comunque è bello.

Informazioni su Automazione Avanzamento/Percentuale automatica: penso che non sia possibile tracciare questo automaticamente, solo se i requisiti saranno molto dettagliati e memorizzati in alcuni sistemi con API. Quindi potresti collegare il tuo caso di test con requisiti specifici e tracciarlo. Non l'ho mai visto funzionare davvero.

Defect Efficiency: più facile da tracciare con i report JIRA.

+0

Impressionante, apprezza l'input. Sì, continuo a tornare alla domanda "è valsa la pena?". Aspetterò qualche altra risposta – Gunderson

1

Sì, ha senso raccogliere dati sulle metriche di test E2E. Oltre all'esecuzione di casi di test, prestazioni e altre misurazioni, ci aiuta a prendere la decisione per la prossima fase di attività come, stimare il costo del programma & dei progetti futuri. Comprendere il tipo di miglioramento richiesto per il successo del progetto. Prendere decisioni sul processo o sulla tecnologia da modificare ecc. Le metriche del test sono le più importanti per misurare la qualità del software.

Problemi correlati