Den røde tråd fra testdækning til releasemetrikker

The art of developing software cheaper, in good quality and at schedule

© Software-Pro

Software-Pro – Rådgiver, bemander og uddanner

… indenfor

test og kvalitetssikring

Software-Pro …

Rådgiver vore kunder til bedre testprocesser

højere testmodenhed (TMM)

færre fejl i produktionen

billigere test og udvikling

hurtigere projektgennemløb

større agilitet

Uddanner vore kunder i certificeret test og testledelse

krav og scope management

Scrum og Kanban

CMMI

process improvement

sourcing

Bemander vore kunders projekter med testere

testmanager

testspecialister

QA konsulenter

releasemanager

danske og udenlandske konsulenter

Founder and owner

Torben Hoelgaard, B.Sc. in IT, Test and QA Consultant, CEO

Founded Software-Pro in 2008

Experience: 4 years of consulting in ATP, Saxo Bank and 18 other companies

4 years as VP of Corp. Quality Assurance at Saxotech

4 years as VP of Services at Saxotech

3 years as Nordic Sales Manager at Saxotech

3 years as Project Chief at Saxotech

7 years as Project Manager at Nordjyske

________

20+ years as Change Agent

Software-Pro - Change Cube

© S

oftw

are

-Pro

Processes

People

Methods

Level 3

Level 2

Level 1

Strategic

Tactic

Operational

B Organizational

level

A M+P+P

C Maturity

Customers and Projects

Projects (not complete list) Test Assessment

Test Strategy – develop and implement

ISTQB Test training courses

Test Community Kick off

Test Optimization Project

Test Process Issue

Test Plans & Rapports

Test Metrics and Dashboards

Test Management

Test Design and Test Execution

Test Tool implementation: QC9.2 and ALM11 a.o.

SCRUM training and coaching

Develop and implement Resource Planning

System and Processes

Development Model

Incident Management Process

Major Planning system

CMMI introduction

LEAN Test Strategy

Use Case Driven Design implementation

Agenda

Den røde tråd fra testdækning til releasemetrikker Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet

testdækning ikke brugt i det praktiske arbejde. Det er en skam, for testdækning er sammen med kvalitet to vigtige elementer, når man skal sætte mål for testen. Mål for testen er første punkt i Testing Maturity Model, så det understreger, hvor vigtigt det er. Testdækning og mål for testen er også væsentlige parametre når man skal opstille releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve at få den røde tråd gennem disse emner frem:

Testdækning (teori, dækningselementer, anvendelse i praksis)

Fejlniveau - kvalitet

Mål for testen

Testing Maturity Model (TMM)

Testplanlægning

Releasemetrikker (dashboard med trendkurver)

TMM

Den

røde tråd

Mål for testen

Mål for testen = testdækning + fejlniveau

Fejlniveau = fejlmængde x alvorlighed

Alvorlighed (severity) opdeles i kategorier

Blokerende fejl

Alvorlige fejl

Mindre alvorlige fejl

Kosmetiske fejl

Test Coverage - Exercise

Case:

You have designed 50 test cases

You planned to execute 40 test cases

You actually managed to execute 30

What is your test coverage?

A: 80%

B: 75%

C: 60%

D: Don’t know

Test Coverage - Answer

If you planned for 40 tests and did 30, most Project Managers would think that your test coverage is 75% (which would be a pretty good test)

Right answer is D: Don’t know!

Test Coverage definition: The degree, in percent, to which a coverage item has been tested

Examples of Coverage Items: User Stories, requirements, interfaces, statements etc.

In this case we have no information about the coverage item and the number of tests needed to get 100% coverage E.g. if 200 tests were needed to get 100% coverage, and you did

30, the coverage would be 15% (which would be a pretty bad test)

Testdækning – øvelse 2

Find 5 eksempler på dækningselementer

Testdækning - dækningselementer

Fra artiklen: Testdækning – et vigtigt begreb

User Stories

Instruktioner (code statements)

Beslutninger (code decisions)

Grænseflader

Transaktionstyper

Menupunkter

Brugerroller

Forretningsprocesser

Testdækning - øvelse 3

Kan man tale om testdækning per

testniveau?

Find to eksempler på dækningselementer

for hvert testniveau i ISTQB

Testdækning – udtrykkes i procent

Husk at testdækningen udtrykkes i procent

“Procentdelen af dækningselementet der

er testet”

Skal målet være 100% testdækning?

Testdækning – hvilke

Hvilke dækningselementer og hvilken

dækningsgrad skal vi vælge?

It depends…

Risici

Kommunikation

Testniveauer

Modenhed

Mål for testen

Mål for testen = testdækning + fejlniveau

Fejlniveau = fejlmængde x alvorlighed

Alvorlighed (severity) opdeles i kategorier

Blokerende fejl

Alvorlige fejl

Mindre alvorlige fejl

Kosmetiske fejl

Mål for testen - fejlniveau

Fra artiklen: Mål for testen

- eksempel på næste side

Fejlniveau – kvalitet

Målet for fejlniveauet kunne f.eks. være:

Vi vil ikke frigive software med kendte kategori

1 fejl

Vi vil ikke frigive software med kendte kategori

2 fejl, med mindre de er

dokumenterede og

der findes en workaround og

det er besluttet, hvornår fejlen rettes

Vi vil ikke frigive, før fejltendensen er faldende

Fejlniveau – øvelse 4

Find 3 eksempler på fejlniveauer

Kan man tale om fejlniveauer per testniveau?

Find et eksempel på fejlniveauet for hvert

testniveau i ISTQB

Hvorfor kendte fejl?

Fejltendens

Mål for testen

Lad os se på to eksempler fra

virkeligheden

Mellemstor virksomhed indenfor publicering

Stor virksomhed indenfor pension

Agenda

Den røde tråd fra testdækning til releasemetrikker Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet

testdækning ikke brugt i det praktiske arbejde. Det er en skam, for testdækning er sammen med kvalitet to vigtige elementer, når man skal sætte mål for testen. Mål for testen er første punkt i Testing Maturity Model, så det understreger, hvor vigtigt det er. Testdækning og mål for testen er også væsentlige parametre når man skal opstille releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve at få den røde tråd gennem disse emner frem:

Testdækning (teori, dækningselementer, anvendelse i praksis)

Fejlniveau - kvalitet

Mål for testen

Testing Maturity Model (TMM)

Testplanlægning

Releasemetrikker (dashboard med trendkurver)

0

20

40

60

80

100

TMM Saxotech DK

Feb 2005 June 2006 March 2008

TMM

22 Key Process Areas =

22 Projects of Change!

Pick 1 or pick many

Testplanlægning

Kan vi bruge “Mål for testen” i forbindelse

med testplanlægning?

Release Metrics – Test Progress

Metrik - pyramide

Når ledelsen ser de centrale metrikker for releasen, vil der helt naturligt komme spørgsmål til de enkelte ordninger og domæner. Det betyder, at releasemetrikkerne i virkeligheden kan ses som en pyramide, hvor man starter i toppen og spørger sig hele vejen ned fra Release -> Ordning -> Domæne -> Leverandør (Appl.) / Opgave

Det gode er, at de centrale metrikker kan genanvendes på underliggende niveauer

Releases

Ordninger

Domæner

Applikationer / Opgaver

Teststatus - fordeling

Teststatus - trend Teststatus - trend Teststatus - trend

Fejl - alvorlighed Fejl - trend Fejlede test iht. prio

Fælles

Domæne

Ordning

Release

Overblik - Scope

28 X

Releasemetrikker – Dashboard link

TMM

Den

røde tråd

Questions & comments? Info@Software-Pro.dk

www.Software-Pro.dk +45 3178 0000 © Software-Pro