Relatori:

Progetto ICEBERGStima dei costi della non qualità nei progetti software

Daniele Rosso, Assioma.net – Direttore Area TecnicaRoberto Pietrantuono, Consorzio Interuniversitario Nazionale per l'Informatica (CINI) - Ricercatore

Software Testing Forum - 24 giugno 2014

The research has received funding from the European Union Seventh Framework Programme (FP7/2007‐2013) under grant agreement n°324356

Agenda

2

PartnerObiettivoFasi del progettoDissemination

Agenda

3

PartnerObiettivoFasi del progettoDissemination

ICEBERG mira a migliorare l’interazione tra il mondo industriale e quello accademico promuovendo lo scambio incrociato di conoscenze in contesti culturali e geografici differenti. In particolare:

ANET (coordinatore del progetto)con conoscenze e competenze in SW quality assurance e certificazioni ISTQB.

DEISER con competenze in strumenti per processi decisionali e metodi di business.

CINI con esperienza nella verifica e validazione del SW in diversi settori, nonché nelle applicazioni critiche.

UAH con conoscenza nelle metriche del SW, modelli e testing, qualità del software e produttività, e sua relazione con gli “human factors”

ICEBERG Project: Partner

4

CINI

Consorzio Inter-universitario Nazionale per l’Informatica 36 Università pubbliche 1.307 su 1.508 professori di informatica e ingegneria informatica in ItaliaLaboratorio “C. Savy” ITEM Napoli

2010: 16 progetti EU, 43 progetti nazionali, >60 persone che lavorano sui progetti, >300 pubblicazioni

5

Agenda

6

PartnerObiettivoFasi del progettoDissemination

L’obiettivo del progetto ICEBERG è quello di disegnare un set di modelli al fine diprevedere l’impatto del costo legato alla scarsa qualità.

Proposta di azioni correttive da implementare ad ogni livello (strumenti, processi,competenze professionali coinvolti nell’intero ciclo di sviluppo SW)

i. Identificare le attività legate alla scarsa qualitàii. Definire come stimare i costi della non qualità

• Test di attività in relazione alla qualità stabilita• Implementazione incompleta o sbagliata di attività/fasi di testing• Raccolta iterativa di dati utili per la stima dei costi

iii. Analizzare i risultati e supportare il processo di decisione a livello manageriale.

Iceberg Project: Obiettivo

7

Agenda

8

PartnerObiettivoFasi del progettoDissemination

WP1• Project Management

WP2• Stato dell’arte, definizione delle metriche e dei parametri legati alla qualita’ 

WP3• Definizione di modelli e del workflow

WP4• Implementazione dello strumento e models fine‐tuning

WP5• Dissemination 

ICEBERG prevede diverse fasi (Work Packages), divise in macro-temi, fondamentali per lo sviluppo del progetto.

Fasi del progetto

9

Work Packages & Tasks

10

Approccio

ICEBERG Project 11

WP2: Stato dell’arte, definizione delle metriche e dei parametri legati alla qualità 1st deliverable: Raccolta dei bisogni industriali e analisi dello stato dell’arte

Il risultato consiste in un vocabolario comune ad ogni lettore, un framework ad alto livello sulla misura di costo/qualità e altre analisi utili a definire le metriche e disegnare un modello di supporto alle decisioni.

WP2WP2: Stato dell’arte (1/4)

Stato dell’arte relativo a metriche per l’analisi della qualità del software, standard di qualità, a strategie e al miglioramento della qualità del software;

Definire soluzioni per:Identificare attività critiche rispetto alla relazione costo/qualità;Stimare la qualità e i costi ad esse associati;Monitorare e controllare la qualità tramite la raccolta di dati, l’analisi e l’implementazione di un supporto a livello manageriale

12

Quali sono i fattori che impattano la (non) qualità?

Ci si riferisce in letteratura all’ Iron Triangle.

WP2

COSTO

SCOPE

SCHEDULE/TIME DEFECTS/QUALITY

Qualità rispetto dei vincoli Costo e Tempo!

Es. Una decisione di qualità può essere l’implementazione del codice di analisi statica, il suo impatto sulla pianificazione del progetto potrebbe causare ritardi nel completamento dei task ma il numero di defect potrebbe essere ridotto ad un certo livello che porta alla riduzione dei costi. Il project manager deve sapere se è conveniente e in linea con gli obiettivi del progetto.

WP2: State of the art (2/4)

13

Qual è la relazione tra i fattori che impattano la qualità e il costo? Come possono essere misurati, controllati e migliorati?

WP2

Relazione indiretta

(es. In termini di insoddisfazione del cliente, costi di gestione dovuti a defect residui, ecc.)

Relazione diretta

(es. misurando l’effort e il tempo per sviluppare il prodotto con una certa qualita’)

COSTO  & QUALITA’

I tre fattori di costo, tempo e qualità sono oggetto di una indagine condotta tramite una interview-survey somministrata in diverse fasi.

WP2: State of the art (3/4)

14

WP2: Stato dell’arte, definizione delle metriche e dei parametri legati alla qualità 2nd deliverable: Validazione degli scenari e parametri legati alla qualità

WP2

WP2: State of the art (4/4)

i parametri e le metriche coinvolti nell’implementazione del modello si baseranno su attributi (es., il numero di defect trovati, affidabilità, robustezza) definiti in studi precedenti derivanti dall’incrocio tra teoria e pratica.gli approcci proposti saranno testati su casi reali: i partner industriali provvederanno a definire un set di scenari per la validazione del processo . I casi di studio si baseranno su:

rilevanza del tema; adattabilità (presenza e disponibilità di dati e competenze); scalabilità (i casi presi in considerazione dovranno essere in linea con le risorse e i tempi del progetto); estendibilità (l’approccio testato dovrebbe essere esteso anche ad altri settori oltre a Telco e Finance).

15

WP3: Definizione del modello

WP3

Questa fase del progetto prevede la definizione di uno schema per il supporto alle decisioni basato sul costo, qualità e tempo. Un esempio di framework è rappresentato dalla figura riportata sotto.

WP3: Model based process definition

16

Supporto alle “Quality decisions”

In generale, i modelli necessitano di misure per essere parametrizzatiI modelli supportano l’analisi, la stima, e la predizione di fattori di qualità/costo

ImproveData‐supportedDecisions

ImprovementActions

MeasurementProcess Quality

Metrics/Indicators(e.g., trackedbugs/issues)

Modeling/AnalysisQuality/Cost/TimeEstimation & Prediction

WP3WP3: Model based process definition

17

Alcuni esempi di “decisioni” su cui stiamo lavorandoValutazione di fasi del processo (implementation, testing, debugging/fixing)

Valutazione di Suppliers in processi di sviluppo basati su outsourcing

Allocation dellEffort per il testing di modules/components per minimizzare il costo o massimizzare la qualità

Decisioni sul Best Release Time basate su un valore di qualità desiderato/stimato

Valutazione della qualità di prodotto

Valutazione del processo di debugging e allocazione delle risorse di debug/testing per un’ottimizzazione globale

Build or Buy Decision per scelte relative all’acquisto o sviluppo di componenti software (trade-off costo-qualità-tempo)

…

ICEBERG Project 18

WP3WP3: Model based process definition

SUPPLIER Bug FixingTimes (days)

Implementation Quality (0-100)

SUPPLIER Work quality (0-100)

C1 75.09 0 0C2 15.28 5.65 5.65

C3 24.77 9.54 8.03

C4 41.77 48.82 27.20

C5 17.68 100 95.99C6 23.29 21.14 18.31

Who was the best supplier?

Alcuni esempi

The WORST

The BEST

WP3WP3: Model based process definition

19

WP3: Model based process definition

ICEBERG Project 20

GOOD

How two suppliers/components differ in the debugging process?

WP3

BAD!!

WP3: Model based process definition

ICEBERG Project 21

BAD!!GOOD

How two suppliers/components differ in the debugging

process?

WP3

WP3: Model based process definition

ICEBERG Project

Which DEBUGGER is deviating from the pattern? Why?

Extract the expected pattern From the Bug History:

QUEUEING FIXING

TESTING the FIX

WP3

22

WP3: Model based process definition

ICEBERG Project 23

Actual Fault Number Trend Possible

Release Week

SaturationEstimated Fault Number

When should I release my product?

Estimated Fault Number Trend

WP3

Agenda

24

PartnerObiettivoFasi del progettoDissemination

WP5: Dissemination

In questa fase tutti i partner sono coinvolti nella dissemination e in altre attività di sensibilizzazione, mirate a diffondere i risultati e raggiungere l’innovazione.

Regolarmente vengono realizzati alcuni report contenenti le attività di dissemination.

WP5

Un sito web (http://www.iceberg-sqa.eu/) con tutte le informazioni sul progetto, documenti, workshop, training.

Un blog (http://icebergsqa.wordpress.com/) che fornisce informazioni sul progetto, I suoi obiettivi, la terminologia e I principali attributi relativi alla qualita’ del software. Il blog permette di condividere i contenuti con post pubblicati su gruppi target e comunità internazionali come "QA & Testing Group" e "Software Testing Group".

WP5: Dissemination 1/2

25

WP5

International Journal on Software Tools for Technology TransferCarrozza, Gabriella and Pietrantuono, Roberto and Russo, Stefano (2014). Dynamic test planning: a study in an industrial context

35th International Conference on Software Engineering (ICSE)Cotroneo, D., Pietrantuono, R. & Russo, S (2013). A Learning-Based Method for Combining Testing Techniques.

5th International Workshop on Software Aging and Rejuvenation (WoSAR) -24th International Symposium on Software Reliability Engineering Workshop (ISSREW)D. Cotroneo, F. Frattini, R. Natella, R. Pietrantuono (2013). Performance Degradation Analysis of a Supercomputer Proc.

Information and Software TechnologiesRodriguez, D., Ruiz, R., Riquelme, J.C., Harrison, R. (2013). A study of subgroup discovery approaches for defect prediction.

Covenant Journal of Informatics and Communication Technology (CJICT)Fernandez-Sanz, L., Diez, T., Pages, C., Martinez, J.J. (2013). Managing Factors Which Influence Software Quality Results

… alcune pubblicazioni

WP5: Dissemination 2/2

26

Risolvere

Assioma.net offre un’ampia panoramica di soluzioni e servizi che consentono da una parte di controllare che la qualità delle

applicazioni percepita dall’utente finale sia in linea con le sue aspettative e con gli obiettivi

dell’azienda, dall’altra di gestire con efficacia e tempestività servizi di

help desk e di gestione dei problemi.

Analizzare

Assioma.net mette a disposizione strumenti e metodologie di

management e di reporting, nonché attività di assessment e di

misurazione dei risultati, al fine di supportare un approccio più

strategico e sistematico alla gestione della qualità, a garanzia

di un ROI più elevato e di una maggiore capacità predittiva.

Prevenire

Assioma.net offre un’ampia gamma di test strutturali e di performance,

oltre a servizi di gestione e ottimizzazione delle risorse e dei

processi in ambito Software Quality, finalizzati a coniugare l’aumento dei livelli qualitativi con la diminuzione

dei costi, in un’ottica di continuous improvement.

Assioma.net è in grado di supportare l’IT in una efficace governance della qualità applicativa, mettendo a disposizione dei propri clienti competenze specialistiche consolidate da un’esperienza quasi trentennale e organizzate in una struttura agile e flessibile che conta oltre 200 collaboratori, ha acquisito partecipazioni in aziende leader di mercato e collabora con importanti comunità accademiche nazionali ed internazionali.

Composizione del fatturato

Titolo ppt 27

Assioma.net

Milano

Via Rimembranze, 6 20090 Cesano Boscone (MI) Tel. +39 02.45055.810 Fax. +39 02.45055.841

Seoul

#502 Ivy League Bldg. 292-249 Imun-dong, Dongdaemun-gu, Seoul 130-081, Korea Tel. +82 02.9590.151 Fax. +82 02.9590.153

Torino

Via G. Spano, 6/11 10134 Torino Tel. +39 011.19709.510 Fax. +39 011.19709.541

CONTATTACI

www.assioma.netinfo@assioma.net

Grazie dell’attenzione• partner@iceberg‐sqa.eu

• www.linkedin.comSoftware Quality Assurance ICEBERG Project

• www.iceberg‐sqa.eu• http://icebergsqa.wordpress.com/• www.assioma.net• www.deiser.com• www.uah.es• www.consorzio‐cini.it