A Leightweight Requirements Engineering Assessment Guide · CHF (2013) • 630 Employees (end 2013)...
Transcript of A Leightweight Requirements Engineering Assessment Guide · CHF (2013) • 630 Employees (end 2013)...
© Zühlke 2014
Peter Spörri, Daniel Rapp
A Lightweight Requirements Engineering Assessment Guide
9. April 2014 Slide 1
Zühlke Management Consultants. Empowering Performance.
© Zühlke 2014
Statement
requirements
are a very early occasion
to do something good
for your projects
9. April 2014 Slide 3
© Zühlke 2014
Introduction
Peter Spörri is Head of Business Unit of RE, BA and BPM at Zühlke Management Consultants AG.
Peter Spörri is the industry partner in the development of the RE Assessment.
Daniel Rapp is Business Analyst at Zühlke Management Consultants AG.
During his master’s degree in business informatics at the University of Zürich, he has developed and applied the Requirements Engineering Assessment in collaboration with Zühlke Management Consultants AG and Fraunhofer IESE.
9. April 2014 Slide 4
© Zühlke 2014
Content
Motivation and Goal:
Lightweight and efficient assessment as starting point for micro-teachings
Structure of the RE Assessment Guide:
Influencing factors, process- and document analysis, evaluation
Application Experiences: The application of the RE Assessment Guide in practice
9. April 2014 Slide 5
© Zühlke 2014
Motivation and Goal «Market Situation Summer 2012»
9. April 2014 Slide 6
Major Industries acted in a bottom line management strategy
• «Cost cutting» was a major decision driver for Managers
• Delivery of running projects at lowest cost was the main focus
• Run the business with existing infrastruc- tures, methods and tools was a common practice.
In order to tackle these market conditions, Zühlke wanted to explore new approaches to offer organisational development in the RE Domain for solution development projects.
© Zühlke 2014
Zühlke Group Switzerland, Facts & Figures
• Zühlke stands for increased innovation, productivity and growth – Product- & Software Engineering – Management Consulting – Start-up Financing
• Turnover 105 Mio. CHF (2013)
• 630 Employees (end 2013)
• Over 8000 projects to our credit
• In Austria, Germany, Serbia, Switzerland and in the United Kingdom
• Foundation 1968, now owned by a group of managing partners
9. April 2014 Slide 7
© Zühlke 2014
Approach chosen by Zühlke «Concept»
Organization’sBusiness
Body ofKnowledge1 – Assess Organizational
Competencies and Focus on the Biggest Wins
2 – Select Feasible Solutions with Accepted Effects
3 – Perform Micro Teachings to Build Individual Competence
4 – Roll Solution Out to Build Organizational Competence
IndividualCompetence
OrganizationalCompetence
SelectedSolution
Busi
ness
Impa
ctProblem
Context Validation
PotentialSolutions
Micro-Teachings
Micro-Teachings
Management ExpertPractitioner
Practitioners
Micro Teaching (as proposed by Fricker and van de Weerd) is evolutionary approach for Training:
• One teaching cycle has a duration of approx. one month
• The coach has to invest approx. five person days per month
9. April 2014 Slide 8
© Zühlke 2014
Micro Teaching is based on assessments
• Targeted competence development
• Controlled learning process
• Comparable results
Approach chosen by Zühlke «Plan & Control»
• Fast and concrete assessment of the current RE quality
• Tailored and customised recommendations how to improve the RE
9. April 2014 Slide 9
Ass
ess
Sel
ect
Com
pete
nces
Time
Microteaching Sequence
Ass
ess
Sel
ect
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
Microteaching Sequence
© Zühlke 2014
Content
Motivation and Goal:
Lightweight and efficient assessment as starting point for micro-teachings
Structure of the RE Assessment Guide:
Influencing factors, process- and document analysis, evaluation
Application Experiences: The application of the RE Assessment Guide in practice
9. April 2014 Slide 10
© Zühlke 2014
Structure of the RE Assessment Guide
Influencing factors Document analysis Process analysis
Subject areas including concrete assessment-criteria
9. April 2014 Slide 11
© Zühlke 2014
• CMMI
• ISO/IEC 15504
• R-CMM
• ReqMan
• SPMMM
• REM
Structure of the RE Assessment Guide
9. April 2014 Slide 12
© Zühlke 2014
RE Assessment Guide
9. April 2014 Slide 13
• Toolbased • Dependencies between influencing factors and assessment criteria à Tailored and efficient assessment
© Zühlke 2014
Conducting an Assessment
1. Kick-off and documentation hand-over
Customer
Assessor
2. Initial document analysis
Assessor
3. Process analyse
Assessment Guide
Assessor Interview-partner
5. Analysis of the results & creation of the final report
Assessor
9. April 2014
4. Detailed document analysis
Assessor
Assessment Guide
6. Presentation of the final report
Assessor Customer
Slide 14
© Zühlke 2014
Evaluation
ID Titel der Frage Antwort Beschreibung A1 Definierter RE Prozess Eher nein Der Prozess wurde vornehmlich vom Kunden initiiert und die Anforderungen
hauptsächlich direkt an die Entwicklungsabteilung weitergegeben. Dadurch wird das Anforderungsmanagement auf Seiten des ISC oftmals übergangen. Dieses Vorgehen wurde dabei nicht definiert.
A2 Identifizieren und Integrieren der Stakeholder
Eher ja Da es sich um ein fortlaufendes Projekt handelt, bei dem die Anforderungen bereits dokumentiert von Kundenseite geliefert werden, ist der Kunde die Hauptquelle von Anforderungen und entsprechend integriert.
A9 Einhalten des RE Prozesses
Eher nein Der definierte Prozess wird nicht immer eingehalten, da die Entwickler oftmals die Requirements Engineers bzw. Business Analysten aussen vor lassen.
B1 Grundlegende Erfassung von Anforderungen
Eher nein Nur ein kleiner Teil der Anforderungen wurde seitens ISC erhoben, da viele Anforderungen bereits vom Kunden in die Entwicklung gegeben wurden.
B2 Zentrale Speicherung von Anforderungen
Ja, voll und ganz Die Anforderungen und Use Cases wurden zentral auf einem Server gespeichert.
B3 Toolunterstützte Erfassung von Anforderungen
Eher ja Die Anforderungen wurden in Magic Draw erfasst.
C1 Erstellen eines standardisierten Anforderungsdokuments
Ja, voll und ganz Das Anforderungsdokument („Systemanforderungen“) wird toolbasiert mit den Inhalten aus Magic Draw generiert (Dokumentenhülle).
C2 Standardisierte Erfassung der Anforderungen
Ja, voll und ganz In Magic Draw ist eine Vorlage für die Erfassung von Anforderungen definiert, die bei der Erfassung eingehalten werden müssen. Dadurch ist eine standardisierte Erfassung sichergestellt. Die Use Cases werden in einem Word-Template erstellt und weisen deshalb ebenfalls eine einheitliche Struktur auf.
C3 Übersicht über alle Anforderungen
Eher nein Da nur wenige Anforderungen auf Seiten des ISC näher spezifiziert werden und vornehmlich vom Kunden direkt an die Entwicklungsabteilung kommuniziert werden, ist auf Seiten des ISC keine vollständige Übersicht über alle Anforderungen vorhanden.
C4 Suchen & Finden von Anforderungen
Ja, voll und ganz In Magic Draw kann gezielt nach Anforderungen gesucht werden.
C5 Änderbarkeit von Anforderungen
Ja, voll und ganz In Magic Draw können die Anforderungen jederzeit geändert werden.
C6 Abkürzungsverzeichnis Nein, gar nicht Ein Abkürzungsverzeichnis war vorgesehen, wurde aber nicht umgesetzt. C7 Glossar Nein, gar nicht Ein Glossar war vorgesehen, wurde aber nicht umgesetzt.
• Export of the raw data from the Assessment Guide
• Excel-Makro for processing the raw data
• Explanation and evaluation of each assessment criteria
• Recommendation for a concrete course of actions
9. April 2014 Slide 15
© Zühlke 2014
Evaluation
ID Titel der Frage Antwort Beschreibung A1 Definierter RE Prozess Eher nein Der Prozess wurde vornehmlich vom Kunden initiiert und die Anforderungen
hauptsächlich direkt an die Entwicklungsabteilung weitergegeben. Dadurch wird das Anforderungsmanagement auf Seiten des ISC oftmals übergangen. Dieses Vorgehen wurde dabei nicht definiert.
A2 Identifizieren und Integrieren der Stakeholder
Eher ja Da es sich um ein fortlaufendes Projekt handelt, bei dem die Anforderungen bereits dokumentiert von Kundenseite geliefert werden, ist der Kunde die Hauptquelle von Anforderungen und entsprechend integriert.
A9 Einhalten des RE Prozesses
Eher nein Der definierte Prozess wird nicht immer eingehalten, da die Entwickler oftmals die Requirements Engineers bzw. Business Analysten aussen vor lassen.
B1 Grundlegende Erfassung von Anforderungen
Eher nein Nur ein kleiner Teil der Anforderungen wurde seitens ISC erhoben, da viele Anforderungen bereits vom Kunden in die Entwicklung gegeben wurden.
B2 Zentrale Speicherung von Anforderungen
Ja, voll und ganz Die Anforderungen und Use Cases wurden zentral auf einem Server gespeichert.
B3 Toolunterstützte Erfassung von Anforderungen
Eher ja Die Anforderungen wurden in Magic Draw erfasst.
C1 Erstellen eines standardisierten Anforderungsdokuments
Ja, voll und ganz Das Anforderungsdokument („Systemanforderungen“) wird toolbasiert mit den Inhalten aus Magic Draw generiert (Dokumentenhülle).
C2 Standardisierte Erfassung der Anforderungen
Ja, voll und ganz In Magic Draw ist eine Vorlage für die Erfassung von Anforderungen definiert, die bei der Erfassung eingehalten werden müssen. Dadurch ist eine standardisierte Erfassung sichergestellt. Die Use Cases werden in einem Word-Template erstellt und weisen deshalb ebenfalls eine einheitliche Struktur auf.
C3 Übersicht über alle Anforderungen
Eher nein Da nur wenige Anforderungen auf Seiten des ISC näher spezifiziert werden und vornehmlich vom Kunden direkt an die Entwicklungsabteilung kommuniziert werden, ist auf Seiten des ISC keine vollständige Übersicht über alle Anforderungen vorhanden.
C4 Suchen & Finden von Anforderungen
Ja, voll und ganz In Magic Draw kann gezielt nach Anforderungen gesucht werden.
C5 Änderbarkeit von Anforderungen
Ja, voll und ganz In Magic Draw können die Anforderungen jederzeit geändert werden.
C6 Abkürzungsverzeichnis Nein, gar nicht Ein Abkürzungsverzeichnis war vorgesehen, wurde aber nicht umgesetzt. C7 Glossar Nein, gar nicht Ein Glossar war vorgesehen, wurde aber nicht umgesetzt.
• Export des Ergebnisses aus LimeSurvey
• Excel-Makro zur Aufbereitung der Rohdaten
• Erklärung der jeweiligen Assessment-Kriterien
• Ableiten von konkreten Handlungsempfehlungen
9. April 2014 Slide 16
© Zühlke 2014
Evaluation
ID Titel der Frage Antwort Beschreibung A1 Definierter RE Prozess Eher nein Der Prozess wurde vornehmlich vom Kunden initiiert und die Anforderungen
hauptsächlich direkt an die Entwicklungsabteilung weitergegeben. Dadurch wird das Anforderungsmanagement auf Seiten des ISC oftmals übergangen. Dieses Vorgehen wurde dabei nicht definiert.
A2 Identifizieren und Integrieren der Stakeholder
Eher ja Da es sich um ein fortlaufendes Projekt handelt, bei dem die Anforderungen bereits dokumentiert von Kundenseite geliefert werden, ist der Kunde die Hauptquelle von Anforderungen und entsprechend integriert.
A9 Einhalten des RE Prozesses
Eher nein Der definierte Prozess wird nicht immer eingehalten, da die Entwickler oftmals die Requirements Engineers bzw. Business Analysten aussen vor lassen.
B1 Grundlegende Erfassung von Anforderungen
Eher nein Nur ein kleiner Teil der Anforderungen wurde seitens ISC erhoben, da viele Anforderungen bereits vom Kunden in die Entwicklung gegeben wurden.
B2 Zentrale Speicherung von Anforderungen
Ja, voll und ganz Die Anforderungen und Use Cases wurden zentral auf einem Server gespeichert.
B3 Toolunterstützte Erfassung von Anforderungen
Eher ja Die Anforderungen wurden in Magic Draw erfasst.
C1 Erstellen eines standardisierten Anforderungsdokuments
Ja, voll und ganz Das Anforderungsdokument („Systemanforderungen“) wird toolbasiert mit den Inhalten aus Magic Draw generiert (Dokumentenhülle).
C2 Standardisierte Erfassung der Anforderungen
Ja, voll und ganz In Magic Draw ist eine Vorlage für die Erfassung von Anforderungen definiert, die bei der Erfassung eingehalten werden müssen. Dadurch ist eine standardisierte Erfassung sichergestellt. Die Use Cases werden in einem Word-Template erstellt und weisen deshalb ebenfalls eine einheitliche Struktur auf.
C3 Übersicht über alle Anforderungen
Eher nein Da nur wenige Anforderungen auf Seiten des ISC näher spezifiziert werden und vornehmlich vom Kunden direkt an die Entwicklungsabteilung kommuniziert werden, ist auf Seiten des ISC keine vollständige Übersicht über alle Anforderungen vorhanden.
C4 Suchen & Finden von Anforderungen
Ja, voll und ganz In Magic Draw kann gezielt nach Anforderungen gesucht werden.
C5 Änderbarkeit von Anforderungen
Ja, voll und ganz In Magic Draw können die Anforderungen jederzeit geändert werden.
C6 Abkürzungsverzeichnis Nein, gar nicht Ein Abkürzungsverzeichnis war vorgesehen, wurde aber nicht umgesetzt. C7 Glossar Nein, gar nicht Ein Glossar war vorgesehen, wurde aber nicht umgesetzt.
• Export of the raw data from the Assessment Guide
• Excel-Makro for processing the raw data
• Explanation and evaluation of each assessment criteria
• Recommendation for a concrete course of actions
9. April 2014 Slide 17
© Zühlke 2014
Evaluation
# of positive answers # of assessed criteria
# of positive answers # of assessed criteria
9. April 2014 Slide 18
Doc
umen
t ana
lysi
s
Process analysis
© Zühlke 2014
Step Efforts Customer Efforts Zühlke
1. Kick-off 1 hour each participant 1 hour preparation, 1 hour meeting
2. Initial document analysis - 4 hours
3. Process analysis 2 hours per interview 2 hours per interview
4. Detailed document analysis - 8 hours
5. Analysis of the result & creation of the final report
- 16 hours
6. Presentation of the final report
1 hour each participant 1 hour preparation, 1 hour meeting
Sum 4 hour each participant 34 hours
Overall Efforts
9. April 2014
In a typical project setting there are 3 team members on customer side involved. Thus the overall effort on customer side is 12 hours.
Slide 19
© Zühlke 2014
Content
Motivation and Goal:
Lightweight and efficient assessment as starting point for micro-teachings
Structure of the RE Assessment Guide:
Influencing factors, process- and document analysis, evaluation
Application Experiences: The application of the RE Assessment Guide in practice
9. April 2014 Slide 20
© Zühlke 2014
10 industrial projects
• 3 - 7 full time equivalents
• 600 - 1500 person days
• 12 - 18 months
• Iterative software development processes
Assessed Projects
9. April 2014 Slide 21
27 projects in an academic environment
• Real customers from the industry
• Perform the entire software development process
• Direct and independent communication with the customer
© Zühlke 2014
1. Analyse current RE process – e.g. after the Elaboration phase
2. Compare how RE is performed in several software development projects within one company
3. Investigate the communication flow within the project teams
Assessment Project Settings
9. April 2014 Slide 22
© Zühlke 2014
• Assessment itself provides meaningful results and thus value to the customers
• Flexibility of assessment guide enables to tailor the assessment to customer specific needs
• Limited amount of time and resources required to conduct assessment
• Assessment delivers Helpful Micro Teachings at a major Payment Service Provider
Success Stories
9. April 2014
• Creation of the final report requires still a lot of time
• Further refinement of possible answers of the assessment criteria would be helpful
Slide 23
© Zühlke 2014
The Experience: A friendly and positive Approach
• Zühlke Assessments to identify room for improvement (not to blame bad Requirements)
• Recommendations are significant and used to blend “Corporate Learning Process”
• Micro Teachings are tailored to the project need
• Relevant knowhow can be applied immediately
• Project specific coaching with Zühlke RE Specialists
• Additional support with Zühlke Business Analysts to “get things done”
9. April 2014 Slide 24
© Zühlke 2014
Current and Future Work
Choosing an assessment platform and automatisation of the evaluation
Supporting further research projects to get more insights into the RE context
Open: how to get towards a maturity level oriented evaluation?
9. April 2014 Slide 25
© Zühlke 2014
Thank you for your Attention!
9. April 2014 Slide 26