Pedro CustódioMarch 2008

QUsability & Quality

Case Study:

Integrating a Usability process as a quality factor in the software development process

Pedro CustódioMarch 2008

Quality <=> Satisfaction

Pedro CustódioMarch 2008

Development Process

ProductionAnalysis Development

Quality

Development

SpecificationQuality Report

Pedro CustódioMarch 2008

The whole quality process is sustained in a quality evaluation on four major subjects:

Quality Evaluation

Pedro CustódioMarço 2008

Customer

SupportTechnical

UsabilityDesign

Pedro CustódioMarch 2008

Evaluation Scale

Pedro CustódioMarço 2008

N.A.

Critical, not production ready

With serious problems

With problems

O.K. with issues

O.K.

Pedro CustódioMarch 2008

Quality ReportProduce a quality report that states the overall evaluation of a project according to the evaluation matrix

Pedro CustódioMarço 2008

Pedro CustódioMarch 2008

Usability Education

User Centered Design

Raise Credibility

Best Practices Adoption

Development process Integration

Convergence

Pedro Custódio

QMarch 2008

User CenteredDesign

Performance

Content

Easy of Use

Satisfaction

Brand Value

Suitable

Pedro Custódio

QMarch 2008

Why makeusability studies?

Pedro CustódioMarch 2008

Useris someone which is afected by

our products

Pedro CustódioMarch 2008

Reduce Costs

development

support

maintenance

Increase

user satisfaction

user loyalty

user numbers

Business reasons

Pedro Custódio

QMarch 2008

‘software engineering, a practitioners approach’ mcgraw-hill

Cost of changes in a project

1x During Design

6x DuringDevelopment

100x Afterdeployed

Pedro CustódioMarch 2008

Premises

Iterative process

Development process integration

Fast prototyping

Frequently tested with users

Pedro Custódio

QMarch 2008

Usability Process

PlanningDefine the

process

Follow

guidelines

Write a work

plan

Assemble a

team

Have a

KickOff

Meeting

Write work

objectivs

Hire an usability

expert

AnalysisEvaluate

current

product/site

Know your

users

Study usage

flows

Development

Personas

Identify

Usage

Scenarios

Identify

Usage

Scenarios

Design /

Development

Determine

product

requirements

Inventariar

conteúdosCard Sorting

information

Architecture

Develop

prototypes

Develop

product/

service

Tests and

Improvements

Learn from

the

evaluations

Learn from

usability

tests

Develop a

test plan

Review

scenarios

Recruit

testers

Assemble

Usability

tests

Conduct

usability

tests

Results

Analysis

Write a

report

Implement

changes

Pedro CustódioMarch 2008

Planning

Pedro CustódioMarch 2008

KickOff Meetings

Pedro Custódio

QMarch 2008

QUALIDADE @ SAPO - PLANO DE REUNIÃO KICK-OFF / RE-DESENHO

1. Qual é o propósito para o serviço:

a. Qual é o propósito para o serviço ?

b. Quais são os objectivos do serviço?

2. Quais são os objectivos de desenvolvimento deste serviço:

a. Como definem um serviço de sucesso dentro do SAPO

b. Quais serão os factores visíveis de sucesso? Como saber se um serviço tem ou não sucesso?

c. Como descrevem este serviço?

d. Do ponto de vista do SAPO?

e. Do ponto de vista dos utilizadores?

3. Definir audiência e objectivos:

a. Quem são os utilizadores deste serviço? (primários e secundários)

b. Como descrevem os utilizadores? (características como a idade, experiência, educação, etc.)

c. Porque é que estes usam o serviço? (necessidades, interesses e objectivos dos utilizadores)

d. Como é que os utilizadores chegam ao serviço? (contextos)

e. Como é que os utilizadores acedem ao serviço? (equipamentos, tipos de ligação, resoluções,

etc.)

4. Análise e prioritização de funcionalidades/tarefas:

a. O que é que os utilizadores podem/puderam fazer no serviço? (conteúdos, funcionalidades, etc.

b. Quais as funcionalidades mais críticas para os utilizadores? (criticidade)

c. Quais as funcionalidades mais importantes para os utilizadores? (importância)

d. Quais as funcionalidades mais usadas pelos utilizadores? (frequência)

e. Quais as funcionalidades mais sujeitas a problemas de usabilidade? (vulnerabilidade)

f. Quais as tarefas criticas para o sucesso e organização deste serviço?

g. Qual a frequência de utilização do serviço pelos utilizadores?

h. O que os trará de volta?

5. Determinar objectivos mesuráveis de Usabilidade:

a. Que tarefas os utilizadores devem conseguir realizar facilmente com pequenos erros? (eficiência)

b. Que tarefas os utilizadores devem conseguir completar de forma rápida e eficiente? (eficácia)

c. Qual o grau de satisfação desejado para os utilizadores após utilizarem o serviço? (satisfação)

6. Discutir expectativas, requisitos e preferências:

a. Qual é a visão pessoal de cada um para este serviço?

b. Descrever a sua visão inicial do projecto? Qual deve ser o objectivo de longo prazo do site?

c. O que suscitou o redesenho?

d. Existem restrições, obrigações ou directrizes para o serviço?

e. Existem serviços semelhantes que possam servir de exemplo?

f. Existe algum estilo pessoal que prefiram?

g. Que características/atributos/atitude deve o serviço transmitir aos seus utilizadores?

7. Determinar grau e necessidades de acessibilidade:

a. Qual é o grau actual de acessibilidade do serviço?

b. Que tipo de testes de acessibilidade foram feitos?

c. Que tipo de ferramentas de acessibilidade são usados?

d. Quem é o responsável pelas questões de acessibilidade deste serviço?

Meeting Plans

Pedro Custódio

QMarch 2008

8. Identificar recursos disponíveis e necessidades de formação:

a. Qual é o nível de recursos para actualização e manutenção do serviço?

b. Existem pessoas com treino para produzir conteúdos específicos para a Web?

c. Existem designers na equipa deste serviço?

d. Quem são os responsáveis pelo desenvolvimento deste serviço?

e. Quem é o responsável pela promoção e marketing do serviço?

9. Discutir e identificar necessidades tecnológicas:

a. Quais as necessidades de alojamento/equipamentos?

b. O serviço já possui nome para o domínio ou é necessário um novo?

c. Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual?

d. Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais?

e. Serviço possui algum tipo de motor de pesquisa? Se sim, qual?

10. Plano de projecto

!

8. Identificar recursos disponíveis e necessidades de formação:

a. Qual é o nível de recursos para actualização e manutenção do serviço?

b. Existem pessoas com treino para produzir conteúdos específicos para a Web?

c. Existem designers na equipa deste serviço?

d. Quem são os responsáveis pelo desenvolvimento deste serviço?

e. Quem é o responsável pela promoção e marketing do serviço?

9. Discutir e identificar necessidades tecnológicas:

a. Quais as necessidades de alojamento/equipamentos?

b. O serviço já possui nome para o domínio ou é necessário um novo?

c. Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual?

d. Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais?

e. Serviço possui algum tipo de motor de pesquisa? Se sim, qual?

10. Plano de projecto

!

8. Identificar recursos disponíveis e necessidades de formação:

a. Qual é o nível de recursos para actualização e manutenção do serviço?

b. Existem pessoas com treino para produzir conteúdos específicos para a Web?

c. Existem designers na equipa deste serviço?

d. Quem são os responsáveis pelo desenvolvimento deste serviço?

e. Quem é o responsável pela promoção e marketing do serviço?

9. Discutir e identificar necessidades tecnológicas:

a. Quais as necessidades de alojamento/equipamentos?

b. O serviço já possui nome para o domínio ou é necessário um novo?

c. Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual?

d. Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais?

e. Serviço possui algum tipo de motor de pesquisa? Se sim, qual?

10. Plano de projecto

!

8. Identificar recursos disponíveis e necessidades de formação:

a. Qual é o nível de recursos para actualização e manutenção do serviço?

b. Existem pessoas com treino para produzir conteúdos específicos para a Web?

c. Existem designers na equipa deste serviço?

d. Quem são os responsáveis pelo desenvolvimento deste serviço?

e. Quem é o responsável pela promoção e marketing do serviço?

9. Discutir e identificar necessidades tecnológicas:

a. Quais as necessidades de alojamento/equipamentos?

b. O serviço já possui nome para o domínio ou é necessário um novo?

c. Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual?

d. Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais?

e. Serviço possui algum tipo de motor de pesquisa? Se sim, qual?

10. Plano de projecto

!

Meeting Plans

Pedro Custódio

QMarch 2008

Usability Process

PlanningDefine the

process

Follow

guidelines

Write a work

plan

Assemble a

team

Have a

KickOff

Meeting

Write work

objectivs

Hire an usability

expert

AnalysisEvaluate

current

product/site

Know your

users

Study usage

flows

Development

Personas

Identify

Usage

Scenarios

Identify

Usage

Scenarios

Design /

Development

Determine

product

requirements

Inventariar

conteúdosCard Sorting

information

Architecture

Develop

prototypes

Develop

product/

service

Tests and

Improvements

Learn from

the

evaluations

Learn from

usability

tests

Develop a

test plan

Review

scenarios

Recruit

testers

Assemble

Usability

tests

Conduct

usability

tests

Results

Analysis

Write a

report

Implement

changes

Pedro CustódioMarch 2008

Analysis

Pedro CustódioMarch 2008

Personas

Pedro CustódioMarch 2008

Advantages

Design: supporting the design process and the service structure;

Design explanations: help sustain and justify decisions from the previous stage;

Build consensus: by categorizing users and behaviors it’s easir to build consesus among the team on choices and implementations;

Evaluation: allow the evaluation of choices in terms of return, since they can be easily tested against selected user groups

Other fields (not development): an important working material for other teams beside the development teams. Teams like marketing and branding or even helping and sustaining company strategic planning.

Pedro CustódioMarch 2008

Use Scenarios and Workflows

Pedro Custódio

QMarch 2008

Usability Process

PlanningDefine the

process

Follow

guidelines

Write a work

plan

Assemble a

team

Have a

KickOff

Meeting

Write work

objectivs

Hire an usability

expert

AnalysisEvaluate

current

product/site

Know your

users

Study usage

flows

Development

Personas

Identify

Usage

Scenarios

Identify

Usage

Scenarios

Design /

Development

Determine

product

requirements

Inventariar

conteúdosCard Sorting

information

Architecture

Develop

prototypes

Develop

product/

service

Tests and

Improvements

Learn from

the

evaluations

Learn from

usability

tests

Develop a

test plan

Review

scenarios

Recruit

testers

Assemble

Usability

tests

Conduct

usability

tests

Results

Analysis

Write a

report

Implement

changes

Pedro CustódioMarch 2008

Design / Development

Pedro CustódioMarch 2008

Information Architecture

Pedro CustódioMarch 2008

Prototyping

BETA

Pedro CustódioMarch 2008

Tests and Improvements

Pedro Custódio

QMarch 2008

Have you ever done a usability test, lost hours writing the usability report

and in the end didn’t seen any results applied?

Pedro Custódio

QMarch 2008

How many times have you read someone else usability report?

Lost time?

Pedro Custódio

QMarch 2008

Presenting Usability Results

Jakob Nielsen, 2005 http://www.useit.com/alertbox/20050425.html

Pedro Custódio

QMarch 2008

Usability Reportsnormally don’t get to those

who need them most!

And few are willing to read them!

Pedro Custódio

QMarch 2008

Traditional Tests Fast Usability Tests

Number of Users

Recruiting Effort

Where to make them

Who makes them

Planning

Preparation

What? And When to test?

Costs

next?

8+ 3/4

Selected according to the audience

Any person with web experience

Usability Lab Any Room

Usability Professional Someone with patience

Weeks planning Anytime

Write and Discuss a test protocol

Select the features we want to test

Normally everything and close to the end of the project

Small tests at any time of the development process

€5000 - €15000+ 0 - €300 (€0 - €100 per user)

A ‘n’ page report a week later / Development meeting

Meeting Immediately after the tests

‘Don’t Make Me Think’ - Steve Krug

Pedro Custódio

QMarch 2008

‘Don’t Make Me Think’ - Steve Krug

Traditional Tests Fast Usability Tests

Number of Users

Recruiting Effort

Where to make them

Who makes them

Planning

Preparation

What? And When to test?

Costs

next?

8+ 3/4

Selected according to the audience

Any person with web experience

Usability Lab Any Room

Usability Professional Someone with patience

Weeks planning Anytime

Write and Discuss a test protocol

Select the features we want to test

Normally everything and close to the end of the project

Small tests at any time of the development process

€5000 - €15000+ 0 - €300 (€0 - €100 per user)

A ‘n’ page report a week later / Development meeting

Meeting Immediately after the tests

Pedro CustódioMarch 2008

ProblemsRecording and analysing all the information

Processing all the recorded materials that came out of the tests

Gather and process all observer’s notes

Evaluate the overall satisfaction for each service/site

Discuss observations

Implementing conclusions

Pedro CustódioMarch 2008

Record Information

Moraehttp://www.techsmith.com/morae.asp

ScreenFlow + VNChttps://www.varasoftware.com/products/screenflow/

Pedro Custódio

QMarch 2008

Demonstração

Pedro Custódio

QMarch 2008

O nosso ‘Setup’

VNC

Sala de Testes

Observadores

Pedro CustódioMarch 2008

Gather and process notesWe assembled a standard observation report form for all observations to use during the tests:

Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar

(...)2

Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar

TAREFA 11

Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar

(...)3

Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar

(...)4

Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar

(...)5

Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar

(...)6

Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar

(...)7

Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar

TAREFA 88

Estudo:

Utilizador:

Avaliador:

Data:

Observações:

Pedro CustódioMarch 2008

Recolher e Processar Notas

0

4

Tarefa 1 Tarefa 2 Tarefa 3 Tarefa 4 Tarefa 5 Tarefa 6 Tarefa 7 Tarefa 8

Terminou com facilidade Terminou com problemas Não conseguiu terminar

Pedro CustódioMarch 2008

Evaluate satisfaction

Pedro Custódio

QMarch 2008

Escala de Usabilidade de Serviços Discordo Muito

Concordo Muito

1. Gostaria de usar este serviço frequentemente

2. Achei que o serviço era desnecessariamente complexo

3. Achei o serviço simples de usar

4. Penso que iria precisar de apoio técnico para usar o serviço

5. Achei as várias funcionalidades do serviço bem integradas

6. Penso que havia demasiadas inconsistências no serviço

7. Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço

8. Achei que o serviço não era trivial de usar

9. Senti-me muito confiante a usar o serviço

10. Preciso de aprender muito antes de poder usar este serviço

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

‘SUS - A quick and dirty usability scale’ - John Brooke

Pedro CustódioMarch 2008

Gostaria de usar este serviço frequentemente

Achei que o serviço era desnecessariamente complexo

Achei o serviço simples de usar

Penso que iria precisar de apoio técnico para usar o serviço

Achei as várias funcionalidades do serviço bem integradas

Penso que havia demasiadas inconsistências no serviço

Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço

Achei que o serviço não era trivial de usar

Senti-me muito confiante a usar o serviço

Preciso de aprender muito antes de poder usar este serviço

0 4

Discordo Muito Concordo Muito

Avaliar Satisfação

Pedro CustódioMarch 2008

Avaliar Satisfação

Interpretação dos resultados:

cada item varia entre 0 - 4

classificar:

items 1,3,5,7 e 9 = valor atribuído pelo utilizador - 1

items 2,4,6,8 e 10 = 5 - valor atribuído pelo utilizador

Avaliação do grau de satisfação de um serviço:

Multiplicar o valor da soma de todos os items por 2.5

Resultado = 0 -100

Pedro Custódio

QMarch 2008

Total = 22 Classificação SUS = 22 *2.5 = 55

Escala de Usabilidade de Serviços Discordo Muito

Concordo Muito

1. Gostaria de usar este serviço frequentemente

2. Achei que o serviço era desnecessariamente complexo

3. Achei o serviço simples de usar

4. Penso que iria precisar de apoio técnico para usar o serviço

5. Achei as várias funcionalidades do serviço bem integradas

6. Penso que havia demasiadas inconsistências no serviço

7. Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço

8. Achei que o serviço não era trivial de usar

9. Senti-me muito confiante a usar o serviço

10. Preciso de aprender muito antes de poder usar este serviço

X 4

1 2 3 4 5

X 1

1 2 3 4 5

X 1

1 2 3 4 5

X 4

1 2 3 4 5

X 1

1 2 3 4 5

X 2

1 2 3 4 5

X 11 2 3 4 5

X 1

1 2 3 4 5

X 4

1 2 3 4 5

X 3

1 2 3 4 5

Pedro CustódioMarch 2008

next?

Pedro Custódio

QMarch 2008

Sessão Típica

User Test 1

User Test 2

User Test 3

User Test 4

Debriefing

Pedro CustódioMarch 2008

Objectivos do Debriefing

Analisar resultados dos testes

Definir plano de acção e plano de resolução quando for caso disso

Pedro CustódioMarch 2008

Feedback e Statistics

Usage stats

Customer support reports

Eye tracking studies

Usage HeatMaps

...

Pedro CustódioMarch 2008

Questions?

Pedro Custódio

QMarch 2008

http://flickr.com/photos/lightcnd/458382355/

http://flickr.com/photos/unclekris/2359511772/

http://www.flickr.com/photos/johnnyvulkan/239434634/

http://flickr.com/photos/42304632@N00/232004616/

http://flickr.com/photos/jazz_dalek/1845705965/

Photos

References

‘Don’t Make me Think’, Steve Krug

‘Designing for Interaction’, Dan Saffer

Usability.gov

http://www.flickr.com/photos/terry/100917705/

http://flickr.com/photos/torres21/1155965622/

http://flickr.com/photos/torres21/1155108997/

http://flickr.com/photos/nedrichards/735578028/

Pedro CustódioMarch 2008

Thanks

pedro.custodio@gmail.comhttp://blog.centopeia.com

Pedro Custódio

QMarch 2008

www.shift.pt