Gabriel_Leitao_Análise_Estatística_Rivero.pdf

Análise

Estatística

Universidade Federal do Amazonas – UFAM

Instituto de Computação – Icomp

Programa de Pós-graduação em Informática - PPGI

Gabriel de Souza Leitão

RIVERO, Luis, KALINOWSKI, Marcos, CONTE, Tayana. Practical Findings from Applying Innovative Design Usability Evaluation Technologies for Mockups of Web Applications.

Objetivos

1. Identificar se é necessário treinamento para introduzir

tecnologias DUE na indústria

2. Prever o uso de tecnologias por parte de profissionais

de desenvolvimento de software.

3. Identificar eventuais oportunidades de melhorias e

perspectivas industriais adicionais, a partir do ponto de

vista dos desenvolvedores para melhorar as

tecnologias e seus resultados

Objetivos

1. Foram avaliados os indicadores de eficácia e de eficiência

das tecnologias DUE quando aplicadas com e sem

treinamento.

2. Este indicadores são importantes porque fornecem

informações sobre a capacidade de uma técnica de

inspeção em ajudar os inspetores durante a identificação de

problemas.

3. Para estes indicadores, foram usadas as seguintes

definições:

1. Eficácia: Razão entre o número de defeitos

detectados e o total de defeitos existentes.

2. Eficiência: Razão entre o número de defeitos

detectados e do tempo gasto em encontrá-los.

Hipóteses

H01: Não há nenhuma diferença, em termos de eficácia,

no uso das tecnologias DUE para encontrar problemas de

interação do usuário com ou sem formação.

HA1: As tecnologias DUE Web apresentam uma diferença

no indicador de eficácia, quando aplicadas sem

treinamento.

H02: Não há nenhuma diferença, em termos de eficiência,

no uso das tecnologias DUE para encontrar problemas de

interação com ou sem formação.

HA2: As tecnologias DUE Web apresentam uma diferença

no indicador de eficiência, quando aplicadas sem

treinamento.

Análise Quantitativa

As tabelas a seguir agrupam os resultados por inspetor e

técnica publicados pelo autor do artigo.

Foi encontrado um erro no artigo na Tabela “Sujeitos Sem

Treinamento”. Isso alterou parcialmente alguns dos resultados

obtidos por esta análise em relação ao feito por Rivero et al.

O erro do autor está na coluna do inspetor 03, na linha “Total

Defects”. No original está escrito “09”, enquanto que o valor

correto é “13”. Nesta análise, foi utilizado o valor corrigido.

Essa modificação alterou, principalmente, os valores de eficácia

e eficiência do inspetor e, assim, as respectivas médias gerais.

Análise Quantitativa – dados do autor

Análise Quantitativa – dados desta Análise


Conforme visto anteriormente nas Tabelas e indicado pelo autor,

para o cálculo do indicador de eficácia foi utilizado o valor de

“189” que é o número total de defeitos.

Nesta Análise, foi utilizado o software “Microsoft Excel” (versão

2010 - Student) com o plugin “SigmaXL” (versão 6.7 - Trial) que

permite cálculos e plotagem de gráficos de Estatística Descritiva

e de Inferência Estatística.


Assim como o autor:

•Foi utilizado o valor de α = 0.05.

•Para comparar os indicadores de eficácia e de eficiência foram

feitas análises com Mann-Whitney e Boxplot.

Como informações adicionais:

•Foram calculados os valores de Média, Desvio Padrão,

Intervalo, Mínimo, Máximo, Percentis 25, 50 e 75, Média e

Sigma do Coeficiente de Variância, Teste de Normalidade de

Anderson-Darling, entre outros testes.

•Foram plotados os gráficos:

• Histograma (eficácia e eficiência)

• Dispersão (defeitos encontrados por tempo em min)

Mann-Whitney (Eficácia)

Mann-Whitney (Eficiência)


De acordo com os resultados de Mann-Whitney, não é o

possível rejeitar as Hipóteses Nulas (H01 e H02), pois, não há

uma diferença significante nos indicadores de eficácia e

eficiência com ou sem treinamento.

• Eficácia: p = 0,4699

• Eficiência: p = 0,1358

Apesar disso, podemos observar que tanto no indicador de

eficácia, quanto no de eficiência, o valor da mediana é um

pouco maior para os inspetores “com treinamento”.

Boxplot (Eficácia)

Boxplot (Eficiência)


Analisando os Boxplot, chegamos às conclusões de que:

• O valor da mediana do grupo “com treinamento” é

ligeiramente maior do que a mediana do grupo “sem

treinamento”.

• Sendo que:

• A mediana da eficácia é muito próxima para os dois

grupos;

• A mediana da eficiência é visivelmente maior para o

grupo com treinamento.

• O gráfico pode sugerir que, na verdade, o treinamento

ajudou, especialmente, nos resultados de eficiência.

Gráfico de Dispersão (Defeitos x Sujeitos)


O gráfico por dispersão indica que:

Para os sujeitos sem treinamento, a maior concentração está entre 40 e 100 min e entre 10 e 30 defeitos encontrados.

Para os sujeitos com treinamento, a concentração fragmentada em relação ao tempo, mas há uma concentração entre 10 e 40 defeitos encontrados. Visualmente, houve uma melhoras, mas, aparentemente não muito significativa. Nos slides a seguir, são apresentados os cálculos adicionais mencionados no início desta apresentação.

Estatística Descritiva (Eficácia)

Histograma (Eficácia)

Estatística Descritiva (Eficiência)

Histograma (Eficiência)


Para os dois indicadores (Eficiência e Eficácia) foram utilizados

o Teste de Normalidade de Anderson-Darling.

Através dele obteve-se os seguintes dados:

Eficácia com treinamento: 0,5011

Eficácia sem treinamento: 0,6030

Eficiência com treinamento: 0,1749

Eficiência sem treinamento: 0,6222

O Histograma ajuda a visualizar melhor a distribuição.

Telas (Mann-Whitney) – Eficácia

Telas (Mann-Whitney) – Eficiência

Boxplot – Eficácia

Boxplot– Eficácia

Boxplot – Eficácia

Boxplot – Eficiência

Gráfico de Dispersão – Com Treinamento

Gráfico de Dispersão – Sem Treinamento

Estatística Descritiva - Eficácia

Histograma - Eficácia

Estatística Descritiva - Eficiência

Histograma - Eficiência

Gabriel_Leitao_Análise_Estatística_Rivero.pdf

Documents

Transcript of Gabriel_Leitao_Análise_Estatística_Rivero.pdf