UNIVERSIDADE DO MINHOCENTRO DE COMPETÊNCIA EM TIC NA EDUCAÇÃOBRAGA, PORTUGAL

1999-2015

challenges2 0 1 5

ATAS DA IX CONFERÊNCIAINTERNACIONAL DE TIC NA EDUCAÇÃO

PROCEEDINGS OF THE IX INTERNATIONAL CONFERENCE ON ICT IN EDUCATION

Challenges 2015:

Universidade do Minho | Braga | Portugal14-15 maio | may, 2015

(Organizadores)Maria João Gomes | António José Osório | Luís Valente

ISBN: 978-989-97374-3-3

Half a century of ICT in EducationMeio século de TIC na Educação,

Challenges 2015 Meio Século de TIC na Educação, Half a Century of ICT in Education

Organizadores

Maria João Gomes António José Osório António Luís Valente

Comissão Organizadora

Altina Ramos Ana Francisca Monteiro

Ângelo de Jesus António José Osório António Luís Valente Bento Duarte da Silva Catarina Liane Araújo

Cláudia Moderno Elisabete Barros

José Alberto Lencastre Lia Raquel Luís Santos

Maria João Gomes Paulo Faria

Teresa Castro Teresa Lacerda

Comissão Científica

Ádila Faria, Agrupamento de Escolas de Vale D’ Este, Barcelos, Portugal Adriana Santos, Universidade de Cabo Verde, Cabo Verde

Adriana Gewerc Barujel, Universidade de Santiago de Compostela, Espanha Alda Pereira, U. Aberta – Laboratório de Educação a Distância e eLearning, Portugal

Alessandra Alcântara Velasquez, Universidade de Fortaleza, Brasil Alexandra Okada, Open University, Reino Unido Altina Ramos, Universidade do Minho, Portugal

Ana Amélia Carvalho, Universidade de Coimbra, Portugal Ana Francisca Monteiro, Universidade do Minho, Portugal Ângelo de Jesus, Instituto Politécnico do Porto, Portugal Antonio Bartolomé, Universitat de Barcelona, Espanha

António Augusto Moreira, Universidade de Aveiro, Portugal António José Mendes, Universidade de Coimbra, Portugal

António José Osório, Universidade do Minho, Portugal António Luís Valente, CCTIC Universidade do Minho, Portugal

Belmiro Rego, Instituto Politécnico de Viseu, Portugal Bento Duarte da Silva, Universidade do Minho, Portugal

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education ii

Carla Morais, Universidade do Porto, Portugal Carlos Morais, Instituto Politécnico de Bragança, Portugal

Carlos Gomes, Investigador Independente, Portugal Carlos Nogueira Fino, Universidade da Madeira, Portugal

Carlos Rodriguez-Hoyos, Universidade de Cantábria, Espanha Carlos Vaz de Carvalho, Instituto Superior de Engenharia do Porto, Portugal

Clara Pereira Coutinho, Universidade do Minho, Portugal Cláudia Moderno, Universidade do Minho, Portugal

Cristina Azevedo Gomes, Instituto Politécnico de Viseu, Portugal Cristina Manuela Sá, Universidade de Aveiro, Portugal

Edméa Santos, Universidade do Estado do Rio de Janeiro, Brasil Elena Barberà Gregori, Universitat Oberta de Catalunya, Espanha

Fernando Ramos, Universidade de Aveiro, Portugal Fernando Carrapiço, Universidade do Algarve, Portugal

Fernando Albuquerque Costa, Instituto de Educação da Univ. de Lisboa, Portugal Francisco de Paula Rodríguez Miranda, Universidade de Extremadura, Espanha

Helena Peralta, Universidade de Lisboa, Portugal Henrique Gil, Instituto Politécnico de Castelo Branco, Portugal

Isabel Cabrita, Universidade de Aveiro, Portugal Isabel Chagas, Instituto de Educação da Universidade de Lisboa, Portugal

Isolina Oliveira, LE@D, Universidade Aberta, Portugal Jesus Maria Sousa, Universidade da Madeira, Portugal

João Paiva, Universidade do Porto, Portugal João Correia de Freitas, Universidade Nova de Lisboa, Portugal

João Filipe Matos, Universidade de Lisboa, Portugal José Duarte, Escola Superior de Educação de Setúbal, Portugal

José Bidarra de Almeida, Universidade Aberta, Portugal José Reis Lagarto, Universidade Católica Portuguesa, Portugal

José Alberto Lencastre, Universidade do Minho, Portugal José Armando Valente, U. Estadual de Campinas – UNICAMP e PUC SP, Brasil

José Henrique Portela, Instituto Politécnico de Viana do Castelo, Portugal José Luís Carvalho, Universidad de Extremadura, Espanha

José Luís Ramos, Universidade de Évora, Portugal Leonel Morgado, Universidade Aberta, Portugal

Lia Raquel Oliveira, Universidade do Minho, Portugal Lina Morgado, Universidade Aberta, Portugal Lúcia Amante, Universidade Aberta, Portugal Luís Tinoca, Universidade de Lisboa, Portugal

Luís Marqués, Universitat de Rovira i Virgili, Espanha Luís Filipe Barbeiro, Escola Superior de Educação e Ciências Sociais, Portugal

Luísa Miranda, Instituto Politécnico de Bragança, Portugal Lynn Alves, Universidade Federal da Bahia, Brasil

Manuel Meirinhos, Instituto Politécnico de Bragança, Portugal Marcelo Mendonça Teixeira, Universidade Federal Rural de Pernambuco, Brasil

Marco Silva, Universidade do Estado do Rio de Janeiro, Brasil Maria Santa-Clara Barbas, Instituto Politécnico de Santarém, Portugal

Maria Elizabeth Bianconcini de Almeida, Pontifícia U. Católica de São Paulo, Brasil Maria Helena Menezes, Instituto Politécnico de Castelo Branco, Portugal

Maria João Horta, CCTIC EDUCOM, Portugal Maria João Loureiro, Universidade de Aveiro, Portugal Maria João Gomes, Universidade do Minho, Portugal

Maria José Loureiro, CCTIC Universidade de Aveiro, Portugal Maria José Machado, Universidade do Minho, Portugal

Maria Raquel Patrício, Instituto Politécnico de Bragança, Portugal Maribel Miranda Pinto, I. P. de Viseu – Escola Superior de Educação de Viseu, Portugal

Martín Llamas-Nistal, Universidade de Vigo, Espanha Natalia Castañon Octavio, Universidade Metropolitana, Venezuela

Nelson Pretto, Universidade Federal da Bahia, Brasil Patrícia Fidalgo, Emirates College for Advanced Education, Emirados Árabes Unidos

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education iii

Paulo Faria, Escola Básica e Secundária de Vila Cova, Barcelos, Portugal Paulo Dias, Universidade Aberta, Portugal

Prudencia Gutiérrez-Esteban, Universidade de Extremadura, Espanha Sambuu Uyanga, National University of Mongolia, Mongólia

Teresa Cardoso, Universidade Aberta, Portugal Teresa Bettencourt, Universidade de Aveiro, Portugal Teresa Pessoa, Universidade de Coimbra, Portugal

Vito José Carioca, Instituto Politécnico de Beja, Portugal Vítor Duarte Teodoro, Universidade Nova de Lisboa, Portugal

Revisores Externos

Lurdes Martins, Escola Superior de Tecnologia e Gestão de Viseu, Portugal Lúcia Pombo, Universidade de Aveiro, Portugal

Secretariado

António Luís Valente (Secretário-Geral) Ângelo Jesus

Anynha Paranhos Catarina Liane

Cláudia Moderno Elaine Barbosa Elisabete Barros

José Alberto Lencastre Luís Santos Paulo Faria

Teresa Lacerda Teresa Sofia Castro

Vanêssa Mendes

Apoio gráfico

Mauro Ferreira João Ferreira

ISBN

978-989-97374-3-3

Publicação

Maio de 2015

Edição

Universidade do Minho, Centro de Competência TIC do Instituto de Educação Instituto de Educação, Campus de Gualtar, 4710-057 Braga, Portugal

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 448

AVALIAÇÃO DA USABILIDADE DE UM JOGO DESENVOLVIDO EM SCRATCH

Carlos Osório

José Alberto Lencastre

Universidade do Minho, Portugal

Resumo: O presente artigo descreve as fases de análise, desenho e desenvolvimento de um protótipo do jogo do Galo em Scratch desenvolvido para alunos do 8.º ano de escolaridade e a sua avaliação de usabilidade. São identificados os objetivos, a descrição, os métodos e técnicas de recolha de dados, a amostra utilizada e o seu perfil, bem como as sínteses de resultados e recomendações. O teste exploratório foi feito com 59 alunos que constituíam o público-alvo, seguido de avaliação heurística da versão inicial do protótipo por três peritos e da avaliação de usabilidade por 8 utilizadores semelhantes. Para recolha de dados utilizou-se observação direta, think-aloud, constructive interaction, questionário de usabilidade SUS (System Usability Scale), heurísticas de Malone para o interface, a jogabilidade e multimédia. O resultado obtido através do questionário de usabilidade com utilizadores semelhantes que teve como média 82,81 pontos, permitiu concluir que o protótipo apresentado é válido e aplicável ao público-alvo.

Palavras-chave: usabilidade; jogo em Scratch; avaliação heurística; think-aloud; constructive interaction

Abstract: This article describes the stages of analysis, design and development of a game prototype named “Jogo do Galo” made in Scratch for students of the 8th grade and its usability evaluation. The purposes, the description of methods and data collection techniques, the sample used and its profile as well as the synthesis of findings and recommendations are identified. The exploratory test was done with 59 students, the target audience, followed by heuristic evaluation of the initial prototype version by three experts and usability evaluation by 8 similar users. For data collection, direct observation, think-aloud, constructive interaction, usability questionnaire SUS (System Usability Scale), Malone heuristics to the interface, gameplay and multimédia were applied. The result achieved by the usability questionnaire with similar users got a average of 82.81 points, showing that the prototype presented is valid and applicable to the target audience.

Keywords: usability; Scratch game; heurístic evaluation; think-aloud; constructive interaction

Introdução

No âmbito da Unidade Curricular de “Avaliação e Conceção de Materiais Escolares de

Informática”, do Mestrado em Ensino de Informática do Instituto de Educação da

Universidade do Minho, foi desenvolvido um protótipo de um jogo em Scratch para ser

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 449

utilizado em contexto de estágio como parte integrante do mesmo Mestrado. Neste

artigo são descritas as fases de análise, desenho e desenvolvimento pelas quais

passou esse protótipo, nomeadamente as avaliações da sua usabilidade. O conceito

de usabilidade pode ser visto como um “sinónimo de funcionalidade do sistema para o

utilizador” (Lencastre, 2009, p. 84). A usabilidade “aplica-se a todos os aspetos de um

sistema com que o utilizador tenha que interagir” (Nielsen, 1993, p. 26). Carvalho

(2002, p. 2) refere que para um produto ser “aceite pelo utilizador deve ser fácil de

aprender a usar, deve ser fácil de utilizar e deve provocar satisfação no utilizador”.

Segundo (Krug, 2006, p. 135) “se quiser saber se o sistema é suficientemente fácil de

usar, assista a algumas pessoas enquanto tentam usá-lo e observe onde elas têm

dificuldade. A seguir, conserte-o e teste de novo”.

O protótipo corresponde ao Jogo do Galo e é desenvolvido em Scratch. O Scratch é

uma linguagem de programação com a qual se podem criar jogos, animações,

histórias interativas, de forma criativa e intuitiva (Resnick, 2012).

Metodologia

O desenvolvimento do protótipo seguiu um modelo de Instructional System Design

(ISD) também conhecido como ADDIE (Analysis, Design, Development, Implement,

Evaluate) definido como um processo sistemático utilizado para desenvolver

programas de educação e formação de uma forma consistente e confiável. Neste

modelo são identificados os diferentes processos pelos quais um protótipo passa

correspondentes ao acrónimo ADDIA - Analisar, Desenhar, Desenvolver, Implementar

e Avaliar, sendo este último transversal aos anteriores (Figura 1).

Figura 1 – Fluxograma do processo de construção de um protótipo (adaptado de Clark, 2000)

ANALISAR

DESENVOLVER

DESENHAR IMPLEMENTAR AVALIAR

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 450

O modelo ADDIA é um processo de design interativo formativo, onde os resultados da

avaliação formativa de cada fase alimentam a fase seguinte mas podem levar o

designer de volta para qualquer fase anterior.

Analisar consiste num estudo preliminar que tem como objetivo descobrir como os

utilizadores respondem a um determinado estímulo, permitindo especificar se há lugar

a pré-requisitos para utilização do protótipo (Lencastre, 2012, pp. 3-4). No nosso

trabalho, na fase de análise é apresentada a investigação inicial efetuada com o

público-alvo, alunos do 8.º ano da disciplina de Tecnologias da Informação e da

Comunicação (TIC) de uma escola do Concelho de Esposende.

Desenhar decorre da fase da análise e consiste no planeamento das atividades a

desenvolver e em fazer um esboço do protótipo (Lencastre, 2012, p. 5). Nesta fase,

além do desenho da versão alpha do nosso protótipo, fez-se uma avaliação heurística

por peritos ao nível da interface, jogabilidade e multimédia segundo as heurísticas de

Malone (1982), utilizando as técnicas de observação direta e think-aloud (Van

Someren, Barnard, & Sandberg, 1994), com a qual foi possível registar os comentários

verbalizados pelos peritos: “a thinking-aloud test involves having a test subject use the

system while continuously thinking out loud.” (Nielsen, 1993, p. 195).

Desenvolver compreende a construção do protótipo com base nos resultados obtidos

na fase de desenho, sendo alvo de sucessivas avaliações por utilizadores

semelhantes ao público-alvo (Lencastre, 2012, p. 9). Nesta fase procedemos à

avaliação da usabilidade do protótipo por utilizadores semelhantes utilizando as

técnicas de observação direta, think-aloud e constructive interaction. Segundo Als,

Jensen e Skov (2005, p. 9) “constructive interaction provides natural thinking-aloud as

test subjects collaborate to solve tasks.” Uma vez que os jovens podem encontrar

dificuldades num processo de teste com think-aloud, a constructive interaction tem

sido sugerida como uma técnica de avaliação a considerar quando se efetuam testes

de usabilidade com jovens.

Implementar é aplicar o produto final junto do público-alvo (Lencastre, 2012, p. 10).

Esta última fase será concretizada por nós já em contexto de estágio, e não faz parte

do texto deste artigo.

Avaliar consiste na determinação sistemática do mérito, valor e significado,

comparando critérios com um determinado conjunto de normas. Embora esta fase

surja em último da descrição do processo de instructional design, ela na verdade está

presente ao longo de todo o processo (Clark, 2000).

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 451

Todos os instrumentos de recolha de dados foram validados previamente por um

perito que não foi envolvido nos testes de usabilidade.

Analisar

Com o propósito de avaliar as motivações dos alunos para o projeto a desenvolverem

nas aulas de TIC, foi realizado em novembro de 2014 um teste exploratório no formato

de workshop introdutório ao Scratch com os 59 alunos que compoem as três turmas

8.º ano da disciplina. Este teste foi estruturado sob a forma de duas tarefas

complementares. Foi também objetivo deste teste medir o grau de satisfação do

público-alvo na utilização da ferramenta de programação Scratch num contexto de

ambiente de aprendizagem segundo Brooke (1996).

O teste consistiu numa apresentação inicial da ferramenta de programação Scratch e

o seu ambiente de desenvolvimento, seguida da realização de duas tarefas práticas

com os alunos, realizadas em computadores com acesso à Internet, com recurso à

ferramenta de edição online do Scratch, disponível no website scratch.mit.edu. A

primeira tarefa consistiu na animação de um ator (sprite) step by step com interação

entre moderador e público-alvo com as seguintes atividades: movimento do ator;

emissão de sons; repetição de blocos de instruções; emissão de mensagens;

utilização de eventos; mudança de trajes e alteração de cenários num palco. A

segunda tarefa do it yourself teve como objetivo efetuar uma animação semelhante à

anterior, aplicada a um novo ator.

No decorrer das duas tarefas foi utilizado o método de observação, através da

observação direta com registo em grelha da iniciativa e mobilização do conhecimento

para a realização das atividades da primeira tarefa e execução com sucesso ou não

da segunda tarefa e superação na execução da mesma. Entendia-se aqui como

superação da tarefa a inclusão de instruções adicionais que complementassem a

animação pretendida.

Os resultados de execução obtidos para a primeira tarefa foram de 100% em ambos

os indicadores e para a segunda tarefa 66% para a execução da tarefa com sucesso e

10% para a superação na realização da tarefa.

No final do workshop os alunos responderam a um Questionário de Satisfação System

Usability Scale (SUS) de Brooke (1996) traduzido para português e devidamente

validado. O questionário é constituído por 10 perguntas, 5 na afirmativa e 5 na

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 452

negativa com uma escala de resposta de 5 pontos do tipo Likert, em que 1

correspondia a “Discordo Totalmente” e 5 a “Concordo Totalmente”. O questionário foi

aplicado aos 59 alunos presentes. Segundo Nielsen (1993, p. 224) quando é aplicado

um questionário de usabilidade, o número recomendado de utilizadores é de, pelo

menos, 30.

Para o cálculo do resultado SUS de cada questionário foram somados os pontos

atribuídos a cada questão, sendo que nas questões ímpares aos pontos atribuídos foi

retirado 1 e nas questões pares o resultado foi obtido retirando a 5 os pontos

atribuídos para cada uma. No final a soma dos resultados obtidos foi multiplicada por

2,5 para obtenção do resultado final SU (System Usabilty) de cada um dos

questionários (Brooke, 1996).

O resultado médio obtido para o referido questionário foi de 84,64 pontos num

intervalo entre 0 e 100, correspondendo a uma avaliação qualitativa de Excelente

segundo Bangor, Kortum e Miller (2009). Com base neste resultado deu-se

seguimento à produção do protótipo do Jogo do Galo em Scratch para utilização

futura.

Desenhar

Desenhada a versão alpha do protótipo, o mesmo foi submetido à avaliação por

peritos em janeiro de 2015, com os seguintes objetivos: avaliação da usabilidade do

protótipo do Jogo do Galo criado em Scratch; medir o grau de severidade de alguns

dos indicadores de usabilidade definidos por Malone (1982) aplicáveis ao protótipo em

avaliação; deteção de erros que comprometessem a correta utilização do protótipo e

obter dos peritos recomendações para melhoria do produto.

Dos três peritos que intervieram no teste, dois eram professores da área de

informática, um licenciado em Sistemas de Informação e outro doutorado em

Multimédia em Educação e um terceiro investigador, doutorado em Tecnologias e

Sistemas de Informação.

O teste, realizado individualmente, começou com a apresentação do protótipo do jogo

criado e dos procedimentos de apoio a considerar durante a realização do mesmo.

Estes procedimentos consistiam na orientação para o desenrolar do jogo e descrição

dos seus diferentes componentes. Foi igualmente apresentado um inquérito ao qual os

peritos teriam que responder com base nas heurísticas de usabilidade de Malone

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 453

(1982) aplicáveis ao nível da interface (10), jogabilidade (6) e multimédia (8) – Quadro

1, bem como a respetiva escala de severidade a considerar em que 0 correspondia a

“Inexistência de problema” e 4 a “Catástrofe de usabilidade”.

Quadro 1 – Heurísticas de Malone utilizadas no teste com peritos

Interface

1. Visibilidade do estado do sistema

2. Relação entre o sistema e a realidade

3. Liberdade de controlo para o utilizador

4. Consistência e standards

5. Prevenção de erros

6. Reconhecer em vez de lembrar

7. Flexibilidade e eficiência no uso

8. Estética e design minimalista

9. Ajuda o utilizador a reconhecer, diagnosticar e recuperar de erros

10. Ajuda e documentação

Jogabilidade

1. Fornece informação suficiente para começar a jogar

2. As teclas de controlo seguem a convenções standard

3. A pontuação deve estar sempre disponível

4. Os utilizadores que completam com sucesso todas as atividades são recompensados

5. Os desafios propostos são experiências de jogo positivas

6. O jogo é agradável e jogaria de novo

Multimédia

1. Cada componente multimédia utilizado serve um propósito específico

2. A utilização dos componentes multimédia enquadra-se no contexto

3. A combinação dos componentes multimédia é adequada

4. A apresentação dos componentes multimédia é bem gerida

5. Cada ecrã tem no máximo 2 componentes multimédia 6. O significado dos componentes multimédia utilizados enquadra-se na informação difundida 7. A qualidade dos componentes multimédia utilizados é boa

8. A utilização dos componentes multimédia melhora a apresentação do conteúdo

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 454

Para recolha de dados, foram utilizados os métodos de observação e inquérito. Não

houve uma única heurística com grau 4 de severidade atribuído. Foram identificadas

com um grau de severidade 3, as heurísticas de interface do protótipo, relativas à

“Visibilidade do estado do sistema” e à “Relação entre o sistema e a realidade” e com

grau 2 a heurística “Ajuda o utilizador a reconhecer, diagnosticar e recuperar de erros”.

Ainda com grau 2 de severidade, foi assinalada a heurística de jogabilidade “Fornece

informação suficiente para começar a jogar”. Às demais heurísticas foram atribuídos

graus de severidade 1 e 0 relativos a problemas cosméticos e mesmo inexistentes.

Como resultado das técnicas de observação direta e think-aloud foi ainda possível

registar o seguinte:

- Um perito, apesar da leitura inicial dos procedimentos de apoio não foi capaz

de iniciar o jogo numa primeira tentativa;

- Os peritos não conseguiram identificar no jogo indicações que lhes permitissem

saber a quem pertencia a vez de jogar;

- No final do jogo dois peritos não foram capazes de iniciar um novo jogo;

- Dois peritos verificaram a falta de componentes no jogo que permitissem

realizá-lo até ao final;

- Os peritos identificaram duas heurísticas que consideraram não aplicáveis ao

protótipo em teste, nomeadamente a heurística de jogabilidade “As teclas de

controlo seguem a convenções standard” e a heurística de multimédia “Cada

ecrã tem no máximo 2 componentes multimédia”.

- Um perito fez algumas sugestões adicionais de alteração/melhoria do protótipo,

nomeadamente na colocação das peças no tabuleiro por arrastamento com o

rato ou utilização do teclado do computador para a colocação das mesmas,

bem como uma forma prática de aceder aos procedimentos de apoio ao jogo.

Reunidas e analisadas as questões destacadas pelos peritos, foram introduzidas no

protótipo as seguintes alterações: correção do funcionamento do indicador de quem é

o próximo a jogar; colocação de peças adicionais para o correto funcionamento do

jogo de acordo com a realidade; introdução de tecla de atalho para “Início de um novo

jogo”; introdução de uma tecla de atalho para acesso ao “Manual de apoio” ao jogo;

mapeamento do tabuleiro com teclas permitindo a jogabilidade sem a obrigatoriedade

da partilha do rato entre utilizadores.

Com a introdução das alterações descritas foi criada a versão beta do protótipo para

ser avaliado por utilizadores semelhantes ao público-alvo.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 455

Desenvolver

A terceira fase deste estudo centrou-se na avaliação da versão beta do protótipo por

utilizadores semelhantes ao público-alvo. Os objetivos para esta fase eram: obter a

avaliação por parte de utilizadores semelhantes acerca da usabilidade do protótipo do

Jogo do Galo criado em Scratch; medir o grau de satisfação no uso do protótipo e

identificar eventuais pontos de melhoria do produto.

Para tal, recorreu-se a oito utilizadores, alunos do 8.º ano de escolaridade, pois Krug

defende que é bom efetuar testes de usabilidade com utilizadores semelhantes ao

público-alvo (2000, p. 142), tendo o teste decorrido na sala onde costumam assistir às

aulas da disciplina de TIC, tal como será aplicado futuramente. Segundo Nielsen:

If you want a single number, the answer is simple: test 5 users in a usability

study. This lets you find almost as many usability problems as you'd find using

many more test participants. (…). Doesn't matter whether you test websites,

intranets, PC applications, or mobile apps. With 5 users, you almost always get

close to user testing's maximum benefit-cost ratio. (Nielsen, 2000, p. s/p)

O teste contou com a colaboração da professora da disciplina que ajudou à sua

monitorização.

Em fevereiro de 2015 os alunos foram recebidos pelo investigador e pela monitora,

aos quais foram dadas as boas-vindas e feito o agradecimento por estarem presentes.

Foi explicado que o motivo de estarem presentes era a avaliação da usabilidade de

um protótipo do Jogo do Galo (Figura 2) e que não estariam a ser avaliados. Os

alunos foram também esclarecidos acerca da escolha ter recaído sobre eles, uma vez

que se tratavam de alunos no mesmo ano de escolaridade que o público-alvo ao qual

mais tarde seria apresentado o produto final. Foi ainda solicitada a colaboração destes

para no final da realização do teste responderem a um breve questionário.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 456

Figura 2 – Cenário do Jogo do Galo criado em Scratch

Dada a especificidade do jogo, foi necessário constituir pares de alunos que iriam

jogar um contra o outro. A constituição desses pares baseou-se em estudos de Als,

Jensen e Skov (2005) tendo sido formados pares de rapazes e pares de raparigas.

Sendo que os pares conhecidos foram os que mais problemas identificaram com grau

de severidade mais elevado, a constituição dos pares deste estudo considerou ainda

os alunos que costumavam partilhar o mesmo computador em contexto de sala de

aula e os que não partilhavam.

Assim, foram constituídos 4 pares de alunos (2 de rapazes e 2 de raparigas) em que

um par era constituído por alunos que já partilhavam o mesmo computador na sala de

aula e outro para era constituído por alunos que não costumavam partilhar o mesmo

computador na sala de aula. Isto foi aplicado tanto aos pares de rapazes como de

raparigas.

O teste começou com a distribuição de um documento com instruções básicas para a

realização do teste, sendo pedido aos alunos que preenchessem a data a hora de

início do mesmo. As referidas instruções foram lidas em voz alta pelo investigador.

Não tendo havido dúvidas a esclarecer, foi dado início ao teste.

Para recolha de dados foi utilizado o método de observação com observação direta,

think-aloud e constructive interaction pois como sugere Nielsen a técnica de

constructive interaction é especialmente aplicada em testes de usabilidade com

crianças uma vez que pode ser mais difícil para elas seguirem as instruções de um

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 457

teste através de think-aloud (Nielsen, 1993, p. 198). No final foi ainda utilizado o

método de inquérito através de um questionário de satisfação SUS traduzido e

adaptado de Brooke (1996).

Através da observação direta, think-aloud e constructive interaction foi possível

verificar que a interação nos pares de alunos que já costumavam partilhar o mesmo

computador em sala de aula foi mais profícua no ultrapassar de obstáculos que

impediam o prosseguir do jogo. Como por exemplo refere-se quando uma aluna tentou

colocar sem sucesso a sua primeira peça no tabuleiro tendo sido alertada pela colega

que o som emitido pelo protótipo lhe indicava que não o podia fazer, pois ainda não

tinham escolhido quem começava a jogar. Curiosamente os utilizadores envolvidos

neste teste optaram todos por utilizar rato de forma partilhada para jogar, em

detrimento do teclado. O teclado, para além do acesso ao Guia de Apoio, foi

essencialmente utilizado para iniciar um novo jogo e escolher qual o jogador que

começava a jogar.

No final do teste os alunos responderam a um Questionário de Satisfação (SUS). O

resultado obtido alcançou a média de 82,81 pontos num intervalo entre 0 e 100,

correspondendo a uma avaliação qualitativa de Excelente, segundo Bangor, Kortum e

Miller (2009, p. 121). Com base neste resultado, o protótipo considerado provoca

satisfação no utilizador (Carvalho, 2002), sendo válido para utilização futura com

alunos do 8.º ano de escolaridade no âmbito das suas aprendizagens. Assim, será

aplicado com alunos desse ano de escolaridade, na disciplina de TIC numa escola do

Concelho de Esposende, no âmbito da realização do referido estágio.

Considerações finais

Ao longo deste artigo foram descritas as diferentes fases de desenvolvimento de um

protótipo de um jogo do Galo em Scratch. Foi descrita a fase de investigação inicial

com a dinamização de um workshop caracterizado pela realização de atividades em

Scratch. O resultado médio obtido nesta fase de 84,64 pontos revelou-se um bom

indicador para o avanço do protótipo que se pretendia desenvolver.

Na segunda fase, através da avaliação heurística na sua versão alpha, o protótipo foi

testado por peritos com o intuito de se detetarem problemas de usabilidade antes do

mesmo ser apresentado ao público-alvo. Foram identificadas com um grau de

severidade 3 as heurísticas de interface do protótipo relativas à “Visibilidade do estado

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 458

do sistema” e à “Relação entre o sistema e a realidade”; e com grau 2 a heurística

“Ajuda o utilizador a reconhecer, diagnosticar e recuperar de erros”. Ainda com grau 2

de severidade foi assinalada a heurística de jogabilidade “Fornece informação

suficiente para começar a jogar”.

Numa terceira fase, o protótipo, já em versão beta, foi alvo de avaliação por parte de

utilizadores semelhantes ao público-alvo. Nesta etapa não foram encontrados

problemas de usabilidade do protótipo tendo-se obtido um valor médio de 82,81

pontos através do questionário SUS respondido pelos intervenientes no teste,

correspondendo a uma avaliação qualitativa de Excelente segundo Bangor, Kortum e

Miller (2009, p. 121).

Estas três fases descritas, integradas com a avaliação que lhes foi transversal, são

parte integrante do método ADDIA do processo de instructional design, processo este

que contempla ainda uma outra fase, a de implementação do produto final. Esta última

fase será realizada já em contexto de estágio.

Findo este processo, pode-se concluir que no, agora produto final, Jogo do Galo, é

fácil de compreender a interface, é fácil de entender como jogar e tem qualidade

multimédia, além de provocar satisfação no utilizador (Carvalho, 2002), revelando-se

assim, funcional e aplicável ao público-alvo considerado.

Referências

Als, B. S., Jensen, J. J., & Skov, M. B. (2005). Comparison of Think-Aloud and

Constructive Interaction in Usability Testing with Children. IDC '05 Proceedings

of the 2005 conference on Interaction design and children (pp. 9-16). ACM,

USA.

Bangor, A., Kortum, P., & Miller, J. (2009). Determining What Individual SUS Scores

Mean: Adding an Adjective Rating Scale. Journal of Usability Studies , 4 (3),

114-123.

Barnum, C. M. (2011). Usability Testing Essentials - Ready, Set ... Test! Burlignton:

Morgan Kaufmann.

Brooke, J. (1996). SUS - A quick and dirty usability scale. In P. W. Jordan, T. B., I. L.

McClelland, & B. Weerdmeester (Eds.), Usability Evaluation in Industry (pp.

189-194). London: Taylor and Francis.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education 459

Carvalho, A. (2002). Testes de Usabilidade: exigência supérflua ou necessidade?

Actas do 5.º Congresso da Sociedade Portuguesa de Ciências da Educação

(pp. 235-242). Lisboa: Sociedade Portuguesa de Ciências da Educação.

Clark, D. (2000). Instructional System Design. Retirado em 22 de fevereiro de 2015, de

http://www.nwlink.com/~donclark/hrd/sat.html

Krug, S. (2000). Chapter 9 - Usability testing on 10 cents a day. In S. Krug, Don’t Make

Me Think! A Common Sense Approach to Web Usability. Krug, S. (2006). Don’t Make Me Think! Berkeley: New Riders.

Lencastre, J. A. (2012). Educação on-line: análise e estratégia para criação de um

protótipo. In J. B. Bottentuit Junior, & C. P. Coutinho, Educação on-line: Conceitos, metodologias, ferramentas e aplicações (pp. 127-136). Maranhão:

Editora CRV.

Lencastre, J. A. (2009). Educação On-Line: Um estudo sobre o blended learning na

formação pós-graduada a partir da experiência de desenho, desenvolvimento e

implementação de um protótipo Web sobre a imagem (Tese de Doutoramento). Braga: Universidade do Minho.

Malone, T. W. (1982). Heuristics for designing enjoyable user interfaces: Lessons from

computer games. CHI '82 Proceedings of the 1982 Conference on Human

Factors in Computing Systems (pp. 63-68). New York: ACM.

Nielsen, J. (2000). NN/g - Nielsen Norman Group. Why You Only Need to Test with 5

Users. Retirado em 15 de fevereiro de 2015, de

http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

Nielsen, J. (1993). Usability Engineering. San Francisco: Morgan Kaufmann Publishers

Inc.

Resnick, M. (2012). Point of View - Reviving Papert's Dream. Educational Technology , 52 (4).

Van Someren, M., Barnard, Y., & Sandberg. (1994). The Think Aloud Method: A

practical guide to modeling cognitive processes. London: Academic Press.