DeVoice: Um Tutor Inteligente para Interação

Humano-Computador Visando a Acessibilidade Computacional

Abstract. The Intelligent Tutoring Systems (ITS's) provide direct instruction to people, seeking some automation. In this research, we propose an architecture of an ITS without the need for a specialist, focused on accessibility for people with

visual and /or physical disabilities, not being limited to, guiding the user, by using a synthesized voice by a Synthetic Tutor Agent (STA) represented by an avatar,

applying methods of speech recognition by probabilistic models, combined with Artificial Intelligence (AI) techniques, allowing a Human-Computer Interaction (HCI) more immersive and inclusive with an interactive dialog, returning the

meaning or translation of what is asked, using Natural Language Processing (NLP).

Resumo. Os Sistemas Tutores Inteligentes (STI's) fornecem instruções diretas às pessoas, visando alguma automação. Nesta pesquisa, é proposta uma arquitetura

de um STI sem a necessidade de um especialista, voltado para acessibilidade de pessoas com deficiências visuais e/ou motoras, não ficando limitado a estas, orientando o usuário, utilizando uma voz sintetizada por um Agente Tutor Sintético

(ATS) representado por um avatar, aplicando métodos de reconhecimento de voz por modelos probabilísticos, aliado às técnicas de Inteligência Artificial (IA),

viabilizando uma Interação Humano-Computador (IHC) mais imersiva e inclusiva, com um diálogo interativo, retornando o significado ou tradução daquilo que for perguntado, utilizando Processamento de Linguagem Natural (PLN).

1. Introdução

Desde os princípios da ciência o homem esteve em busca de meios de facilitar sua vida,

procurando substituir de uma forma mais fácil o que ele mesmo poderia realizar. Com o tempo, o homem percebeu que as máquinas que criara ansiavam exclusivamente a

substituição do trabalho de outra máquina mais perfeita e complexa: ele mesmo. Partindo disto, floresceu uma enorme curiosidade em desvendar o funcionamento do homem e como imitá- lo o mais impecavelmente possível. Hoje em dia, estamos cada vez mais envolvidos

por grandes quantidades de informações que serão melhor absorvidas e compreendidas se nos forem advindas do modo mais conveniente possível, isto é, como se pronunciadas por

outra pessoa, fazendo com que o desenvolvimento nesta área não seja mais uma mera curiosidade, mas um progresso quase fundamental à humanidade.

Com os avanços tecnológicos e a necessidade de novos recursos, surge o conceito de

inovação tecnológica ligada ao campo da educação inclusiva e acessível a todos, de forma

unânime e imparcial: a Computação Afetiva. Neste contexto, a informática leva em consideração as emoções e os “estados de espírito” [Picard 2001], alcançando outras áreas do conhecimento, como a Educação, Psicologia, Sociologia, Tecnologias Assistivas (TA),

Processamento Digital de Sinais (PDS), Ciência da Computação, Reconhecimento de Padrões, IA, Neurofisiologia, Lingüística, Teoria das Comunicações, Fonética Articulatória e

Acústica. O artigo descreve como um STI pode auxiliar o usuário na compreensão de novas palavras e conceitos, por meio de uma assimilação do conhecimento de forma simples, intuitiva e menos frustrante, motivando o usuário no processo de ensino-aprendizado.

O reconhecimento de voz refere-se à habilidade que uma máquina ou programa

possui, para adquirir e interpretar o ditado, ou ainda, compreender e executar comandos falados. Este projeto implementa um sistema Automático de Reconhecimento de Voz

(Automatic Recognition Speech - ARS), no âmbito educacional com suporte às TA’s. Os STI’s derivam dos programas de Instrução Auxiliada por Computador (Computer Assisted Instruction - CAI) e ICAI (Intelligent Computer Assisted Instruction) [Eberspächer e

Kaestner 1998]. Na figura 1, verificam-se as áreas e os domínios abrangidos.

Figura 1. Domínio de uma Aplicação de Tutores Inteligentes [Kearsley 1987]

Dentre as características desejáveis em um STI [Viccari e Moussalle 1990], valem

destacar: meta-conhecimento para deliberar estados não previsíveis nas regras que delineiam o conhecimento do tutor; atuação segundo o modelo de ensino assistido; estruturas

inteligentes para a depuração e direcionamento na detecção de falhas; mecanismos que admitam a simulação automatizada e a resolução conduzida dos problemas, além da aptidão

de reconstituição de estados passados [Eberspächer e Kaestner 1998].

2. A Arquitetura Clássica e o Modelo Proposto

O STI possui uma composição modular em que cada módulo cumpre um papel específico na

arquitetura e está inter-relacionado com os demais módulos. Na arquitetura clássica, podem-se apontar quatro entidades principais [Kaplan e Rock 1995], abaixo explicitadas:

Um Modelo Pedagógico (regras de ensino) que analisa a informação do aprendiz,

decidindo quais estratégias serão empregadas, determinando o modo que a informação será exibida. Um Modelo do Especialista (rede de conhecimento) expõe o conhecimento de um especialista na área de domínio do sistema, servindo como base de construção do Modelo do

Estudante, que é a representação do conhecimento do aprendiz. Tudo isto mediado pelo Módulo de Interface, que realiza a interação de informações entre o sistema, o instrutor e o

aprendiz, traduzindo toda a representação interna do sistema de modo amigável e de simples compreensão para o usuário, proporcionando o efeito almejado na utilização do sistema.

Figura 2. Arquitetura do Modelo Clássico (à esquerda) e do Modelo Proposto (à direita)

3. Justificativa

O Português é um idioma falado na Angola, Brasil, Cabo Verde, Galiza, Guiné-Bissau,

Macau, Moçambique, Portugal, São Tomé e Príncipe, Timor Leste e por diversas comunidades em todo o mundo, contudo, existem aqueles que não falam ou não

compreendem tal idioma em sua totalidade, ficando em parte, impedidas de usufruir de sua língua nativa. Com o intuito de criar uma interface multimodal homem-máquina mais

amigável e simples de usar para a obtenção de conhecimento via recuperação de informações a partir da comunicação oral ou escrita, permitindo assim, o uso de computadores por mais pessoas, especialmente idosos e indivíduos portadores de deficiências, grandes esforços têm

sido realizados para a obtenção de sistemas capazes de entender e se comunicar pela fala.

Porém, apesar desses esforços, algumas dificuldades devem ser superadas para tornar

o sistema apto à compreensão de um discurso sobre qualquer contexto em sua totalidade, falado de maneira natural, por qualquer indivíduo, em qualquer ambiente e em qualquer

dialeto, que possibilite uma plena acessibilidade computacional1. Além disto, em tais sistemas deve ser possível em geral, o funcionamento em condições de ruído de fundo,

adaptação a vários tipos de locutores, visando robustez do sistema.

Existem numerosos tipos de deficiência que comprometem a utilização do

computador, com gravidade variável e adquiridas a partir de doença, trauma ou de forma congênita ou degenerativa na natureza. Segundo o CENSO Brasil do ano de 2010, a

população total era de 190.755.799 (100%). Destes, o total de indivíduos que possuem pelo menos uma das deficiências investigadas2 corresponde a 45.623.910 (23,9%) e aqueles que não possuem nenhuma dessas deficiências equivale a 145.084.578 (76,1%). Sendo assim, as

necessidades atendidas pelo sistema DeVoice incluem:

Deficiência Visual: Para indivíduos com problemas de visão de leve a médio, é útil usar

grandes fontes, monitores de alta resolução, temas com alto contraste e ícones suplementados com feedback auditivo e software de ampliação de tela. No caso de

deficiência visual grave, como cegueira, um software de leitura de tela que fornece feedback via texto para fala ou um monitor Braille atualizável é uma acomodação necessária para a interação com o computador. Os indivíduos com deficiência visual perfazem um total de

35.791.488, dos quais existem aqueles que não conseguem de modo algum (528.624), os que possuem grande dificuldade (6.056.684) e alguma dificuldade (29.206.180) na utilização de

um computador [Oliveira 2013].

Deficiência Motora e Destreza: Limitações motoras com perda de destreza, como paralisia,

ou a síndrome do túnel do carpo3, Lesão por Esforço Repetitivo (LER), incluindo dificuldades ou mesmo a incapacidade de usar as mãos, em razão de tremores, lentidão

muscular, perda do controle muscular, dentre outros, ocasionadas devido a doenças como o Parkinson, distrofia muscular, paralisia cerebral, Acidente Vascular Cerebral (AVC), incapacitando algumas pessoas da utilização de dispositivos de entrada convencionais, como

o mouse ou o teclado. Por isso, é importante uma tecnologia de reconhecimento de voz como uma alternativa atraente e adequada, uma vez que exige apenas microfone, auto-falantes ou

fones de ouvido, facilmente disponíveis. Os indivíduos com deficiência motora perfazem um total de 13.273.969, dos quais existem aqueles que não conseguem de modo algum

1 A acessibilidade computacional, conhecida como computação acessível, refere -se à acessibilidade de um

sistema de computador para todas as pessoas, independentemente da deficiência ou a gravidade da deficiência. 2 As pessoas incluídas em mais de um tipo de deficiência foram contadas apenas uma vez.

3 Síndrome que pode levar a dormência, formigamento, fraqueza ou danos musculares na mão e nos dedos.

(740.456), os que possuem grande dificuldade (3.701.790) e alguma dificuldade (8.831.723)

na utilização de um computador [Oliveira 2013].

Deficiência cognitiva: Outro desafio na acessibilidade computacional é satisfazer as

necessidades de pessoas com deficiências cognitivas, como a dislexia4 e o autismo5, particularmente aqueles indivíduos com baixa capacidade de comunicação e sem habilidades

de leitura, o que acaba por dificultar a aprendizagem.

4. Metodologia

4.1. Características do Sistema DeVoice

Os ARS’s podem ser classificados em classes distintas, dependendo da sua habilidade e

funcionalidade no reconhecimento da palavra, como observado no fluxograma da figura 3. O DeVoice trata-se de um sistema baseado no tipo de entrada, atuando como um sistema de

Palavras Isoladas, o qual possui palavras separadas como a sua entrada. Esta separação é realizada por meio de pausas entre as palavras proferidas e o processamento ocorre a cada palavra pronunciada.

Figura 3. Fluxograma do Tutor Inteligente

4 Dificuldade na área da leitura, escrita e soletração, distinção entre esquerda e direita, percepção de dimensões,

realização de operações aritmét icas e no funcionamento da memória de curta duração , costuma ser identificada

nas salas de aula durante a alfabetização, sendo comum provocar uma defasagem in icial de aprendizado. 5 Algumas crianças, apesar de autistas, apresentam inteligência e fala intactas, outras apresentam sérios

problemas no desenvolvimento da linguagem.

O DeVoice atua também como um sistema de Palavras Conectadas, distinguindo-se

na quantidade reduzida de pausas nas entradas. A entrada é uma combinação de palavras, simulando uma conversa natural. Trata-se de um sistema Independente de Locutor,

podendo reconhecer palavras a partir de qualquer usuário, não possuindo modo de treinamento como os sistemas dependentes de locutores, mas o processamento principal é o mesmo, porém com uma precisão menor. O sistema é Baseado em Regras, no

armazenamento e manipulação do conhecimento para interpretação das informações, baseia-se também no conhecimento, utilizando sua base na resolução de problemas complexos,

possuindo dois tipos de subsistemas: a base de conhecimento, que representa fatos sobre o mundo e um motor de inferência, que representa afirmações lógicas e condições sobre o mundo, representado por regras if-then [Norvig e Russel 1997]. A comunicação entre os

agentes que constituem o sistema é apresentada na figura 4.

Figura 4. Diagrama de Caso de Uso Geral do DeVoice

4.2. Processo de pesquisa pela palavra pronunciada

Primeiramente inicia-se o processo de aquisição do sinal digital a partir do sinal analógico, realiza-se então, a Detecção de Atividade de Voz (Voice Activit Detection - VAD), no qual o

sinal de voz de entrada é identificado com base em um threshold (limiar) armazenado. Não só indicando a presença ou ausência da fala, mas também, permitindo separar regiões sonoras e mudas do discurso para um emprego eficiente da memória disponível.

A partir de então, gera-se um modelo com base nas características extraídas, que será

comparado com outros já armazenados. Para o caso em que as características extraídas sejam consideradas insuficientes/excessivas para a geração de um perfil, o sinal será classificado

como silêncio/barulho, respectivamente, e será descartado, o processo de aquisição do sinal é então reiniciado. Uma vez que o modelo da palavra tenha sido gerado, a palavra é processada no Ciclo de Erudição6. A saída do sistema será uma pontuação que será recusada

caso a amostra tenha a pontuação baixa ou aceitar, caso contrário. Quanto maior a similaridade, maior será a pontuação. O resultado da pesquisa é retornado de forma audível

e/ou visual, permitindo assim o acesso à informação sobre o significado do termo por qualquer pessoa7, como exposto na figura 5:

Figura 5. Visão Geral do Processo de Reconhecimento de Sentenças

O motor de pesquisa (search engine) foi projetado para procurar palavras-chave na base de dados localizada na Web, o motor retorna uma lista de referências que combinam

com o termo informado. O motor de busca do sistema de busca do DeVoice é utilizado como uma “interface” (front end) para o motor de busca da base de dados na Web.

4.3. A Transformada Rápida de Fourier

A Fast Fourier Transform (FFT) é uma composição matemática que decompõe a matriz de

um sinal qualquer em amplas freqüências, complexas e específicas o bastante para obedecerem a um padrão de leitura e codificação. Em aplicações tais como processamento

de sinal, o domínio da função original é tipicamente o tempo e é conseqüentemente chamado de domínio do tempo. A FFT é o algoritmo mais prevalente em todas as ciências da

comunicação e tem sido empregado sem descanso em quase tudo o que conhecemos desde

quando foi composta, conforme a equação 1, em que 𝑊𝑁𝑢𝑥 = 𝑒−𝑗2𝜋 𝑁 .

𝐹 𝑢 =1

𝑁 𝑓 𝑥 .𝑊𝑁

𝑢𝑥 Equação (1)

𝑁−1

𝑥=0

A FFT permite a partir de um sinal no domínio do tempo, obter o sinal

6 Processos no qual vocábulos são incorporados a uma sentença, a qual é analisada pelo Avaliador de Sentenças

Lógicas (Aval), responsável por testar o modelo recebido com todos os modelos armazenados, como resultado,

obtém-se uma lista em que cada posição contém o erro (pontuação) de cada palavra. 7 Para o caso em que o usuário seja portador de deficiência da voz e o mesmo não conseguir proferir palavra

alguma ou com bastante dificuldade, a pesquisa também pode ser realizada via teclado.

correspondente no domínio da freqüência, usando as funções de seno e cosseno que são

periódicas e infinitas. A fala é um sinal real, em outras palavras, ela pode ser mesurada, mas sua FFT tem componentes reais e imaginários.

4.4. Aproximações por Hidden Markov Model - HMM

Uma Cadeia de Markov é um processo que consiste num número de estados de

probabilidades associadas às transições entre os estados. Dado um conjunto de palavras, uma cadeia de Markov pode ser criada para identificar as probabilidades de uma determinada

palavra ser pronunciada após a outra, aprimorando o reconhecimento de quais palavras foram ditas [Russell], com base em seu contexto ou categoria lexical.

Figura 6. Máquina de Estados do Reconhecimento de Sentença por HMM

Como pode ser observado na figura 6, cada estado envolve a produção de uma

palavra (observação). No final da cadeia, uma sentença concluída é disponível. A Cadeia de

Markov é usada para identificar probabilisticamente o próximo estado, dado o estado atual e um estímulo externo. A partir desse estímulo, o processo inicia e as transições entre os estados da Cadeia de Markov são baseadas unicamente nas probabilidades [Russell].

4.5. Desenvolvimento do Ator Sintético: Dando “VIDA” ao Sistema!

Um dos campos mais promissores na pesquisa de IA, atualmente, é a modelagem de agentes

inteligentes credíveis, aumentando o realismo através do comportamento, cognição

(raciocínio), interação, percepção e ação. Esses agentes, chamados de Atores Sintéticos (AS) (figura 7), afetam emocionalmente o usuário, aumentando sua motivação e engajamento, por meio de respostas rápidas e consistentes.

Figura 7. Agente Tutor Sintético Álex (avatar) [PeartVision]

Para gerar ilusão de vida é preciso expressar e controlar a personalidade, emoções e

atitudes, influenciando a percepção e a cognição. Através do mecanismo de percepção do mundo, o AS capta e reage às alterações no ambiente em que está inserido, fornecendo

respostas próximas do real.

4.5.1. Processamento de Linguagem Natural

O Agente de Conversação (ACon), apresentado na figura 8, é uma parte do sistema destinado a conversar com o usuário de forma coerente, empregando texto, discurso,

gráficos, gestos e outros meios de comunicação sobre a entrada e canal de saída [Lester, Branting e Mott 2004]. A iniciativa do diálogo pode ser tomada tanto pelo usuário como

pelo agente.

Figura 8. Representação do Comportamento do Agente de Conversação (ACon)

O Acon é responsável por gerenciar o estado da caixa de diálogo, e estratégia de

diálogo, na qual o usuário fala, e a entrada é convertida para texto simples pelo ASR, em seguida, o texto é analisado por uma Unidade de Compreensão de Linguagem Natural

(UCLN), que realiza o parser sintático/semântico para a manutenção do histórico e do estado do diálogo, gerenciando assim, o fluxo geral da conversa por meio de um gerador de

linguagem natural para a síntese da voz sintética para o avatar e um mecanismo de layout.

5. Testes e Resultados

Os testes8 a seguir demonstram a eficácia no reconhecimento de algumas palavras

pertencentes ao corpus da base de conhecimento do DeVoice. A execução correta da tarefa correspondente à sentença pode ser visualizada na figura 9.

8 Durante o reconhecimento das palavras, a pronúncia das preposições de e do, são consideradas irrelevantes

para a compreensão das sentenças pelo sistema DeVoice. No teste exemplo, foi apresentado o retorno de uma

pesquisa por imagens de livros e sua definição em forma de texto, sendo esta uma forma de representar o teste

audível no artigo.

5.1. Teste com grupo de palavras isoladas

Na tabela 1, têm-se o resultado de testes realizados com cinco palavras isoladas em dez

execuções.

Tabela 1. Taxa percentual de Reconhecimento de Palavras Isoladas

Palavras Reconhecimento (%)

Amor 90 %

Computador 92 %

Avatar 95 %

Árvore 91 %

Cachorro 92 %

5.2. Teste com palavras concatenadas

Na tabela 2, têm-se o resultado de testes realizados com grupos de duas e três palavras

concatenadas em dez execuções.

Tabela 2. Taxa percentual de Reconhecimento de Palavras Concatenadas

Grupo de Palavras Reconhecimento (%)

Pesquise + imagens + livros 89 %

Procure +imagens + livros 89 %

Mostre + imagens + livros 83 %

Defina + computador 85 %

Traduza + book 74 %

Resultado do processamento da sentença “Defina livro”: ♫Livro é um volume transportável, composto por páginas encadernadas, contendo texto manuscrito ou impresso e/ou imagens e que forma uma publicação unitária (ou foi concebido como tal) ou a parte principal de um trabalho literário, científico ou outro. ♫

9

Figura 9. Resultado do Processamento da Sentença: “Mostre imagens de livros”

9 O símbolo ♫ fo i utilizado para indicar a presença de uma voz sintética do avatar Álex no sistema DeVoice.

6. Conclusão

As observações e resultados encontrados durante a fase de testes do projeto mostram que, de

um modo geral, o sistema encontra-se apto ao reconhecimento de uma grande gama do corpus da gramática do idioma Português, com definições e descrições de cada termo

reconhecido, intermediados por um ATS de forma dinâmica e acessível por meio da síntese da voz, garantindo uma participação plena e igualdade de oportunidades de expansão do

conhecimento, tornando o sistema DeVoice uma ferramenta didática e inclusiva.

De um modo específico, esta pesquisa contribuiu com a disponibilização de uma

ferramenta afetivamente computacional, visando à construção de uma aplicação capaz de “dialogar” com o usuário e seu estado emocional, criando situações computacionais que

acompanham tais “estados”. Propiciou também, uma pesquisa descritiva e aplicação dos conceitos e da teoria envolvida no processo de reconhecimento da voz, desde a aquisição até o reconhecimento do sinal da fala por meio do PLN e das técnicas de PDS e para fins

científicos, o sistema possibilita ainda a produção de gráficos para uma análise mais profunda dos espectros dos sinais processados.

Referências

PICARD, R.W., “What Does it Mean for a Computer to “Have” Emotions?” Chapter in

“Emotions in Humans and Artifacts,” Ed. by R. Trappl, P. Petta e S. Payr, 2001.

EBERSPÄCHER, Henri F e KAESTNER, Celso A., A Arquitetura de um Sistema de

Autoria para Construção de Tutores Inteligentes Hipermídia e Seu Posicionamento na Informática Educativa - IV Congresso RIBIE, Brasilia, 1998.

KEARSLEY, G., “Artificial Intelligence and Instruction - Applications and Methods”. Addison Wesley, 1987.

VICCARI, R. M.; MOUSSALLE, N. Tutores Inteligentes para o Ensino da Linguagem Prolog. Anais do 1º Simpósio Brasileiro de Informática na Educação, Rio de Janeiro –

novembro, 1990.

KAPLAN, Randy e ROCK, Denny. New Directions for Intelligent Tutoring Systems. AI

Expert - Fevereiro, 1995.

OLIVEIRA, João Batista Ferri de, “Acessibilidade na WEB: Implementando Serviços

Públicos Municipais Acessíveis a Todos”. Encontro Nacional com Prefeitos e Prefeitas. Secretaria de Logística e Tecnologia da Informação. Ministério do Planejamento.

Departamento de Governo Eletrônico - SLTI/MP. Brasília, DF, 2013.

NORVIG, P. and RUSSEL, S. Artificial Intelligence: a modern approach, Prentice-Hall,

New Jersey, USA, 1997.

RUSSELL, J. HMM Approximations. Disponível em:

<http://flylib.com/books/en/1.409.1.112/1/ >. Acesso em 26 de março de 2013.

PeartVision, Modelo 3d Allison (American Woman). Disponível em:

http://www.turbosquid.com/3d-models/3d-american-woman-character-allison/675709.

Acesso em 14 de maio de 2014.

LESTER, J.; BRANTING, K.; MOTT, B. “Conversational Agents”, The Practical Handbook

of Internet Computing, Chapman & Hall, 2004.