Abstract— This work uses fuzzy logic to identify the learning profile of students in a teaching and learning environment. The purpose of this identification is to lead the student to more appropriate use of the available resources in the environment. The fuzzy modeling has been developed from a process of data mining. The mined data set has several learning profiles of several students. The classification method called Decision Tree (DT) was applied in the mining process, and for the comparison two algorithms were used. The analysis of data from the DT allowed to validate and improve the results of fuzzy modeling. This validation process can be used in the remodeling of the characteristics of any fuzzy system, it is a way to build a more harmonious and consistent model, in this case, the student profile.

Keywords— Decision Tree, Fuzzy Modeling, Virtual Teaching

Learning Environment.

I. INTRODUÇÃO

STA pesquisa está focada na descoberta de quais fatores podem ser significativos para avaliação da aprendizagem

de estudantes em Ambientes Virtuais de Aprendizagem (AVA). Segundo Bardin [1] é um equívoco privilegiar o conhecimento imediato (empírico) em detrimento daquele fundamentado em conceitos, na falsa ideia de que a teoria (uma abstração) é desprovida de objetividade. Inexiste prática sem teoria, bem como teoria desprovida de prática. Sendo assim, o foco desta pesquisa concentrou-se tanto na avaliação teórica como a avaliação prática justificando e preservando o movimento contínuo de teoria-prática no processo de ensino-aprendizagem.

Desta forma são considerados dois tipos de avaliações do processo de aprendizagem, um mais prático e outro mais teórico. Com o objetivo de mapear esses dois tipos de avaliações, nessa pesquisa, foi realizado um processo de mineração de dados. O resultado desse processo foi uma Árvore de Decisão (AD), que possibilitou a construção de uma modelagem fuzzy contemplando essas duas entradas para efetiva implementação em um AVA.

Dentro do escopo da área de mineração de dados adotamos a técnica de classificação baseada em AD, pois de acordo com Quinlan [2] alguns dos algoritmos de classificação mais tradicionais e comuns são os que usam os valores dos atributos de forma combinada para delimitar regiões no espaço de atributos que definem as classes. A vantagem das AD é que

B. Wilges, Universidade Federal de Santa Catarina (UFSC), Florianópolis,

Santa Catarina, Brasil, beaw@inf.ufsc.br G. P. Mateus, Universidade Federal de Santa Catarina (UFSC),

Florianópolis, Santa Catarina, Brasil, gpmateus@inf.ufsc.br S. M. Nassar, Universidade Federal de Santa Catarina (UFSC),

Florianópolis, Santa Catarina, Brasil, silvia@inf.ufsc.br R. C. Bastos, Universidade Federal de Santa Catarina (UFSC),

Florianópolis, Santa Catarina, Brasil, rogerio@inf.ufsc.br

elas explicam claramente que decisões são tomadas sobre quais atributos para classificação e sumarização.

Ainda de acordo Dutra e Martucci [3] as AD permitem a redução do volume de dados através da transformação para um formato mais compacto, além de permitem mapear o relacionamento entre variáveis independentes e dependentes, objetivando a construção de um modelo classificatório preditivo.

A proposta de analisar e acompanhar o desempenho de estudantes a partir de conjuntos difusos (satisfatório, insatisfatório e regular) já era evidenciada em outras pesquisas [4][5][6][7][8]. As modelagens propostas não tinham um processo exato para definir as entradas do modelo fuzzy.

Nesta perspectiva, esta pesquisa busca reunir e integrar técnicas de Inteligência Artificial (IA) para apoiar a elaboração de uma modelagem fuzzy que tenha suas funções de pertinências ajustadas ao contexto das entradas, que devem ser determinadas pela AD. As árvores de decisão são construídas considerando o conceito de entropia, que serve para medir o nível de informação de um atributo. Quanto menor o valor da entropia, menor a incerteza e mais utilidade tem o atributo para a classificação. Sendo assim, foram integradas nesta pesquisa as técnicas de lógica difusa e mineração de dados.

O resultado final dessa proposta é que com a utilização dessa modelagem dentro de um AVA real, utilizado no ensino semipresencial da Universidade, sejam ativados determinados desafios pedagógicos que auxiliem no processo de aprendizagem de cada estudante em particular. A ativação desses desafios pedagógicos será direcionada pelo desempenho prático e teórico obtido pelos estudantes no AVA, levando em consideração cada caso particular. Na próxima seção é apresentado o processo de mineração de dados envolvido nessa pesquisa, bem como a comparação entre os algoritmos de árvore de decisão. Na seção 3 é apresentada a construção da modelagem fuzzy baseada na AD. Na seção 4 é apresentada a implementação desse modelo em um AVA. E por fim, são apresentadas as conclusões e considerações finais deste trabalho.

II. MINERAÇÃO DOS DADOS

Dentro das técnicas de mineração de dados utilizou-se o algoritmo baseado em AD. O algoritmo de AD mais utilizado é o C4.5 [8], que tem sua origem no ID3 [3]. Neste trabalho testamos a utilização do algoritmo ID3 e o C4.5, mas o que apresentou uma resposta mais adequada ao sistema proposto foi o C4.5, que considera as “podas”.

O processamento foi realizado na ferramenta RapidMiner. Essa ferramenta é open-source, anteriormente chamada Yale. Conforme a descrição do manual RapidMiner [10] a

B. Wilges, G. P. Mateus, S. M. Nassar and R. C. Bastos

Fuzzy Modeling Built Through a Data Mining Process

E

1622 IEEE LATIN AMERICA TRANSACTIONS, VOL. 10, NO. 2, MARCH 2012

ferramenta possui interface gráfica (GUI) e scripts baseados em XML, tornando esta uma Integrated Development Environment (IDE) e um interpretador para Knowledge Discovery and Data Mining (KDD). É desenvolvida sob a plataforma Java, o que facilita integração com outras aplicações sob esta arquitetura.

Em pesquisa anterior [11] já havíamos trabalhado na construção da AD utilizando o algoritmo ID3. Naquela pesquisa os dados utilizados na classificação foram extraídos da base de dados do AVA. Foi utilizada uma amostra de 57 estudantes matriculados na disciplina do segundo semestre de 2010. Foram reunidas as notas obtidas da parte teórica, prática e a média entre elas. Considerando que a média de aprovação da instituição é de seis pontos, o que equivale a 60% de rendimento, então adotamos 0,6 como valor de referência. As notas extraídas foram discretizadas em conceitos: A, B e C. Correspondendo as variáveis linguísticas regular, bom e excelente. Os estudantes que ficam com um desempenho abaixo de 0,6 são classificados em C. Os estudantes entre 0,60 e 0,79 são B, e os estudantes entre 0,8 e 1 são A. A árvore apresentada na Fig. 1 mostra o resultado obtido por meio do algoritmo ID3.

Figura 1. Resultado da AD com o algoritmo ID3. Fonte: Wilges et. al [11]

Os dados utilizados na classificação dessa AD foram tratados para as etapas que envolveram a descoberta de conhecimento. Entre essas etapas destaca-se a seleção dos dados, pré-processamento para retirada de dados duplicados ou inconsistentes e discretização por frequência.

Os vértices da AD representam os atributos preditivos, as folhas representam a saída denominada label. As arestas correspondem ao conceito obtido no atributo do vértice correspondente. Cada conceito é representado por uma cor. O verde representa o conceito A, o B é o vermelho e o C é representado pelo azul. Nas folhas onde aparece mais de uma cor é a representação de outros conceitos que também foram saídas, além do conceito descrito e determinante para a folha.

De acordo com a AD estudantes que tiram A na teórica e A ou B na prática são classificados com A na média final. Assim como, estudantes que tem um desempenho B na teórica apresentam na saída do sistema um desempenho avaliado com A. E por fim, os alunos que tiram C na teórica em linhas gerais mantêm o C na saída do sistema. Os resultados da AD gerada pelo algoritmo ID3 não foram considerados conclusivos, já que existem direcionamentos contestáveis como o apresentado no exemplo, em que o estudante tira conceito B na teórica e independentemente da prática seria

considerado A na média final. Dessa forma, no seguimento da pesquisa, estudou-se a

utilização e desenvolvimento do algoritmo C4.5. Nesse caso, discretizou-se apenas o resultado final (a média) extraída da base. As notas teóricas e práticas foram mantidas como variáveis quantitativas. O comportamento do algoritmo C4.5 para geração da AD apresentou um resultado bem mais interessante como pode ser observado na Fig. 2.

Figura 2. Resultado da AD com o algoritmo C4.5.

De acordo com esta AD estudantes que tiram mais de 0,48 na teórica são subdivididos em dois conjuntos de dados que analisam a parte prática considerando um corte em 0,25 na nota do estudante. Estudantes que na prática tiram mais de 0,25 em geral são classificados com A. Já os que tiram menos de 0,25 são classificados como C, um desempenho muito baixo. Esse resultado mostra a importância do conteúdo prático. Um estudante que entende um pouco da prática já adquire conhecimento suficiente para ser bem avaliado. Analisando novamente a raiz da árvore observa-se que os estudantes que ficam no intervalo de menos de 0,48 e mais de 0,1 na parte teórica, são subdivididos com um corte em 0,675 na prática. Onde mais de 0,675 é classificado como B e menos de 0,675 é classificado como C na média final. Ainda na parte teórica, considerando a sub-árvore direita, estudantes com menos de 0,1 são classificados com C.

No algoritmo de AD a escolha dos atributos a serem utilizados pela árvore se dá a partir de informações de entropia e ganho de informação. Para medir o nível de informação de um atributo se utiliza o conceito de entropia da Teoria da Informação. O valor da entropia corresponde à impureza do atributo e o ganho de informação é a variação da impureza.

A utilização desta técnica de mineração permitiu explicitar o modelo de avaliação adotado pelo professor. Nesta disciplina, em particular, podemos concluir que é julgado mais relevante o conhecimento teórico e conceitual do que o conhecimento prático, pois o conhecimento teórico em ambas árvores de decisão foi a raiz.

III. MODELAGEM FUZZY PROPOSTA

Uma área de aplicação da Lógica Fuzzy (LF) é chamada de raciocínio aproximado, conforme Zadeh e Kacprzyk [12], onde um tipo de raciocínio não é totalmente certo nem totalmente errado. Este tipo de raciocínio se aproxima da

WILGES et al.: FUZZY MODELING BUILT THROUGH 1623

forma do raciocínio humano. Neste caso as variáveis linguísticas são representadas por conjuntos fuzzy, interpretando uma variável linguística como uma variável cujos valores são palavras ou sentenças em uma linguagem natural. Conjuntos fuzzy proporcionam, aos métodos de desenvolvimento de sistemas computacionais, uma forma de programação mais próxima da linguagem e do raciocínio humano.

Dessa forma, as variáveis analisadas na seção anterior foram representadas como variáveis linguísticas para a construção da modelagem fuzzy. Como o atributo de avaliação teórico é classificado, tanto pelo algoritmo ID3 como pelo algoritmo C4.5, como raiz da árvore ele é uma variável que possui uma entropia menor. Ou seja, ele é o atributo que possui uma menor incerteza para o modelo fuzzy. A Fig. 3 representa as duas funções de pertinência da entrada do modelo fuzzy e mais uma função que representa a saída do sistema proposto. As funções apresentadas já foram construídas conforme análise das ADs geradas.

Figura 3. Funções de pertinência da modelagem fuzzy.

Na construção das funções de pertinência foi caracterizada a menor entropia presente no atributo do desempenho teórico. Sendo assim, a função de pertinência do desempenho prático foi modelada com um núcleo maior de valores com pertinência igual a um. Isso porque apresenta uma maior incerteza quanta a avaliação desempenho dos estudantes, de acordo com as duas árvores de decisão apresentadas. Dessa forma, o modelo fuzzy contempla os achados da análise dos dados descritos pela AD do algoritmo C4.5.

De um modo geral, a modelagem fuzzy corresponde a construção da AD C4.5, considerando tanto a parte teórica, como a prática do AVA. As duas variáveis são as entradas (desempenhoPratico e desempenhoTeorico) e a variável de saída (avaliacaoGeral) do sistema fuzzy são associadas a um conjunto de funções de pertinência. Essas funções são compostas por três variáveis linguísticas: insatisfatório, regular e excelente. Foi aplicado ao modelo funções triangulares definidas pela função trimf com três parâmetros de entrada. A visualização do modelo geral com suas entradas e saída articuladas pelo motor mamdani é apresentada na Fig. 4.

Figura 4. Modelo de avaliação de desempenho.

O controlador do motor de inferência adotado foi o de Mamdani [13], implementado com o operador de implicação "mínimo" e método de desfuzzyficação adotado foi o centro de gravidade. As regras de decisão foram definidas a partir do caminho lógico da AD C4.5, contemplando cinco regras de inferência que abrangem todas as variáveis linguísticas utilizadas.

Na construção das regras a partir da AD (Fig. 2) definiu-se que as avaliações teóricas que estivesse acima de 0,48 seriam consideradas excelentes e avaliações que estivessem entre 0,48 e 0,1 seriam regulares, assim como as que estivessem abaixo disso seriam consideradas insatisfatórias. Da mesma forma, as avaliações práticas observadas na amostra da AD apontam que acima de 0,25 podem ser consideradas regulares e abaixo disso como notas insatisfatórias. Por outro lado, valores acima de 0,675 para a parte prática foram considerados excelentes e valores abaixo disso como regulares. Cada regra foi composta pelo operador "and" associado ao método "mínimo". A agregação entre as regras foi feita pelo método "máximo". A base de regras é apresentada na Fig. 5.

Figura 5. Conjunto de regras do sistema fuzzy.

Essa modelagem fuzzy implementada no AVA permite, por exemplo, identificar estudantes que não estão tendo algum dos desempenhos satisfatórios. Sendo assim, é possível conduzir o estudante aos desafios pedagógicos que são mais adequados ao seu perfil. Ou seja, se ele não está bem na teoria são apresentas outras atividades teóricas que reforcem seu processo de aprendizagem, da mesma forma se ele não está bem na parte prática são reforçados seus conhecimentos práticos através de outros objetos de aprendizagem.

IV. APLICAÇÃO NO AVA

O AVA utilizado para aplicação da modelagem chama-se SestatNet [14], ele é usado para ensino semipresencial na disciplina de Estatística pelos alunos de engenharia da Universidade Federal de Santa Catarina.

A modelagem fuzzy proposta está implementada nesse AVA, que foi desenvolvido em PHP, através de um toolbox disponibilizado pelo Matlab na linguagem C. No toolbox existem dois arquivos em C denominados fismain.c e fis.c, que são fornecidos como códigos-fonte para um motor de

1624 IEEE LATIN AMERICA TRANSACTIONS, VOL. 10, NO. 2, MARCH 2012

inferência fuzzy no modo stand-alone. O código stand-alone em C para o motor de inferência fuzzy pode ler um arquivo FIS, que é a extensão dos arquivos de modelagem fuzzy gerados no Matlab, e um arquivo de dados de entrada para realizar inferência diretamente sobre os mesmos.

Para ativar o motor de inferência, o agente "estudante" gera um arquivo com o conjunto de entradas que contém o desempenho teórico e o desempenho prático dos alunos. Após a geração desse arquivo, o mesmo é submetido juntamente com o modelo fuzzy (arquivo FIS) ao motor de inferência, que retorna a variável de saída (avaliacaoGeral) desfuzzyficada.

Nesse AVA o motor de inferência é ativado toda vez que o estudante realiza alguma atividade prática ou teórica e possui um desempenho nas duas avaliações. Ou seja, é gerado um arquivo para o conjunto de entrada (teórica e prática). Após a geração desse arquivo, o mesmo é submetido juntamente com o modelo fuzzy proposto (arquivo FIS) ao motor de inferência. O código stand-alone retorna um arquivo com a variável de saída (avaliacaoGeral) desfuzzyficada.

A avaliação teórica no AVA é composta por 30 questões em diferentes níveis de aprendizagem. Cada questão tem diferentes números de opções de respostas. A avaliação teórica é um atributo que apresenta uma entropia menor, o que caracteriza uma informação significativa para construção da AD. Isso acontece porque a parte teórica do AVA é muito mais complexa e rica quando comparada com a avaliação prática, também do AVA. A parte prática é caracteriza por uma tomada de decisão do tipo “sim” e “não” que expressa a interpretação de cálculos realizados no AVA. E é o que determina a próxima interação do AVA com o estudante.

Os dois módulos de avaliação do AVA: teórico e prático são módulos independentes desprovidos de uma hierarquia entre as avaliações. Ou seja, o estudante tem total liberdade de realizar as avaliações teóricas e práticas de modo independente e no tempo em que achar conveniente.

Os estímulos pedagógicos implementados envolvem valores de desempenho desfuzzyficados superiores a 0,8. Nesses casos, os estudantes podem receber um estímulo pedagógico, que corresponde a um agente de interface enviar uma mensagem ao estudante indicando que seus resultados estão excelentes. Nos casos, em que o estudante não está atendendo a expectativa de desempenho esperado, por exemplo, o estudante fica abaixo da faixa de 0,6, ele deve continuar sendo orientado a trabalhar no AVA, estudando situações mais pontuais (teoria + prática). Estudantes que ficam acima da faixa de 0,6 somente em um dos tipos de avaliação, devem ser conduzidos a desafios pedagógicos ou mais teóricos ou mais práticos dependendo dos resultados observados.

V. CONCLUSÕES

O uso de lógica fuzzy na análise do desempenho do estudante pode flexibilizar a categorização do processo de ensino-aprendizagem. Dessa forma, o resultado de um desempenho não será avaliado de uma maneira exata, sendo possível um tratamento mais adequado no processo de ensino-aprendizagem do estudante. Após o processamento do motor de inferência fuzzy, o agente de interface do AVA é responsável por determinar o recurso pedagógico mais

adequado a ser ativado. Este processo ocorre de forma dinâmica e transparente a cada interação do estudante com o ambiente.

Além disso, a modelagem proposta baseou-se na construção das funções de pertinência através de um processo de mineração de dados, que envolveu a análise de dois tipos de AD. Essa relação entre as árvores de decisão e o modelo fuzzy apresentam resultados relevantes e mais precisos para a construção das funções de pertinência. Já que envolvem um processo de descoberta de conhecimento sobre a base de dados do AVA. Sendo assim, o modelo fuzzy e seus parâmetros representam mais fielmente o contexto de aplicação analisado. Além disso, minerar e classificar dados abre a possibilidade de ajustes no modelo fuzzy proposto.

É importante destacar que uma AD pode ser utilizada com duas finalidades: previsão e descrição. Nesse trabalho buscamos elaborar uma descrição que fornecesse informações interessantes a respeito das relações entre os atributos preditivos e o atributo classe em cima da base de dados do AVA. O objetivo foi construir a estrutura da árvore C4.5 apresentada, como uma modelagem fuzzy observando os ajustes das regras mamdani e suas funções de pertinências.

REFERÊNCIAS [1] Bardin, L. Análise de conteúdo. Lisboa: Edições 70; 2000. [2] Quinlan, J. R. C4.5: Programs for Machine Learning. São Francisco:

Morgan Kaufmann, 1993. [3] Dutra, R. G.; Martucci, M. Jr. Adaptive Fuzzy Neural Tree Network.

IEEE Latin America Transactions, Vol. 6, no. 5, September 2008 [4] Weon, S.; Kim, J. Learning achievement evaluation strategy using fuzzy

membership function. 31st ASEE/IEEE Frontiers in Education Conference, October 2001.

[5] Fabri, J.; Fabri, M. Ferramenta fuzzy para acompanhamento do desempenho dos alunos nos cursos à distância. Anais do XXII Congresso da SBC - WIE, 2002.

[6] Rieder, R.; Brancher, J. Aplicação da lógica fuzzy a jogos didáticos de computador - a experiência do mercadão gl. VII Congresso Iberoamericano de Informática Educativa, 2004.

[7] Silva, H. et al. Um sistema baseado na lógica difusa para decidir os conceitos finais dos estudantes críticos. WEI, 2008.

[8] Mateus, G. P., Wilges. B., Nassar, S., Silveira, R.Uma ferramenta de análise do desempenho de estudantes baseada em SMA e lógica Fuzzy. Simpósio Brasileiro de Informática na Educação (SBIE). 2009

[9] Quinlan, J. R. Discovering rules by induction from large collection of examples. Expert Systems in the Micro Electronic Age. Edinburgh, UK: Edinburgh University Press, 1979.

[10] Rapidminer, Dortmund – Alemanha. RapidMiner 4.1 User Guide. Dortmund, 2008.

[11] Wilges, Beatriz; Mateus, Gustavo; Nassar, Silvia Modesto; Bastos, Rogério Cid. Avaliação da aprendizagem por meio de lógica de fuzzy validado por uma Árvore de Decisão ID3. Revista de Novas Tecnologias na Educação (RENOTE). 2010.

[12] Zadeh, L. A.; Kacprzyk, J. Fuzzy Logic for the Management of Uncertainty. [S.l.: s.n.], 1992.

[13] Mamdani E. H. Aplications of fuzzy algorithms for control of simple dynamic plant. IEEE, v.12, p.1585-1588, 1973.

[14] B. Wilges, G. P. Mateus, R. C. Bastos, S. M. Nassar, "Integration of BDI agent with Fuzzy Logic in a Virtual Learning Environment", IEEE LATIN AMERICA TRANSACTIONS, Vol. 10, No. 1, pp. 1370-1376, Jan. 2012.

WILGES et al.: FUZZY MODELING BUILT THROUGH 1625

Beatriz Wilges received the master degree in Computer Science from the Federal University of Santa Catarina, Florianópolis, Brazil, in 2008, and is a PhD student in Engineering and Knowledge Management. Her current research interest includes modeling and data mining, knowledge management and multi-agent systems. Gustavo Pereira Mateus received the master degree in Computer Science from the Federal University of Santa Catarina, Florianópolis, Brazil, in 2010. His current research interests are the modeling of computational intelligence applications and data mining techniques.

Silvia Modesto Nassar has a PhD in Electrical Engineering. She is a professor in the Federal University of Santa Catarina, Florianópolis, Brazil. Her current research interest are the applications of bayesian networks, fuzzy logic and modeling data through statistical analysis.

Rogério Cid Bastos has a PhD in Production Engineering. He is a professor in the Federal University of Santa Catarina, Florianópolis, Brazil. His current research interest are knowledge management, information technology and fuzzy logic.

1626 IEEE LATIN AMERICA TRANSACTIONS, VOL. 10, NO. 2, MARCH 2012