inteligência artificial - fuzzy - mineração

Post on 25-Jul-2015

188 views 2 download

Tags:

Transcript of inteligência artificial - fuzzy - mineração

Inteligência Artificial

Prof. Charles Fortes

Fuzzy Mineração de dados

Inteligência ArtificialProf. Charles Fortes

Charles Fortes

Inteligência ArtificialProf. Charles Fortes

Charles FortesLíder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors

Inteligência ArtificialProf. Charles Fortes

Charles Fortes

Líder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors

SlideShare: http://pt.slideshare.net/charleswellingtonfortesLinkedin: http://br.linkedin.com/in/charlesfortes/Twitter: @CharlesFortes

Inteligência ArtificialProf. Charles Fortes

Charles Fortes

Líder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors

Desenvolvimento Web – MVC – Angular.JS – JQuery – SQLServer – MySQL – HTML5 – NoSQL

Inteligência ArtificialProf. Charles Fortes

Sistemas Fuzzy

Inteligência ArtificialProf. Charles Fortes

• Vago• Indistinto• Incerto• Nebuloso• Difuso

Fuzzy

Inteligência ArtificialProf. Charles Fortes

Criada por Aristóteles em mais de 300 antes de cristo, usava uma linha de raciocínio lógico baseada em premissas e conclusões onde a declaração é verdadeira ou falsa.

Lógica Binária

Inteligência ArtificialProf. Charles Fortes

Premissa1: todo ser vivo é mortalPremissa2: Sarah é um ser vivoConclusão: Sarah é mortal

Lógica Binária

Sarah não pode ser um pouco mortal

Inteligência ArtificialProf. Charles Fortes

O conceito da dualidade, onde algo pode coexistir com seu oposto.

Lógica difusa

“Entre a certeza de ser e a certeza de não ser, existem infinitos graus de incerteza”

Inteligência ArtificialProf. Charles Fortes

• Aquele homem é alto ou baixo? • A taxa de risco para aquele empreendimento é grande ou

pequena? • Hoje o dia esta parcialmente nublado!• Preciso perder alguns quilos para ficar bem!

Lógica difusa

Inteligência ArtificialProf. Charles Fortes

Lógica que suporta os modos de raciocínio que são aproximados, ao invés de exatos. 

Ela está baseada na teoria dos conjuntos nebulosos e difere dos sistemas lógicos tradicionais em suas características e detalhes.

Lógica difusa

Inteligência ArtificialProf. Charles Fortes

O objetivo da lógica Fuzzy é gerar uma saída lógica a partir de um conjunto de entradas não precisas, com ruídos ou até mesmo faltantes

Lógica difusa

Inteligência ArtificialProf. Charles Fortes

Lógica Fuzzy tem por essência gerar valores de a saídas sem a necessidade de entradas precisas

Lógica difusa

Inteligência ArtificialProf. Charles Fortes

Precisão vs importância

Desloque-se 3,75 metros a sudoeste, um objeto metálico de

3.782kg está se deslocando a uma velocidade de 72metros por

seguno na direção de sua cabeça

Inteligência ArtificialProf. Charles Fortes

Sai daí!Uma bigorna vai cair na

sua cabeça!

Precisão vs importância

Inteligência ArtificialProf. Charles Fortes

Teoria dos conjuntos fuzzy

Inteligência ArtificialProf. Charles Fortes

Teoria dos conjuntos fuzzy

Inteligência ArtificialProf. Charles Fortes

Algoritmos de aproximação de string

Dice coeficientLeveinshtein Distance

Longest Common SubsequenceDouble Metaphone

Você quis dizer....

Inteligência ArtificialProf. Charles Fortes

Comparação pela fonética Jensn

Double Metaphone for Jensn: ANSN

ATMS metaphone for Adams PNSN metaphone for Benson JRLT metaphone for Geralds AHNS metaphone for Johannson ANSN metaphone for Johnson ANSN metaphone for Jensen ARTN metaphone for Jordon MTSN metaphone for Madsen STTR metaphone for Stratford FLKN metaphone for Wilkins

Metaphone

Inteligência ArtificialProf. Charles Fortes

Encontrar a maior subsequência comum entre os elementos Jensn

.04000, s against Adams .33333, ensn against Benson .05714, es against Geralds .08889, jnsn against Johannson .17143, jnsn against Johnson .56667, jensn against Jensen .06667, jn against Jordon .13333, en against Madsen .02222, s against Stratford .11429, ns against Wilkins

Longest common subsequence

Inteligência ArtificialProf. Charles Fortes

Mede a distancia entre duas sequencias. Simplificando é a medição do menor número de edições (inserir, deletar, editar) necessários para fazer uma palavra virar a outra Jensn

4 against Adams 2 against Benson 5 against Geralds 5 against Johannson 3 against Johnson 1 against Jensen 4 against Jordon 4 against Madsen 8 against Stratford 6 against Wilkins

Levenshtein distance

Inteligência ArtificialProf. Charles Fortes

Mede a distancia entre duas sequencias. Simplificando é a medição do menor número de edições (inserir, deletar, editar) necessários para fazer uma palavra virar a outra Jensn

4 against Adams 2 against Benson 5 against Geralds 5 against Johannson 3 against Johnson 1 against Jensen 4 against Jordon 4 against Madsen 8 against Stratford 6 against Wilkins

Levenshtein distance

Inteligência ArtificialProf. Charles Fortes

Comparação estatística entre duas sequencias Jensn

.00000 against Adams .46154 against Benson .00000 against Geralds .37500 against Johannson .42857 against Johnson .76923 against Jensen .30769 against Jordon .30769 against Madsen .00000 against Stratford .14286 against Wilkins

Dice coeficient

Inteligência ArtificialProf. Charles Fortes

As respostas aceitáveis devem estar acima de 33%, sendo que abaixo de 20% são inaceitáveis, sendo o o intervalo de 33 a 20 duvidoso.

Dice coeficient

Inteligência ArtificialProf. Charles Fortes

Usa “n”gramas para fazer a análise bigramas, trigramas, ngramas....

Dice coeficient

var str2 = "chalk";

var str = "chlk";

%cchhllkk#

%cchhaallkk#

Inteligência ArtificialProf. Charles Fortes

Dice coeficient

%cchhllkk#

%cchhaallkk#

4 elementos iguais

(2 * ElementosIguais) / QtdLista1+QtdLista2

(2*4) / 6+5 = 8 / 11 = 0,7272

Inteligência ArtificialProf. Charles Fortes

https://github.com/tylerjensen/duovia-fuzzystrings

Code sample

Inteligência ArtificialProf. Charles Fortes

Mineração de dados

Inteligência ArtificialProf. Charles Fortes

A informatização dos meios produtivos permitiu a geração de grandes volumes de dados:

• Transações eletrônicas.• Novos equipamentos científicos e industriais para observação e

controle.• Dispositivos de armazenamento em massa.• Computadores mais baratos e poderosos.

Aproveitamento da informação permite ganho de competitividade através do conhecimento.

Inteligência ArtificialProf. Charles Fortes

Abra a img!

Inteligência ArtificialProf. Charles Fortes

Processo de explorar grandes quantidades de dados à procura de padrões consistentes, como regras de associação ou seqüências temporais, para detectar relacionamentos sistemáticos entre variáveis, detectando assim novos subconjuntos de dados

Data Mining

Inteligência ArtificialProf. Charles Fortes

Conjunto de ferramentas e técnicas que através do uso de algoritmos de aprendizagem ou classificação baseados em redes neurais e estatística, são capazes de explorar um conjunto de dados, extraindo ou ajudando a evidenciar padrões nestes dados e auxiliando na descoberta de conhecimento.

Data Mining

Inteligência ArtificialProf. Charles Fortes

- Extração não-trivial de informação implícia, previamente desconhecidos e potencialmente útil a partir dos dados

- Exploração e análise, por meios automáticos e semi-automáticos de grandes quantidades de dados com o objetivo de descobrir padrões significativos

Data Mining

Inteligência ArtificialProf. Charles Fortes

Data Mining

Mineração de Dados(Data Mining)

CONHECIMENTO

Dado

Dado Dado

Dado

Dado

Dado

DADOS

Inteligência ArtificialProf. Charles Fortes

Data Mining

Documentos históricos da empresa, Internet, banco de dados, notícias

Data Warehouse,Data Marts

Inteligência ArtificialProf. Charles Fortes

• Mineração de dados é um processo que permite compreender o comportamento dos dados e prever resultados.

• Mineração de dados analisa os dados usando técnicas de aprendizagem para encontrar padrões e regularidades nestes conjuntos de dados.

• Mineração de dados é multidisciplinar, envolve inteligência artificial, estatística, reconhecimento de padrões etc..

• Mineração de dados pode ser bem aplicado em diversas áreas de negócios.

Data Mining

Inteligência ArtificialProf. Charles Fortes

• Previsão• Associação• Análise de grupos• Detecção de anomalias

Data Mining

Inteligência ArtificialProf. Charles Fortes

O processo de criação de um modelo de mineração de dados pode ser definido utilizando as seguintes etapas:• Definir o problema.• Preparar os dados.• Explorar os dados.• Criar os modelos.• Explorar e validar os modelos

Modelo de mineração

Inteligência ArtificialProf. Charles Fortes

Modelo de mineração

Preprocessamento Limpeza dos dados, onde informações julgadas

desnecessárias são removidas. Reconfiguração dos dados para assegurar

formatos consistentes (identificação)– Ex. : sexo = “F” ou “M”

sexo = “M” ou “H”

Transformação

Transformam-se os dados em formatos utilizáveis.

Inteligência ArtificialProf. Charles Fortes

Modelo de mineraçãoMineração de Dados

É a extração dos padrões de comportamento dos dados

Interpretação e Avaliação

Identificado os padrões pelo sistema, estes são interpretados em conhecimentos, os quais darão suporte a tomada de decisões humanas.

42

Exemplos ReaisWalmart

• Walmart colocou cervejas ao lado das fraldas.• O que as cervejas tem a ver com as fraldas?

• Homens casados, entre 25 e 30 anos; compravam fraldas e/ou cervejas às sextas-feiras à tarde no caminho do trabalho para casa.• Walmart otimizou às gôndolas nos pontos de vendas,

colocando as fraldas ao lado das cervejas;• Resultado: o consumo de cerveja cresceu 30% .

43

Exemplos Reais Lojas Brasileiras (em 1998)• Aplicou 1 milhão de dólares em técnicas de data mining.• Reduziu de 51.000 produtos para 14.000 produtos oferecidos em

suas lojas.• Exemplo de anomalias detectadas:

–Roupas de inverno e guarda chuvas encalhadas no nordeste

–Batedeiras 110v a venda em Santa Catarina onde a corrente elétrica é 220v

Encerrou as operações em 1999 após uma série de prejuízos que vinham ocorrendo desde 1996. Sucessora Lojas Marisa.

Inteligência Artificial

Prof. Charles Fortes

Dúvidas?