Aplicações Práticas de Machine Learning
77
aplicações práticas de machine learning Luiz Costa @gutomcosta www.sagadoprogramador.com.br
-
Upload
luiz-costa -
Category
Data & Analytics
-
view
493 -
download
1
description
Machine Learning tem se tornado um tópico importante no cenário de software atual. Muito do que se vê sobre o assunto ainda está altamente relacionado a uma matemática complicada, algo exclusivamente acadêmico ou relacionado ao tema do momento, Big Data. A proposta desta apresentação é tentar mostrar um pouco além da teoria sobre o assunto. Mostrar como parte de toda a carga conceitual por trás de Machine Learning, tem tornado aplicações ligeiramente mais “inteligentes” e como isso pode ser usado em projetos mais tradicionais do mundo empresarial, sem necessidade de ser uma grande startup, que produz alguns milhões de registros de dados por dia. Nesta palestra, será apresentada uma visão geral sobre o assunto, será mostrado alguns algoritmos e exemplos de aplicações. Além de mostrar um pouco pouco do trabalho que está sendo feito no processo de evolução de um sistema de recomendação e da otimização de processos empresariais através das idéias de Process Mining.
Transcript of Aplicações Práticas de Machine Learning
aplicações práticas de machine learning
Luiz Costa@gutomcosta
www.sagadoprogramador.com.br
artificial Intelligence?
machine learning?Intro to Artificial
IntelligenceStanford online 2011
Intro to Machine Learning
Stanford online 2011
IA e ML!
IA e ML???
machine learningIn which we describe agents that can improve their behaviour
through diligent study of their own experiences.
“Artificial Intelligence -A modern approach"-Stuart Russell and Peter Norvig
Field of study that gives computers the ability to learn without being explicitly programmed.
Arthur Samuel (1959)
Machine learning is a subfield of computer science (CS) and artificial intelligence (AI) that deals with the construction and study of systems that can learn from data, rather than follow only explicitly programmed instructions. Besides CS and AI, it has strong ties to statistics and optimization, which deliver both methods and theory to the field.
Machine Learning - Wikipedia
Machine learning is a subfield of computer science (CS) and artificial intelligence (AI) that deals with the construction and study of systems that can learn from data, rather than follow only explicitly programmed instructions. Besides CS and AI, it has strong ties to statistics and optimization, which deliver both methods and theory to the field.
Machine Learning - Wikipedia
supervised learning
Aprendendo através de exemplos
dados de exemplo
unsupervised learning
sem exemplos, o que é possível fazer?
clustering
clustering
marketingdescobrir grupos distintos em uma base de clientes e usar estes grupos para ajudar no
desenvolvimento de campanhas focadas nos nestes grupos
segurosdescobrir perfis com alto risco para seguros de
automóveis
na práticadois exemplos de uso. Será que dá
tempo?
evoluindo um sistema de
recomendação
collaborative filtering
usuários avaliam
não existe avaliação
content-based recommendation
características
1. Mostrar itens similares
vector space model
skull caveira flower vintage caveiras
produto1 1 1 1 0 0
produto2 1 1 0 1 1
produto3 1 1 0 0 0
O quanto um produto é similar a
outro?
cálculo de similaridade
cálculo de similaridade
obtendo produtos similares
obtendo produtos similares
obtendo produtos similares
obtendo produtos similares
Hein ????
2. recomendação personalizada
em desenvolvimento
Como mostrar aqui o que é interessante para um usuário?
construindo um profile de
preferências do usuário
capturando ações do usuário
data evento conteúdo
01/09/2014 08:35 buscou{query: "caveira",
produtos: [1991, 1331, 3892] }
01/09/2014 08:39 visualizou {id: 1991}
01/09/2014 08:34 visualizou {id:1331}
01/09/2014 08:40 like {id: 1331}
01/09/2014 08:44 comprou {id: 1331}
Usuário: Paulo José
capturando ações do usuário
data evento conteúdo
01/09/2014 08:35 buscou{query: "caveira",
produtos: [1991, 1331, 3892] }
01/09/2014 08:39 visualizou {id: 1991}
01/09/2014 08:34 visualizou {id:1331}
01/09/2014 08:40 like {id: 1331}
01/09/2014 08:44 comprou {id: 1331}
construindo as preferências
construindo as preferências
algumas ações não seriam mais
importantes que outras?
capturando ações do usuário
data evento conteúdo peso
01/09/2014 08:35 buscou {query: "caveira", produtos:
[1991, 1331, 3892] }0.3
01/09/2014 08:39 visualizou {id: 1991} 0.1
01/09/2014 08:34 visualizou {id:1331} 0.1
01/09/2014 08:40 like {id: 1331} 0.6
01/09/2014 08:44 comprou {id: 1331} 1
construindo as preferências com pesos
vector space model
skull caveira flowers metal caveira
silustraçã
o arte cool
produto_1331
1 1 1 0 0 0 0 0
produto_1991 0 1 0 1 1 1 1 0
produto_3892
1 1 0 0 1 0 0 1
Paulo José 1 1 0 1 1 1 1 0
agora é só calcular a similaridade das preferências de usuário com os
produtos
agora é só calcular a similaridade das preferências de usuário com os
produtos
similaridade do cosseno
processos inteligentes e
process miningaquela história de BPM, Enterprise, pode ser
divertida
business process management
process mining
• process discovery
• performance analysis
• process prediction
• process improvement
o que realmente aconteceu?
quais são os gargalos do meu processo?
esta instância vai estourar o sla?
como posso redesenhar este processo com o que foi aprendido?
log de eventos
análise
e a análise sobre dados de negócios?
exemplo compra de passagens aéreas
passageiro companhia trecho preço data da compra
data do embarque
dias de diferença
Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
Costa/Luiz TAM SDU/CGH 200,00 08/04/2014 09/06/2014 62
Paiva/Roberto AVIANCA SDU/CGH 126,00 25/02/2014 11/03/2014 14
Ronaldo/Cristiano TAM SDU/CGH 258,70 25/11/201
4 17/12/2014 22
log resumido processo de compra de passagens aéreas
dados de negócio?
• o que define uma boa compra?
• quais são as variáveis que mais influenciam na compra?
• por que uma compra ruim, foi ruim?
definição de um processo automático para obter respostas
Statistical Learning
casecontexto e
objetivo
qual seria a entrada de dados necessária?
passageiro companhia trecho preço data da compra
data do embarque
dias de diferença
Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
Costa/Luiz TAM SDU/CGH 200,00 08/04/2014 09/06/2014 62
Paiva/Roberto AVIANCA SDU/CGH 126,00 25/02/2014 11/03/2014 14
Ronaldo/Cristiano TAM SDU/CGH 258,70 25/11/201
4 17/12/2014 22
preço
570,00
200,00
126,00
258,70
como definir o que é uma boa compra?
preço
570,00
200,00
126,00
258,70
como definir o que é uma boa compra?
preço <= 181,50
quais são as variáveis que mais influenciam na compra?
quais são as variáveis que mais influenciam na compra?
lineares? Não lineares?
variáveis mais
importantes
quais são as variáveis que mais influenciam na compra?
Ex. código R
por que uma compra ruim, foi ruim?
passageiro companhia trecho preço data da compra
data do embarque
dias de diferença
Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
por que uma compra ruim, foi ruim?utilizando as variáveis
identificadas, é possível ter alguns insights
dias de diferença companhia
boas case boas case
14 8 100% Avianca TAM
passageiro companhia trecho preço data da compra
data do embarque
dias de diferença
Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
muita estatística
considere R para prototipação. Para produção existem
boas alternativas, mas não deixe de olhar python + pandas +
scikit
existem vários cenários que é possível aplicar as idéias de machine
learning dentro da sua empresa e não precisa ser big data small data
Obrigado.
ReferênciasIntrodução a sistemas de recomendação - https://www.coursera.org/course/recsys
Recommender Systems: An Introduction - http://www.amazon.com/Recommender-Systems-Introduction-Dietmar-Jannach/dp/0521493366
Process Mining - http://www.processmining.org/
Statistical Learning Theory -http://en.wikipedia.org/wiki/Statistical_learning_theory
R Language - http://www.r-project.org/
scikit learn - http://scikit-learn.org/stable/
Vandal - www.vandal.com.br
An Introduction to Statistical Learning with applications in R - Gareth James, Daniela Wittern, Trevor Hastie, Robert Tibshirani
