Splunklive! Universo Online
-
Upload
splunk-brasil -
Category
Technology
-
view
111 -
download
6
description
Transcript of Splunklive! Universo Online
Copyright © 2014 Splunk Inc.
Monitorando ecommerce com Splunk no Universo Online
Mauricio Giraldeli – Gerente de Projetos de P&D no
Universo Online
2
Marcio Ghiraldelli
! 6 anos como arquiteto de TI no Universo Online ! Arquitetura de sistemas de alta disponibilidade (PagSeguro e ShoppingUOL)
! Sun CerOfied Java Architect / MBA em Gerenciamento de Projetos PMI
3
Agenda
! Monitorando transações de cartão de crédito ! Tomada de decisões de negócio
! Monitorando operação do sistema ! Medindo ROI de mídia online em tempo real
4
! Maior por\olio de produtos e serviços de Internet do Brasil ! Maior portal de conteúdo em língua portuguesa do mundo ! Infraestrutura de TI e Datacenter
6
Splunk @ PagSeguro
• Monitoração antes: • Baseada em banco relacional, sem escala horizontal
• Limitado às 3 ulOmas horas de eventos
• Acesso a dados históricos depende de DBA
• Necessário instalar aplicação cliente em todos os computadores da equipe de monitoração
7
Descobrindo e escolhendo Splunk
Novo serviço backend
Adquirentes cartão de crédito, bancos, etc
Ferramenta de monitoração
PCI-‐DSS security compliance
8
Descobrindo e escolhendo Splunk
• Necessidades da monitoração: • Big Data centralizado
• Flexível
• Fácil de usar
• RealOme
9
<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO [br.com.uol.ps.gw.core.aspect.CommandExecuteLogger] (qtp564660841-420:) datetime=2013-03-12 08:18:44,528
command=CreditCardSaleCommand msecs=555 {creditCardResponse=null,creditCardRequestModel={
creditCardTransaction={id=9999993513, merchantCode=99999999, fiDetails={nsu=999998,authorizationCode=59999999841, time=Tue Mar 12 08:18:44 BRT 2013, rawMessage=Transacao capturada com sucesso, rawCode=0, fi=locie, integratorCode=1016999999999999991}, numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e, isWallet=false, softDescriptor=CortaCortaco,
maskedNumber=547408******1525,cvv=***, brand=mastercard, paymentStatus=PAGO
Exemplo de informação de transações
10
Dashboards em tempo real
11
Dashboards em tempo real
Tempo médio de comunicação com parceiros
12
Dashboards em tempo real
ComparaOvo de volume de transações com semana anterior
13
Dashboards em tempo real
Tempo médio de comunicação por transação
14
Dashboards em tempo real
DesaOvando integrações legadas
15
Splunk @ PagSeguro • Agora: • Monitoração web com gráficos, treinamento para novos N1s diminui
de semanas para dias;
• Acesso à dados históricos com um clique
• Nivelamento de informações entre monitoração, P&D e área de negócios
17
Splunk @ ShoppingUOL
• Antes: • Time de P&D sem relatórios gráficos centralizados da saúde da
operação
• Dados de ROI de mídia online não eram em tempo real
18
Splunk Universal Forwarder
• Componente light de fácil configuração para coletar logs existentes de aplicações legadas
• Expansão da licença atual e infra (+ indexers) do Splunk para atender novo produto ShoppingUOL
• Instalação automaOzada em +20 máquinas virtuais via puppet
19
Splunk Proccess Language
• Extração de dados de logs em diversos formatos legados
• rex, transacOon, dedup
20
Dashboards QuanOdade de ofertas coletadas por lojas
21
Dashboards Volume de documentos indexados e replicados no índice Solr
22
Dashboards Performance de aplicações Java com Perf4J
23
Dashboards ROI de Mídia Online em tempo real
24
Splunk @ ShoppingUOL
• Depois: • Time de P&D e operação com a mesma visibilidade
• Acompanhamento de campanhas de mídia online em tempo real + velocidade em tomadas de decisões de invesOmentos
Upgrade de arquitetura “on the fly”
26
Upgrade de arquitetura “on the fly”
Antes: 2 servidores com uma instância de Splunk
NFS Mount
Index cold buckets
Search Head and Indexer Incoming TCP data
Splunk Search User Access
27
Upgrade de arquitetura “on the fly”
Depois: 4 servidores com 4 instâncias Splunk
Search Head
Incoming TCP data
Search Head
Indexer
Indexer
TCP Load Balancer TCP Load Balancer Splunk Search User Access
Próximos passos
29
Próximos passos
• Todas as novas aplicações sendo criadas com logs no formato chave/valor, prevendo uma futura convergência no Splunk
• Instalando uma televisão no andar da área de negócios para acompanhamento em tempo real dos dashboards
• Evoluindo a arquitetura do Splunk “corporaOvo” para atender todos os produtos do UOL em uma infra centralizada
• Integrar Splunk com os eventos de processos ITIL/CMDB
Obrigado!
linkedin.com/in/mghiraldelli twiyer.com/marciogh