Prof. Afranio Lamy Spolador Jr. Administração de Sistemas de Informação Datawarehouse Business...
Transcript of Prof. Afranio Lamy Spolador Jr. Administração de Sistemas de Informação Datawarehouse Business...
Prof. Afranio Lamy Spolador Jr.Prof. Afranio Lamy Spolador Jr.
Administração deSistemas de Informação
DatawarehouseDatawarehouse
Business IntelligenceBusiness Intelligence
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Business Intelligence
Definições
“Termo genérico introduzido por Howard Dresner do Gartner Group em 1989,
Business Intelligence é um conjunto de conceitos e metodologias que apoia a
tomada de decisões em negócios.”
[Computeworld Março/1999]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Business Intelligence O que é BI ?
“[...] Apesar da semelhança com data warehouse, ele apresenta variações. [...]
é um processo de coleta, análise e distribuição de dados para melhorar a decisão nos negócios;
o objetivo é levar a informação para um número bem maior de usuários dentro da corporação;
As ferramentas de software precisam endereçar problemas como escalabilidade, facilidade de uso e de gerenciamento;
os bancos de dados são a infra-estrutura básica de qualquer sistema de business intelligence. Os mais comuns são os BDs multidimensionais, que permitem as análises por meio de cubos.” [Computeworld Março/1999]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Business Intelligence
A inteligência é a alma do negócio
“Os sistemas de business intelligence vão levar sua empresa para o século XXI e transformar a
maneira como se faz negócios.”
[Computeworld Março/1999]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
O mercado tem confundido:
Data Warehouse (DW)com Business Intelligence (BI)
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Uma Definição
“Um data warehouse é uma coleção de dados orientados a assuntos, integrados,
variáveis no tempo e não voláteis para suporte ao processo gerencial de tomada
de decisão”.
[Inmon & Hackathorn]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Mais Definições
“Um data warehouse [...] é um banco de dados que armazena dados sobre as operações da empresa
(vendas, compras, etc.) extraídos de uma fonte única ou múltipla, e transforma-os em informações úteis, oferecendo um enfoque histórico, para permitir um
suporte efetivo à decisão.”
[Adelize Generini de Oliveira]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Mais Definições
“Data Warehouse [...] é construído e implementado de uma maneira evolucionária passo a passo,
organizando e armazenando os dados necessários para a análise informacional e o
processamento analítico sob uma perspectiva de longo prazo”.
[Inmon & Hackathorn]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Questões
O DW busca atender a organização com INFORMAÇÕES. Como conseguir isso ?
Que dados devem ser armazenados no DW ? Que assuntos devem ser organizados no DW ? Quem pode dar a chave para a construção ? Quem na organização tem a visão necessária ? Existe um ponto de partida ?
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Uma direção a partir de premissas existentes:
A organização possui um conjunto de processos operacionais necessários, indispensáveis e que são a própria razão de ser da Empresa. Esses processos se utilizam e geram DADOS.
Os sistemas que atendem a linha operacional possuem completeza e satisfazem.
Como transformar esses resultados operacionais em INFORMAÇÕES ? Isso é suficiente ?
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
• O Ambiente da Decisão - EXTERNO
ORGANIZAÇÃO
EMPREGADOS
ACIONISTAS
VARIÁVEISSOCIAIS
VARIÁVEISTECNOLÓGICAS
VARIÁVEIS POLÍTICAS
VARIÁVEISECONÔMICAS
INST.FIN.
COMPETIDORES CLIENTES
Grupos deINTERESSEMÍDIA
FORN
GOVSIND
PARCERIAS
Business Intelligence / Data Warehouse
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
NIVELESTRATÉGICO
TÁTICO
OPERACIONAL
Sistemas de Informações Executivas
Sistemas de apoio à decisão
SistemasTransacionais
NIVEL
NIVEL
• O Ambiente da Decisão - INTERNO
Business Intelligence / Data Warehouse
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Objetivo do Data Warehouse
“ Não basta ter dados. É preciso interpretá-los e com isso aprender mais sobre os clientes, a própria empresa e o mercado. Ou seja, promover o encontro
entre a tecnologia e os negócios”.
[Carvalho 1997]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Conhecer mais a organização para ....
“ A visão de futuro é um ingrediente fundamental na modelagem estratégica. [...] É a eterna busca por
tudo aquilo que ainda não existe, mas que certamente existirá; do que ainda não é
necessário, mas será. É um misto de filosofia e receio do desconhecido, um recheio de ameaças e
oportunidades que nos lança à busca de antecipações dos próximos movimentos da
história.”[Furlan 1997]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
e-Commerce + CRM + ERP + BI
Cliente
Operador Logístico
ERP:ve,co, fi,lo,co, ...
Loja VirtualCall CenterLoja Real
Vendedores
Indústrias
Operador Financeiro
Bancos
Cartões
Financeiras
Operador Financeiro
Operador Financeiro
CRM:integ+dbm+wf
BI:dw,eis
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Como iniciar a construção
“ Não é preciso começar grande e com investimentos de milhões de dólares. O importante é simplesmente começar. A própria mudança de comportamento
provocada pelo primeiro passo irá influenciar os restantes”.
[Computerworld Julho/1996]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Uma direção a partir de premissas existentes:
Estamos falando de INFORMAÇÕES para atender os níveis TÁTICO e ESTRATÉGICO.
Portanto, os sistemas que atendem a linha operacional estão atendidos.
Como transformar esses resultados operacionais em INFORMAÇÕES ?
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Como Iniciar a Construcão ? Opinião da Consultoria Opinião de Fornecedores O que a experiência mostra
Temos o que a organização espera como resultado ? Existe comprometimento de toda a estrutura da
empresa ? Sabemos como acompanhar o ambiente externo Sabemos como acompanhar o ambiente interno Definir foco Patrocinador forte e influente Equipe de desenvolvimento multi-disciplinar
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Como Iniciar a Construção ? O Planejamento Estratégico da Informação é uma
alternativa da Engenharia da Informação Existem outras alternativas, sugeridas por
fornecedores e consultores Um bom Plano de Trabalho é o primeiro passo. Sua empresa vai necessitar de consultoria ? Vai adquirir equipamentos de que porte ? Já dimensionou a aplicação ? Vai adquirir gerenciador de BDR ? Vai adquirir Software para manuseio do DW ?
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Como Iniciar a Construcão ?“[Na modelagem estratégica] Inicialmente, estabelecemos a
missão da organização e em seguida relacionamos os respectivos objetivos executivos, estratégicos e táticos de
sustentação. Posteriormente, determinamos os fatores chaves de sucesso que estarão impactando de forma
decisiva os objetivos declarados, bem como as estratégias para a concretização daqueles fatores chaves
de sucesso. Por fim, traçamos os planos de ação para levar a termo a implementação das estratégias
estabelecidas.”
[Furlan 1997]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Como Iniciar a Construcão ?
“No modelo funcional não há pessoas, mas recursos;
não há hierarquia, mas decomposição funcional.
Na verdade, o modelo funcional existe antes das pessoas - quando a empresa é estabelecida, agregamos recursos
para que seja possível concretizar sua missão. Os recursos, por sua vez são gerenciados pelas funções de
negócio.”
[Furlan 1997]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse Sugestões
“identificar as necessidades dos usuários e o modelo de dados que o data warehouse deverá conter;
identificar as fontes de dados, em meio aos vários repositórios disponíveis no ambiente;
definir que tipo de transformação o dado deverá sofrer para poder se integrar ao data warehouse;
criação do metadado, que identifica a fonte do dado, a transformação pela qual o dado irá passar, e que define o modelo de dado para o data warehouse;
criação e “popularização” do data warehouse, mediante acesso aos dados das várias fontes de informação.”
[Marcelo Merchan - Computerworld]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse Mais sugestões
“Povoar um data warehouse envolve processos como: a extração de dados do sistema fonte; o transporte dos dados para o sistema destino; a transformação dos dados para melhor qualidade e leitura; a integração de informação de diferentes fontes; a carga da base de dados.
Mesmo no caso de DWs pequenos, é uma tarefa complexa. As ferramentas que ajudam na integração e automatização desses processos são, por isto, cada vez mais importantes, podendo reduzir os custos e facilitar a gerência do projeto.”
[Alda Campos - Computerworld]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse Mais sugestões
“estabeleça suas metas corporativas; estabeleça sua visão corporativa;
relacione as áreas de negócio, processos e unidades em sua organização.
destaque aqueles que estiverem MAIS sujeitos à criatividade e individualidade e MENOS passíveis de automatização;
priorize estas áreas de negócio em termos de impacto positivo desejado e contribuição para metas e visões corporativas;
estabeleça a sua principal área de negócio em prioridade; liste os tópicos e assuntos-chave que melhor representem estas
áreas de negócio (produto, cliente, qualidade, vendas, mercado, recursos humanos, etc.)
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
“O data warehouse é indispensável para o gerenciamento dos negócios, visto que esta estratégia dá suporte à criatividade
e individualidade dos tomadores de decisão em toda a empresa.
[ ... ]
Percorrendo estas etapas você selecionou as áreas de negócio, tópicos e os critérios de comparação para seu
projeto inicial de data warehouse. Estas informações também serão de utilidade para obter compromisso interno
em sua organização para o projeto de data warehouse.”
[SAS Institute Inc]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse - Estrutura
•A Reta Inclinada
EIS
DATA DESTILLERS
DATADESTILLERS
DATAMINING
DATAMINING
DATA MART
TÁTICO
APLICAÇÕESOPERACIONAL
ESTRATÉGICO
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Alguns conceitos Data Mart: obedece aos mesmos conceitos do data
warehouse, mas tem um conteúdo direcionado para um determinado objetivo que pode ser por assunto ou departamental. Se utiliza das mesmas ferramentas e manipula bancos de dados menores.
Exemplo: Vendas de um produto em uma região Os 500 maiores Clientes da empresa Informações contábeis
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Alguns conceitos Data Mining: técnicas que buscam dar significado
aos dados do DW e Data Mart. Mineração através de pesquisas pré-definidas, elaboradas sob medida às necessidades conhecidas. A Mineração ad-hoc para consultas não definidas e não conhecidas previamente, usada para análises e simulações.
Exemplo: Análise do perfil do consumidor e cliente Avaliação de ações de concorrentes Análise das vendas por região, local, produto, vendedor Desempenho equipes de venda - sazonalidade
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Alguns conceitos Data Destillers: características similares ao data
mining mas no sentido inverso, utiliza-se de extrações resumidas e consolidadas de dados do negócio para subsidiar de forma sucinta eficaz a tomada de decisões.
Exemplo: Que indicador será afetado por uma ação
operacional Quais resultados serão modificados por uma
mudança em ambiente operacional
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Alguns conceitos Data Bridge: estrutura para através de programas
realizar filtragens para transformar dados do ambiente operacional para o ambiente DW/BI.
Exemplo: Alguns dados operacionais podem nunca sair do
ambiente operacional, chegando ao ambiente DW/BI através de cálculos, combinações e deduções.
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Alguns conceitos Operational Data Storage: Base de dados
transacional que suporta pesquisas para BI. Possibilita a sumarização imediata a partir da ocorrência operacional do processo gerador. Permite a atualidade dos dados e seu uso imediato no ambiente de decisões em função da sumarização dinâmica e sua destilação imediata por assunto.
Exemplo: Venda de um produto reflete na venda diária e
mensal imediatamente.
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Alguns conceitos Aplicação: onde está desenvolvido o conjunto de
pesquisas ao data warehouse - linguagem amigável Engine: software principal, onde é realizado todo o
processo de coordenação das pesquisas e montagem dos algoritmos em tempo de execução.
Metadados: armazenamento do dicionário de dados que associa o data warehouse físico com as visões dos aplicativos e que são manipulados pelo Engine
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Arquiteturas Ferramentas para manuseio do DW
Vários Fornecedores Vários Tipos de Soluções para Manuseio do DW Soluções que possibilitam navegação na estrutura
de dados Soluções para manuseio local ou remota Soluções integradas ao Office Soluções na WEB - camadas da arquitetura
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Arquiteturas - Ferramentas para carga do DWCarga Tradicional – programas desenvolvidos
Modelagem da Base de Dados DWDefinição e Construção dos Programas de CargaRotina operacional para CargaDificuldades: tempo, know-how, qualidade dos dados.
Ferramenta ETL (Extraction-Transformation-Loading)– Parte dos arquivos do legado e associa ao modelo DW– Constrói a carga– Constrói a transformação dos dados– Constrói a rotina para carga e eschedulagem– Dificuldades: reduzidas drásticamente
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Arquiteturas Camadas
Solução com UMA CAMADA - Cliente Gordo
Na estação CLIENTE está o data warehouse, os Metadados, o Engine, cubos e a aplicação.
Vantagens: Simplicidade na arquitetura
Desvantagens: Performance extremamente prejudicada Somente para volume de dados muito reduzido
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Arquiteturas Camadas
Solução com DUAS CAMADAS
Estação Cliente: Aplicativo + Metadados Aplicação + Cubos
Servidor Remoto: Data Warehouse + Engine + Metadados
Relacional + Gerenciador Banco de Dados Melhora um pouco a performance em relação a
uma camada.
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Arquiteturas Camadas
Solução com TRÊS CAMADAS
Estação Cliente: Somente Aplicação
Servidor Remoto Motor: Engine + Metadados Aplicação + Cubos
Servidor Remoto Armazenamento: Data Warehouse + Metadados Relacional +
Gerenciador Banco de Dados Relacional
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Arquiteturas Camadas
Solução com QUATRO CAMADAS - Cliente Magro Estação Cliente:
Somente Browser Servidor Remoto WEB
Servidor WEB + Interface WEB da Ferramenta Servidor Remoto Motor:
Engine + Metadados Aplicação + Cubos Servidor Remoto Armazenamento:
Data Warehouse + Metadados Relacional + Gerenciador Banco de Dados Relacional
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Arquiteturas Camadas
Solução com QUATRO CAMADAS - Cliente Magro Vantagens:
Instalação no Cliente: Somente o Browser Simplificação no suporte - maior performance Estação Cliente não precisa ser muito robusta
Desvantagens: Investimento maior em servidores Necessita boa administração dos recursos
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Arquiteturas Outra visão de camadas:
Camada Externa de Banco de Dados - BD Operacional Camada de Acesso a Informação - Ferramenta Camada de Acesso aos Dados - SQL Camada do Diretório de Dados - Metadados Camada do Gerenciamento do Processo Camada de Mensagens da Aplicação - Comunicação Camada Física do Data Warehouse - BDR Camada de Replicação de Dados - Cubos / Agregações
[Adelize Generini de Oliveira]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Ferramentas de Manuseio- Fornecedor / Produto Business Object / Business Object Brio Technology / Brio Query Choice / O3 Cognos / Impromptu, Power Play e Scenario DSS MicroStrategy / MicroStrategy IQ Software / IQ Execplan / FastBI
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Ferramentas de Manuseio- Fornecedor / Produto Extent Pilot / Pilot Hyperion / Essbase, Pillar, Enterprise IBM / Intelligent Miner, DB.2 OLAP Server IBM / DataJoiner, DataPropagator, ITI IBM / DataRefresh, VisualWarehouse Informix / InfoMover, Advanced Decision
Support, Extended Parallel Option
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Ferramentas de Manuseio- Fornecedor / Produto Microsoft / SQL Server 2000 NCR / Teradata, Teracube, CMS Oracle / ExpressServer, 11i Platinum / DecisonBase, InfoBeacon, Forest
and Tree, Perspectivo for Marketing Analysing Prism Solution - DB-Open / Prism
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Ferramentas de Manuseio - Fornecedor / Produto SAS Institute / MDDB Server, SAS EIS e AF,
Insight, Enterprise Miner, Enterprise Report Seagate Software / Seagate Info, Holos, Crystal
Reports, Worksheet Sybase / Warehouse Studio, PowerDimensions
Fonte:
ComputerWorld
8 de Marco de 1999
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
Ferramentas de ETL - Fornecedor / Produto/Site
IBM / ETI / www.eti.com
INFORMATICA / PowerCenter / www.informatica.com
ASCENTIAL / DataStage / www.ascentialsoftware.com
CA / Decision Base Transformer / www.ca.com
Sagent / www.sagent.com
Choose / Amadea / www.choose.com.br
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Business Intelligence / Data Warehouse
“É indiscutível o benefício decorrente do conhecimento e uso da informação. No entanto, o
sucesso na implementação do Business Information Warehouse depende do quanto a
empresa adota estas propostas e as considera estratégicas para a sobrevivência do seu negócio.”
[ComputerWorld Marco/1999 - Johnson & Johnson]