Cargas Dinamicas - SSIS
-
Upload
arthurjosemberg -
Category
Documents
-
view
273 -
download
4
Transcript of Cargas Dinamicas - SSIS
Desenvolvendo Cargas de Dados Dinâmicas e Incrementais com Integration Services
Apresentação
Senior BI Analyst at Comp Line
BI and Database Consultant and Instructor - One Way Solution
Writer – SQL Magazine
OLAP and ETL Consultant and Instructor – BI do Brasil
Microsoft Certified Professional
Agenda
Extract, Transformation and Load – Introdução
Conhecendo o MS Integration Services Arquitetura do MS Integration Services Conhecendo alguns componentes do SSIS Constraints, Variáveis, Parâmetros e
Expressões Foreach Loop Container Desenvolvendo cargas Padrões com SSIS Processo de carga Dinâmico – Arquitetura e
Criação Implementando a carga incremental no
SSIS
Extract, Transformation and Load - Introdução
O ETL visa trabalhar com toda a parte de extração de dados de fontes externas, transformação para atender às necessidades de negócios e carga dos dados dentro do Data Warehouse.
Em tempo de execução ele é divido em Extração, Transformação e Carga de dados.
Conhecendo o MS Integration Services
O Microsoft Integration Services é responsável por permitir a construção de cargas de integração de dados e ETL para Data Warehouse;
ProjectSolution
Package Control
FlowData Flow
Arquitetura do MS Integration Services
Solution
Project 1
Project 2
Project 3
Recipiente Macro;
Dentro de uma Solução é possível criar vários projetos da solução Microsoft – SSIS, SSAS, SSRS;
Arquitetura do MS Integration Services
Project
Package 1
Package 2
Connection 1
Recipiente onde se cria os pacotes de ETL a seremdesenvolvidos;Criação das conexões globais;
Arquitetura do MS Integration Services
Recipiente para desenvolvimento dos Fluxos de controle e de dados.
Package
Control Flow
Arquitetura do MS Integration Services
Control Flow Recipiente onde se cria o
fluxo de Dados;
Possibilidade de fazer algumas configurações. Exemplo - EmailContainer
Execute SQL
Send Mail
Data Flow
Arquitetura do MS Integration Services
Data Flow
Task usada para trabalho a nível de Dados.
Inúmeras possibilidades;
Lookup
Merge Join
Sort
Merge
…
Arquitetura do MS Integration Services
Destino 2
Destino 1
Condição
Mesclar
Origem 2
Origem 1
Task usada para trabalho a nível de Dados.
Arquivo txt
Data Flow Task
Destino 3
Execute SQL TaskUsado para executar comandos em SQL padrão ANSI
e/ou T-SQL;
Destino 1
Destino 2
Origem
COMPLETION FAILURESUCCESS
Precedência de Constraints
Destino 3
A precêdencia COMPLETION
Exige apenas que o executável de precedência seja
concluído, independente do resultad
o.
Precedência de Constraints
Destino 1
Origem
COMPLETION
A precêdencia SUCCESS exite que o executável de
precedência seja executado com sucesso.
Precedência de Constraints
Destino 2
Origem
SUCCESS
A precêdencia FAILURE exige que o executável
de precedência deve falhar. Geralmente utilizado
para tratamento de erros.
Precedência de Constraints
Origem
FAILURE
Destino 3
Passo 3
Passo 1 Passo 2
AND
Passo 2
Multiplas de Constraints
OR
Passo 1 Passo 2
Passo 3
Se a opção AND for ativada em seu Control
Flow, você estará indicando logicamente
que SOMENTE se os dois primeiros passos tiverem
sido concluídos, o Controle pode prosseguir
para o Passo 3.
Multiplas de Constraints
AND
Passo 2Passo 1 Passo 2
Passo 3
Se a opção OR for ativada em seu Control Flow, você
estará indicando logicamente para que caso
um dos dois primeiros passos tiverem sido
concluídos, o Controle pode prosseguir para o
Passo 3.
Multiplas de Constraints
Passo 3
Passo 1 Passo 2
OR
Dentro da ferramenta do Integration Services é possível trabalhar com dois tipos de variáveis:
Variáveis de Usuário – Criadas dentro do Pacote pelo desenvolvedor.
Variáveis de Sistema – Guardam dados em tempo de execução do pacote.
DadosVariável
Variável
Parâmetros são recipientes que recebem o valor corrente de uma determinada variável e aplica esse valor em uma determinada situação.
Dentro do SSIS um parâmetro é mapeado através do character ‘?’
VariávelParâmet
ro
Parâmetro
Uma expressão é uma combinação de símbolos (identificadores, literais, funções e operadores) gera um único valor de dados.
Expressões
Funções Matemáticas Funções de String Funções de Data e Hora Funções para tratamento de NULL Funções para conversão de tipo de dados Operadores
Expressões
Foreach Loop Container irá se repetir para cada elemento retornada de uma matriz.
Loop
Elemento 1Elemento 2Elemento 3
Foreach Loop Container
1. Diretório2. Listagem Manual3. Linhas retornadas de um Objeto4. Tabelas de banco de dados5. Variável6. XML7. Objetos do Banco (tabelas, views)
Foreach Loop Container
Desenvolvendo Cargas Padrões com SSIS
Processo de Carga Dinâmico - Arquitetura e Criação
Acha Parâmetros
Habilita a Trace Flag
610Desabilita a Trace Flag
610
Retorna Colunas
Carrega Tabela
Container
Implementando a carga incremental no SSIS
Acha Parâmetros
Habilita a Trace Flag
610
Container
Habilita a Trace Flag Desabilita a Trace
FlagRetorna Colunas
Retorna Colunas
Retorna Colunas
Retorna Colunas
Valida Dipo de Carga
Referências
https://msdn.microsoft.com/en-us/library/ms141134.aspx
https://msdn.microsoft.com/en-us/library/ms137681.aspx
https://msdn.microsoft.com/en-us/library/ms141261.aspx
https://msdn.microsoft.com/en-us/library/ms139733.aspx
Contatos
Email - [email protected]
Linkedin – Arthur Luz
Twitter - @arthurjosemberg
Skype - arthurjosemberg
Blog – arthurluz.wordpress.com