#SQSummit

Montorizando SSISDB

Pau Sempere Sanchez

Data Platform Architect

psempere@solidq.com

@pausempere

Like a boss!

400

Agenda

•Estructura del catálogo

•El catálogo con Power BI

•Gemas escondidas

Estructura del catálogo

Claves• Operations

• ExecutionsoData Statistics

oComponent Phases

• ProjectsoPackages

• Event Messages

Estructura del catálogo

¿Qué tenemos hasta ahora?

• SSIS Dashboard

• Proyectos independientes

Estructura del catálogo

Pros

• Integrado

• Gran nivel de detalle• Nivel de logging

• Fácil de usar

Contras

Estático

Gran nivel de detalle

Muerte por chocolate

SSIS Dashboard

Demo

SSIS Dashboard

El catálogo con Power BI

Power BI• Perspectiva análitica

• Modelo interactivo

• Métricas avanzadas

• Cross-filtering

• Gráficos personalizados

El catálogo con Power BI

SSISDB

Demo

Enriqueciendo el dashboard

Niveles de logging

• None

• Basic

• Performance

• Verbose

En SQL Server 2016, háztelo tú mismo

Expandiendo el modelo

• Filas afectadas por paquete• ¿Más filas más tiempo?

• Uso de memoria• Límite de la máquina

• ¿Afecta al rendimiento?

Expandiendo el modelo

• Patrones• Degradación de rendimiento en horas de backup

• Uso de paquetes ad-hoc

• Competencia por recursos

Demo

Uso de paquetes

Fases de ejecución – Data Flow

• AcquireConnections

• Validate

• ReleaseConnections

• PrepareForExecute

• PreExecute

• ProcessInput

• PrimeOutput

• Cleanup

AcquireConnections

Validate

ReleaseConnections

PrepareForExecute

PreExecute

ProcessInput

PrimeOutput

Cleanup

Fases de ejecución - Data Flow

PreExecute

• Resuelve las queries en origen

• Carga Lookups

• Importa datos para calcular el tamaño de buffers

Fases de ejecución - Data Flow

ProcessInput

• Recibe datos del (de los) componente(s) anterior(es)

• Procesa el dato

• Puede llamarse varias veces• ¡Buffer disponible!

Fases de ejecución – Process Input

Fases de ejecución - Data Flow

PrimeOutput

• Añade datos a la salida

• Componentes bloqueantes / semi-bloqueantes

Demo

Análisis por fases

Lookups

• Elemento común en paquetes BI

• Muy sensible a malas prácticas

• Full cache carga todo el dato en memoria• ¿Cuánta?

Lookups

• No existe “catalog.lookup_usage”

• Bucear en los mensajes de diagnóstico

Demo

Lookups

Presión de memoria

• SSIS basa su potencia en el procesamiento en memoria

• Si se queda sin ella, pagina buffers a disco (swapping)

• Esto es MALO

Presión a memoria

Demo

Presión a memoria

Ralentización de reservas

• Antes de paginar, SSIS detecta la presión

• Baja el ritmo de creación de buffers para mantener la memoria estable

• ¡Alerta de rendimiento!

Gestión de memoria

Demo

Ralentización de reservas de memoria

Contadores de rendimiento

• BLOB bytes read

• BLOB bytes written

• BLOB files in use

• Buffer memory

• Buffers in use

• Rows read

• Buffers spooled

• Flat buffer memory

• Flat buffers in use

• Private buffer memory

• Private buffers in use

• Rows written

Siguientes pasos

• Convertirlo a proactivo (TR)• Direct Query

• PowerShell usando API

• Event Hubs + Azure Stream Analytics

• Alertas en Power BI móvil (sólo iOS ahora mismo)

• Convertirlo en predictivo• SSAS Data Mining

• Azure ML

También puedes preguntar tus dudas con el

hashtag #SQSummit en Twitter

ADAPTIVE BI FRAMEWORK

Te ayudaremos a mejorar la velocidad de desarrollo de tu plataforma de analítica de negocio basada en nuestra experiencia:

•Diseña antes de construir

•Automatización de procesos por ETL

•Servicios de mentoring para ayudarte a conseguir mejores prácticas para la construcción de procesos específicos y plataformas de analítica de negocio

•Muy fácil de mantener

SOLIDQ FLEX SERVICES

Con SolidQ Flex Services evitarás sustos, consiguiendo que tus sistemas sean estables. Desde una solución sencilla de monitorización, hasta un servicio de atención de incidencias 24/7, mantenimiento proactivo, resolución de problemas y línea de soporte.

Todo con un coste fijo mensual… y tú dedica el tiempo a las cosas importantes.