Asegurando la Calidad del

Dato en mi Proyecto de BIMary Arcia

MCTS SQL Server

SQL PASS Venezuela

maryarcia@hotmail.com

Moderador: David Sanchez

Gracias a nuestros auspiciadores

Database Security as Easy as A-B-C

http://www.greensql.com

Hardcore Developer and IT Training

http://www.pluralsight.com

SQL Server PerformanceTry PlanExplorer today!

http://www.sqlsentry.com

Próximos SQL Saturday

24 de Enero de 2015 https://www.sqlsaturday.com/346/register.aspx

18 de Abril de 2015 https://www.sqlsaturday.com/368/register.aspx

9 de Mayo de 2015 https://www.sqlsaturday.com/373/register.aspx

6 de Diciembre de 2014 https://www.sqlsaturday.com/351/register.aspx

4

Capítulo Global PASS en Español

4

Reuniones semanales todos los miércoles a

las 12PM UTC-5 (Hora de Colombia)

https://www.facebook.com/SpanishPASSVC

5

Asistencia Técnica

Si requiere asistenciadurante la sesión debe usar la sección de preguntas que esta en el menú de la derecha.

Use el botón de Zoom para ajustar su pantalla al tamaño deseado

Escriba sus preguntas en la sección de preguntas que esta en el menú de la derecha

Mary es Especialista de Business Intelligence en Grupo de Desarrollo GD,

Caracas, Venezuela

Lleva +12 años trabajando en proyectos de Business Intelligence y

Administracion de Bases de Datos.

Colaborador activo de eventos SQL Server para LATAM (IT Woman PASS

LATAM, 24 Horas de PASS en español)

Coordinador del Cápítulo de PASS en Venezuela.

7

o Qué es la Calidad del Dato

o Cinco estilos de BI que impactan la calidad del dato

o Procesos para asegurar la Calidad del Dato

o Qué es Data Quality Services

o Proyectos de Data Quality Services

7

Agenda

CALIDAD DE DATOS EN

BUSINESS INTELLIGENCE

9

Qué es calidad de datos

Se refiere a los procesos, técnicas, algoritmos y operaciones

encaminados a mejorar la calidad de los datos existentes en las

empresas y organizaciones.

Según el TDWI

Se define como la medida de correspondencia y exactitud

entre los datos de un sistema de información y su valor y

significado en el mundo real.

9

10

Etapas de Madurez de los datos

10

Conocimiento

Información

Datos

• Información Consolidada para la toma de decisiones

• Datos combinados y agregados para responder preguntas sencillas del negocio

• Aplicaciones ERP, CRM y otros sistemas que guardan la transaccionabilidad

Soporte aDecisiones estratégicas

Soporte aOperativa Del negocio

1111

Problemas de la mala calidad de los datos

Calidad de Dato Problema Ejemplo

Formato Tenemos un formateo consistente

en los estándares?

Nro de teléfono:

(xxx)-xxx-xxxx,

58+ xxx.xxx.xx.xx, xxx-xxxx

Estandarización Son los elementos de dato

definidos y se comprenden sus

valores?

Código de Género:

M, F, U,

0, 1, 2

Consistencia Representan los valores lo mismo?

Tienen el mismo significado?

Consumos representados en

Bs, $, reales o pesos

Completitud Se encuentra completa toda la data

que necesitamos?

20% de los apellidos de los

clientes están en blanco, 50%

de las direcciones no tienen

código postal

1212

Problemas de la mala calidad de los datos (cont)

Calidad de Dato Problema Ejemplo

Exactitud Representa la data la realidad

exacta? Son las fuentes

verificables?

Los clientes no se encuentran

en las direcciones registradas.

Los proveedores listados como

activos no lo están desde hace

6 años

Validez Se encuentran los valores entre los

rangos aceptables?

Los límites de crédito de los

clientes no corresponden a su

perfil

Duplicidad Los datos aparecen varias veces? Los clientes Maria Alejandra

Pérez y Marialejandra Pérez

son lo mismo

13

Características de nuestros sistemas de BI …

o Datos extraídos de sistemas y aplicaciones dispares.

o Único punto de consulta o reporting en la organización.

o Información correcta expresada de otra forma.

o Reflejo de la realidad de lo que está pasando en la empresa.

13

14

o Cuadros de Mando y Tablas de Resultados

o Reporting Empresarial

o Análisis de Cubos OLAP

o Análisis Avanzado-Predictivo

o Notificaciones y Alertas

14

Implementaciones comunes en BI y sus requisitos de

calidad de datos

15

Por qué prestar atención a la calidad de los datos?

o Los datos necesitan estar accesibles y ser agregados para poder

consumirse por el BI.

Independientemente del formato donde sea que el usuario los necesite

o Las acciones que los usuarios emprenden están influenciadas por la

precisión de los datos en los informes.

o La confianza en los datos es un aspecto crítico entre los equipos de IT y los

usuarios de BI

La confianza debe ganarse y los datos no son la excepción

15

16

o Los conocimientos empresariales obtenidos a través del BI se convierten en

útiles con mayor rapidez.

o Los directivos, responsables y usuarios de negocio pueden actuar

inmediatamente ante nuevos patrones y tendencias con una granularidad y

precisión mas elevada.

o Identificar sobrecostes y oportunidades para ahorrar y reducir gastos.

o Se incrementa la auditabilidad y visibilidad del dato para futuras revisiones y

monitoreo.

o El ROI sobre el BI es directo e inmediato.

16

Por qué prestar atención a la calidad de los datos? (Cont)

17

Qué podemos hacer para asegurar la calidad de los datos

17

1. Descubrir

2. Perfilar

3. Limpiar

4. Match

5. Consolidar

6. Monitorizar

Identificar y medir la calidad de los datos

Definir reglas y objetivos

de la calidad de los datos

Diseñar los procesos de

mejora de la calidad de los

datos

Matcheo de información y

estadísticas

Implementar los

procesos de mejora

de calidad

Monitorear la calidad

de los datos vs los

objetivos

DEMOVisualizando Datos de mala calidad

DATA QUALITY SERVICES

20

Data Quality Services (DQS) es una solución

basada en el conocimiento de la calidad de datos

que permite a los administradores de datos y

profesionales de IT la mejora de la calidad de sus

datos fácilmente.

20

Qué es Data Quality Services

2121

En qué nos apoya Data Quality Services?

Conocimiento

Limpieza

Consolidación

Aporte de Valor

2222

Arquitectura Básica de DQS

CLIENTE SERVIDOR

Data Quality Services Client

Componente IntegrationServices

DQS_MAIN

DQS_PROJECT

DQS_STAGING

BASES DE CONOCIMIENTO

2424

Bases de Conocimiento

Bases de Conocimiento

Dominios Compuestos

Dominios

Reglas de matching

ValoresReglas y

RelacionesDominio

Referencias Externas

DEMOConstruyendo una base de conocimiento

PROYECTOS DE DQS

2727

Proyectos de Matching

Creación de Reglas

Matching Exportación

Política de comportamiento del

motor DQS

Lógica DifusaAgrega Metadatos

Datos que quedan en el modelo

SQL Server, Excel, DQS

2828

Proyectos de Cleansing

Limpieza de datos

Información Extra

Base de Conocimiento

en la NubePartiendo de la Base

de Conocimiento

Sobre las decisiones que toma Consumir datos

DEMOReglas y proyectos de matching

30

o Qué es la calidad de los datos

o Implementaciones de BI y sus requisitos de calidad de datos

o Qué es Data Quality Services

o Desarrollo de Bases de Conocmiento

o Proyectos de Data Quality Services

30

Resumen

31

o Al adoptar un enfoque de calidad de datos en toda la empresa, los estrategas y arquitectos

de la solución de BI pueden diseñar e implementar estilos de BI con mucha mayor

confianza.

o Data Quality Services es una herramienta que permite velar por la integridad de los datos

basada en una base de conocimiento diseñada a partir de valores y reglas de negocio y con

el propósito de conseguir datos de mayor calidad de una manera fácil e intuitiva para el

trabajo en conjunto entre equipo de IT y usuarios de negocio.

o El despliegue exitoso de la calidad de datos ayuda a una organización a maximizar los

retornos sobre sus inversiones de BI, mediante la mejora de su capacidad para aprovechar

el BI impulsando la ventaja competitiva y el liderazgo de mercado.

31

Conclusiones

Preguntas?

Patrones de busquedas aceleradas con Lookup entre periodos con IntegrationServices

Expositor: Ricardo Estrada

A continuación …

Gracias por participar