Ing. Estalin Arrobo Mgs.

Sistemas de soporte a la toma de decisiones

El Proceso de Descubrimiento de conocimiento en Bases de Datos

Preparación de datos

Data mining

Evaluación/Interpretación

Modelos

Datos

Proceso de KDD

KDD, Knowledge Discovery in Databases.

Preparación de datos

Datawarehouse(Almacén de

datos)

Visualización de datos

+ =Inteligencia de

Negocios/Business Intelligence

El primer paso es crear un Datawarehouse lo suficientemente fino y confiable,tomando como fuente las bases de datos transaccionales.

Preparación de datos – Inteligencia de Negocios|Business Intelligence

Preparación de datos – Inteligencia de Negocios

ARQUITECTURA DE UN DATAWAREHOUSING

Preparación de datos – Inteligencia de Negocios

Preparación de datos – Inteligencia de negocios

Preparación de datos – Inteligencia de negocios

CONOCIMIENTO

Es aquello que permite tomar decisiones.

Es aquello que responde a la pregunta de ¿Cómo?

Es aquello que responde a la pregunta de ¿Cuándo tomar una

decisión?

Es la información útil.

Es la experiencia adquirida.

“El conocimiento está basado en la experiencia y es personal”.

Preparación de datos – Inteligencia de negocios

SISTEMAS OLTP, SISTEMAS DE BASES DE DATOS

OPERACIONALES

OLTP (OnLine Transaction Processing) es el Procesamiento de Transacciones En

Línea, es un tipo de software que administran aplicaciones transaccionales,

usualmente para entrada de datos y recuperación y procesamiendo de

transacciones.

La tecnología OLTP se utiliza en aplicaciones, como banca electrónica,

procesamiento de pedidos, comercio electrónico, supermercados, industria, etc.

Preparación de datos – Inteligencia de negocios

Una Base de datos operacional tienen características como:

o Está orientada a la aplicación.

o Tiene estructuras normalizadas.

o Contiene los datos de las operaciones.

o Los datos se almacenan con el máximo número de detalle.

o Se actualiza en línea.

o Está en constante cambio.

Las tablas están normalizadas para asegurar la integridad de los datos, minimizar el

espacio ocupado y maximizar el rendimiento de los datos.

Las estructuras de datos son complejas.

Los sistemas son diseñados para un alto rendimiento de funcionamiento y

procesamiento.

La data está dispersa.

Pueden no ajustarse a consultas complejas.

SISTEMAS OLTP

Preparación de datos – Inteligencia de negocios

Son Sistemas analíticos, como características tenemos:

Es rápido para entregar consultas complejas, tiene un esquema que está optimizado

para que las consultas se ejecuten rápidamente.

Utiliza estructuras multidimensionales o Cubos OLAP, que contienen datos resumidos

de Sistemas OLTP.

Una BD relacional almacena entidades en tablas discretas que han sido normalizadas.

Una BD dimensional almacena los datos en cubos OLAP, donde se encuentran datos

calculados y agregados para ser consultados.

SISTEMAS OLAP

Preparación de datos – Inteligencia de negocios

Almacena varios niveles de datos conformados por estructuras altamente

optimizadas para consultas.

Permite el uso interactivo con los usuarios.

Preparado para realizar informes complejos.

Proporciona una vista de datos multidimensional (las tablas son bidimensionales).

Permite cambiar fácilmente las filas, las columnas y las páginas en informes de OLAP.

SISTEMAS OLAP

Preparación de datos – Inteligencia de negocios

Representa o convierte datos planos que se encuentran en filas y columnas, en una

matriz de N dimensiones.

Los atributos existen a lo largo de varios ejes o dimensiones y la intersección de ellas

representa el valor que tomará el indicador.

SISTEMAS OLAP - CUBOS MULTIDIMENSIONALES O HIPERCUBOS

Preparación de datos – Inteligencia de negocios

SISTEMAS OLAP - CUBOS MULTIDIMENSIONALES O

HIPERCUBOS

Preparación de datos – Inteligencia de negocios

Sistemas de información ejecutivos

Los gerentes necesitan información sobre los indicadores (excepciones, variaciones).

Aplicaciones Financieras

Para comunicar, planear, y analizar escenarios de mercado. (pronóstico).

Ventas y aplicaciones de Marketing

Análisis de la facturación, análisis de producto, análisis del cliente y análisis de ventas

regional.

Otros usos

Análisis de la Producción, análisis de servicios al cliente, evolución del costo del

producto, entre otros.

SISTEMAS OLAP - USOS

Preparación de datos – Inteligencia de negocios

OBJETIVOS DE LA INTELIGENCIA DE NEGOCIOS

Convertir grandes volúmenes de datos en un valor para el negocio a través de

los reportes analíticos.

Generar información para el control de los procesos del negocio,

independientemente de la fuente de datos.

Soportar la toma de decisiones.

Diferencia la información útil para los usuarios finales.

Uniformizar los términos usados en la institución. Independientemente del

origen de los datos o de la forma de extracción, transformación y agregación.

Minería de datos

Minería de datos

Se dividen en diferentes categorías según la naturaleza del atributo querepresenten. A efecto de la minería de datos los datos clasifican en:

• Cuantitativos.- Atributos cuyos valores representan magnitudes.o Discretos.- Toman un numero limitado de valores diferentes.o Continuos.- Para cualquier par de valores, siempre se pueden encontrar

un valor intermedio.• Cualitativos.- Atributos cuyo valor representa una categoría y no una cantidad.

o Nominales.- Asignación puramente arbitraria de número o símbolos paracada una de las categorías. Tiene relación de equivalencia o clasificatoria.

o Ordinales.- Existe una relación de orden entre las categorías.

La mayoría de técnicas de minería de datos utilizan estos tipos de datos.

Existen otros tipos de datos no tan convencionales:

Tipos de datos

Minería de datos

Se dividen en diferentes categorías según la naturaleza del atributo que

• Series temporales.- Sucesiones de valores que representan la evolución deuna determinada característica en un período de tiempo.

• Datos espaciales.- Se trata de aquellos que representan la estructura espacialde algún objeto ejemplo: mapas de una ciudad, de un terreo agrícola, etc.

• Datos multimedia.- Imágenes, videos, elementos de audito, etc.• Datos procedentes de la web.- Información acerca de la estructura de los

sitios web, de los patrones de navegación de usuarios, etc.

Tipos de datos no convencionales

Minería de datos

El termina “dato” se define como el valor que toma una variable, parámetro,atributo, característica, etc.

Una dato es la representación mediante algún símbolo (número, letra, etc.), de unatributo de una determinada entidad.

• La altura (atributo) de una persona (entidad) es de 165 (dato) centímetros

La Minería de datos es una disciplina de la informática que estudia el análisis degrandes cantidades de datos con el objetivo de obtener conocimiento a partir deellos.

¿Qué tipo de conocimiento se puede obtener mediante la minería de datos ?

Minería de datos - Antecedentes

En la década de 1960, los estadísticos utilizaron los términos data fishing, datadregging para referirse al análisis de datos.

En la década de 1990 aparece el término data mining (minería de datos).La concepción que se tenía de los datos comenzó a cambiar, los datos almacenadosen bases de datos de empresas e instituciones eran el soporte para la operativadiaria, en 1990 los datos empezaron a considerarse como una importante fuentede conocimiento que podría ser útil para obtener beneficios.

Actualmente la cantidad de datos almacenados ha crecido enormemente en:• El ámbito empresarial, (bancos, empresas de telecomunicaciones, etc) han

aumentado su volumen de negocio y de los datos almacenados.• El campo científico, (astronomía, biología, medicina), una gran cantidad de

datos son registrados a velocidades enormes por medio de sensores, satélites,telescopios, dispositivos de simulación.

• La irrupción de internet, aumentó las transacciones a través de la web(comercio electrónico, e-mail, etc).

En todos estos ámbitos la cantidad de datos crece a un ritmo vertiginoso.

Minería de datos - Antecedentes

Con gran cantidad de datos para analizar las técnicas manuales de análisis de datosresultan complejas, dicho análisis supera la capacidad humana.

Las herramientas de minería de datos ejecutan algoritmos muy complejos desde elpunto de vista computacional.

En los últimos años ha existido gran avance en las prestaciones y capacidad decómputo, este factor ha favorecido la consolidación de la minería de datos comodisciplina en auge.

Minería de datos - Relación con otras áreas

• Estadística.- Las técnicas de la minería de datos tienen su raíz en la Estadística,la estadística es la madre de la minería de datos.

• Visualización.- Visualizarlo por expertos de cada dominio (diagramas, gráficos,resúmenes, dashboards, etc).

• Aprendizaje automático.- Ligado con la minería de datos, ambos persiguen laobtención de modelos por medio de mecanismos automáticos.

• Otras.- Sistemas de apoyo a la decisión, recuperación de información, eltratamiento y procesamiento de señales, etc.

Otras

Estadística

Visualización

Aprendizaje automático

Bases de datos

MINERÍA DE DATOS

Minería de datos - Utilidad

EJEMPLO 1: Grupos de clientes de una compañía telefónica.Descenso en volumen de negocio y fuga de clientes a la competencia.

idCliente Edad Salario Hijos Sexo Consumo

1 27 1100 0 H 35

2 29 1300 0 H 42.8

3 32 1300 1 M 52

4 45 1800 2 H 96.7

5 30 1250 1 M 55.3

6 37 1200 1 M 57

7 49 1750 3 H 101,5

… … … … … …

• Grupo 1. Hombres, jóvenes (28 años media) sin hijos, con un salario de unos 1200, ycon un consumo bajo (38,9 de media).

Caso CLUSTERING:

• Grupo 2. Hombres, edad media (47 años de media) con hijos, con un salario de unos1775 y con un consumo alto (99,1 de media).

• Grupo 3. Mujeres, jóvenes (33 años de media) con un hijo, con un salario de unos 1250,y con un consumo moderado (54,8 de media).

Minería de datos - Utilidad

EJEMPLO 2: Estudio de la concesión de créditos en un bancoDirectivos del banco comenzaron a apreciar aumento considerable en la morosidad

idCliente Ingresos Edad Sexo Devuelve_Préstamos

1 1200 media M Sí

2 1900 mayor M Sí

3 2100 media H Sí

4 2200 media M Sí

5 800 joven H No

6 1550 media M Sí

7 900 joven H No

8 1100 Joven M Sí

9 1300 mayor H Sí

10 850 joven H No

… … … … …

Caso CLASIFICACIÓN:Con Minería de datos se podría obtener un conjunto de reglas que recomiendan la no concesión de uncrédito.

Si(Ingresos<1000) y (Edad=joven) y (Sexo=H) -> Devuelve_Préstamo=No

Minería de datos - Utilidad

EJEMPLO 2: Estudio de la concesión de créditos en un bancoDirectivos del banco comenzaron a apreciar aumento considerable en la morosidad

Así pues, ante un nuevo cliente varón, con ingresos de 900 al mes y de 22 años de edad, elbanco debería rechazar la concesión del crédito, ya que la regla obtenida mediante mineríade datos predice que no será capaz de devolverlo.

Si(Ingresos<1000) y (Edad=joven) y (Sexo=H) -> Devuelve_Préstamo=No

Minería de datos - Utilidad

EJEMPLO 3: Análisis de la cesta de la compra en un supermercado.Una cadena de supermercados empieza a detectar un descenso en las compras de sus clientes, que comienzan acomprar en la competencia.Se sospecha que la mala ubicación de los productos en el supermercado puede estar tras de la fuga de clientes.

idTransacción Pan Azúcar Leche Sal

1 X X X

2 X X

3 X X X

4 X X X

5 X X

6 X X X

7 X X

8 X X X

9 X X X

10 X X X

… … … … …

Caso Asociación: Las técnicas de minería de datos permiten establecer relaciones entre los

productos, obteniendo reglas como por ejemplo:

Pan, Azúcar-> Leche

Minería de datos - Utilidad

EJEMPLO 3: Análisis de la cesta de la compra en un supermercado.

La regla anterior se lee: “Aquellos clientes que compran pan y azúcar, habitualmente también compranleche”. Estas reglas pueden ser de gran utilidad ya que ubicando productos afines es más probable queaumente el volumen de ventas de tales productos.

Este caso de Minería de datos se llama Asociación.

Pan, Azúcar-> Leche

Minería de datos – Aplicaciones

La MD se puede aplicar y resulta útil en cualquier dominio siempre y cuando hayauna cantidad suficiente de datos de los que extraer conocimiento.La siguiente tabla muestra los diferentes dominios sobre los que se puede aplicarMD.

Dominio Problema abordados con minería de datos

Negocios • Fidelización de clientes• Publicidad personalizada• Captación de nuevos clientes.• Aumento del volumen de ventas• Estudio de las tipologías de clientes

Banca y finanzas • Detección del uso fraudulento de tarjetas de crédito.• Estudio de la concesión de créditos a clientes.• Predicción de la evolución de un valor bursátil.

Compañías de seguros • Detección de fraudes y simulaciones.• Estudio de la concesión de coberturas a los clientes en

función de sus características.

Supermercados • Análisis de la cesta de la compra (identificar productos que se compran juntos).

• Ubicación de productos dentro del supermercado.• Campañas de publicidad dirigidas

Minería de datos - Aplicaciones

Dominio Problema abordados con minería de datos

Medicina • Ayuda al diagnóstico de enfermedades.• Estudio de la evolución de pacientes.• Estudio de la efectividad de un tratamiento.

Biología, genética y otras ciencias

• Estudio de las secuencias de genes en busca de patrones significativos.

• Predicción de catástrofes naturales.• Predicción meteorológica.

Internet • Análisis del comportamiento de los usuarios en la Web.• Estudio del contenido y estructura de los sitios web.• Detección de correo basura (spam).• Identificación de comportamientos fraudulentos en

comercio electrónico.