Is.S3.C2.D1-Componentes Del BI I V2

Pg. 1 SAPBI Mster en Consultora

Business Intelligence SAP

IS-Introduccin a SAP y

Business Intelligence Sesin 3 - Clase 2

SAPBI Mster en Consultora

Business Intelligence SAP IS - Introduccin a SAP y Business Intelligence

Sesin 3- Introduccin a Business Intelligence

Clase 2- Componentes del Business Intelligence (I)

(18 Videos)

IS.S3.C2.D1

V2





CONTENIDO Sesin 3. Clase 2. Componentes del Business Intelligence (I)

1 Datos, Informacin, Conocimiento IS.S3.C2.V1

2 Calidad del dato IS.S3.C2.V2

3 Modelo relacional IS.S3.C2.V3

4 Modelo Multidimensional IS.S3.C2.V4

5 Conceptos de Tabla de Hecho y Dimensin IS.S3.C2.V5

6 Concepto de indicador KPI IS.S3.C2.V6

7 Componentes y tipos de base de datos multidimensionales IS.S3.C2.V7

8 - Componentes de Business Intelligence IS.S3.C2.V8

9 Las fuentes de informacin IS.S3.C2.V9

10 ETL Introduccin IS.S3.C2.V10

11 ETL - Extraccin IS.S3.C2.V11

12 ETL - Transformacin IS.S3.C2.V12

13 ETL Transformacin y carga IS.S3.C2.V13

14 El datawarehouse IS.S3.C2.V14

15 El datawarehouse - DataMart IS.S3.C2.V15

16 Metadatos IS.S3.C2.V16

17 El motor OLAP IS.S3.C2.V17

18 BIG DATA Data Mangement IS.S3.C2.V18

Videos





Vdeo1 Datos, Informacin, Conocimiento





Vdeo1 Datos, Informacin, Conocimiento Definiciones

DATOS INFORMACIN CONOCIMIENTO VENTAJA COMPETITIVA





Ventas Productos solicitados Cantidad de pedidos Clientes que han comprado

Clientes ms rentables

Pedidos ms frecuentes

Productos ms rentables

% de nuevos clientes

Servicio

al Cliente

Datos de llamadas de nuestros clientes

Informacin sobre el log de nuestra pgina web

Qu clientes visitan nuestra pgina web ?

% pedidos realizados por nuestros canales de ventas

Qu consulta es ms frecuente?

Marketing

Nmero de campaas

realizadas y caractersticas

de cada una

% xito de las campaas

Qu tipo de clientes han

respondido mejor a cada una de

las campaas realizadas ?

Distribucin Productos que salen diariamente del almacn

Tiempo terico de entrega

Nmero de pedidos retrasados

Distribuidor que tiene el mayor

nmero de retrasos

Tiempo medio de entrega

Fuente : Deloitte & Touche

Vdeo1 Datos, Informacin, Conocimiento





FINAL VIDEO 1 Datos, Informacin, Conocimiento

IS - Introduccin a SAP y Business Intelligence

Sesin 3 Introduccin a Business Intelligence

Clase 2 - Qu es Business Intelligence?

IS.S3.C2.V1
























Videos





Para que los datos se consideren de calidad se debe

comprobar que cumplen con las siguientes caractersticas:

1. Precisin: Los datos deben representar con

precisin la realidad o lo almacenado en una fuente

de datos.

2. Integridad: La estructura entre los datos y sus

relaciones son invariables.

3. Totalidad: Deben estar todos los datos

necesarios.

4. Coherencia: Datos bien definidos y

comprensibles.

5. Validez: El valor de los datos debe encontrarse

entre los rangos aceptables segn las normas de la

organizacin.

6. Accesibilidad: Resulta fcil acceder a los datos.

7. Disponibilidad: Los datos se encuentran

disponibles cuando se necesitan.

Vdeo 2 Calidad del dato





Los principales problemas que provoca una baja

calidad en los datos son [Wayne W., 2002] los que

siguen:

- Tiempo extra para conciliar los datos.

- Baja credibilidad en el sistema.

- Costes extra.

- Insatisfaccin de los clientes.

- Retraso en el desarrollo de nuevos sistemas.

- Prdidas de ingresos.

- Problemas de conformidad.

En contra partida las ganancias que aportan

la calidad en los datos son:

- Incrementos en la satisfaccin de los

clientes.

- Mayor confianza en los sistemas de anlisis.

- Reduccin de costes.

- Menor dedicacin de recursos a la

conciliacin de datos.

- Incremento de ingresos.

Calidad del dato

Vdeo 2 Calidad del dato





FINAL VIDEO 2 Calidad del DATO




IS.S3.C2.V2
























Videos





Vdeo 3 Modelo relacional

El modelo relacional desarrollado por E. F. Codd

en el ao 1970: Est formado por tablas y

relaciones entre las mismas.

La mayora de las aplicaciones de gestin

utilizan bases de datos fundamentadas en el

modelo relacional. El modelo relacional utiliza un

lenguaje de interrogacin conocido por Standard

Query Language (SQL).

El modelo de relacional se basa, pues en tablas

con distintos atributos o campos y las relaciones

entre las tablas.

Cada tabla tiene un Clave primaria (Primary key o PK en nuestro esquema) formada por uno o ms atributos y las tablas se relacionan entre

ellas mediante las Claves externas (Foreign Key o FK en nuestro esquema) que actan como claves primarias en sus propias tablas.





FINAL VIDEO 3 Modelo relacional




IS.S3.C2.V3
























Videos





Vdeo 4 Modelo Multidimensional

Los datos son extrados desde aplicaciones, bases de datos, archivos, etc. Esta informacin generalmente reside en diferentes tipos de sistemas, orgenes y arquitecturas y tienen formatos muy variados.

Los datos son integrados, transformados y limpiados, para luego ser cargados en el DW.

Principalmente, la informacin del DW se estructura en cubos multidimensionales, ya que estos preparan esta informacin para responder a consultas dinmicas con una buena performance. Pero tambin pueden utilizarse otros tipos de estructuras de datos para representar la informacin del DW, como por ejemplo Business Models.

Los usuarios acceden a los cubos multidimensionales del DW utilizando diversas herramientas de consulta, exploracin, anlisis, reportes, etc.





FINAL VIDEO 4 Modelo Multidimensional




IS.S3.C2.V4
























Videos





Vdeo5 Conceptos de Tabla de Hecho y Dimensin

Hecho: una operacin que se realiza

en el negocio en un tiempo

determinado. Son objeto de anlisis

para la toma de decisiones. Se

representan en una caja con su

nombre y las medidas que lo

caracterizan

Los Hechos estn estrechamente

relacionados con el tiempo. Los

eventos que son estticos no tienen

objetivo de anlisis para un modelo

DW, son muy pocos los hechos que no

ocurren con determinada periodicidad

en un negocio. Los hechos estn

caracterizados por medidas numricas

Una Dimensin es una caracterstica

de un hecho que permite su anlisis

posterior, en el proceso de toma de

decisiones

Dimensiones compartidas: pueden

existir varios hechos que sean

analizados por dimensiones iguales.

(p.e el tiempo)





FINAL VIDEO 5 Conceptos de Tabla de Hecho y Dimensin




IS.S3.C2.V5
























Videos





Vdeo 6 Concepto de indicador KPI

Los KPI deben ser cuantificables y deben medir las mejoras en aquellas actividades que son

crticas para conseguir el xito de la organizacin.

Los KPI deben estar relacionados con los objetivos y con las actividades fundamentales de

nuestra organizacin (aquellas que nos permiten obtener los resultados). Por ejemplo, en

venta por telfono es fundamental atender las llamadas antes de que cuelguen; por lo tanto, el

porcentaje de llamadas atendidas antes de 20 segundos podra ser un KPI.

Si queremos definir un KPI para las ventas, deberemos decidir:

Sobre o unidades.

En qu periodo restamos las devoluciones: en el actual, en el periodo anterior o cuando se produjeron.

Deberemos fijar un objetivo de ventas a conseguir.

Distintas empresas de un mismo sector pueden tener distintos KPIs en funcin de sus modelos

de negocio, objetivos o su propia idiosincrasia.

Los KPIs que escojamos deben:

Reflejar los objetivos del negocio. Ser crticos para conseguir el xito.

Ser cuantificables y comparables. Permitir las acciones correctivas.

Indicadores de gestin o variables son los datos que estn siendo analizados. Forman

parte de la tabla de hechos.

Las variables representan algn aspecto cuantificable o medible de los objetos o

eventos a analizar.





Vdeo 6 Concepto de indicador KPI. Ejemplo KPIs Retail Financial KPIs

1. Accounts Payable Turnover = Avg Accts Payable / (Cost of Sales / 365)

2. Accounts Receivable Turnover Days = Avg Accts Rec / (Credit Sales/365)

3. Acid Test Ratio = (Current Assets - Inventory)/Current Liabilities

4. Admin Cost % = (Administration Costs / Sales )*100

5. Average Inventory = (Beginning of Period Inventory + End of Period Inventory)/2

6. Break-even ($) = Fixed Costs / Gross Margin Percentage

Cash Conversion Cycle = (Days Inventory Outstanding + Days Sales Outstanding +

Days Payable Outstanding)

7. Contribution Margin = (Total Sales - Variable Costs)

8. Cost of Goods = (Retail Price Markup)

9. Gross Margin = Total Sales - Cost of Goods

10. Current Ratio = Current Assets / Current Liabilities

Retail Customer KPIs

1. Customer GROSS Profit = Customer Sales - Customer Cost of Goods Sold for a period

2. Customer Lifetime Purchase Value - Monetary value of each customer's life time purchases

from the retailer

3. Customer Profitability = Customer Sales - (Customer Returns - Customer Cost of Goods Sold +

Customer Promotion Expenses + Activity Based Cost of Servicing Customer) for a period

4. Customer Purchase Freq Count - Count of customer purchases transactions over a period of

time

5. Customer Purchase Value - Monetary value of each customer purchase during a period with

an average value for all purchases for the period

6. Customer Reference question - A rating from 0 to 10 that indicates if the customer would

recommend the store.

7. Customer Sales by Segment - This formula is dependent upon defining customer segments

(based on age, education, lifestyle, income and other factors) and associating individual

customers to specific segments.

8. Customer Service Staffing = Face to face customer service staff count / total staff count

9. Visit to Buy Ratio = Sales Transaction Count per period / Visit Count Per Period

Retail increasing your sales KPIs

1. Sales per hour Statically compares one sales person with the other and determines who is efficient in selling

and attending the customers.

2. Average Sale Statically compares the average selling price of a sales person. The higher statistics shows that

the person has a wide knowledge on the product and the

less statistics reveals that he lacks in the product

knowledge or effective description.

3. Items Per Sale determines the ability of a sales person compare to sale.

4. Conversion Rate shows how many customers they have made from the visitors of the store.

5. Wage to Sales Ratio gives a graph comparing the hourly wages of a sales person to hourly sales they have

made. This KPI determine their performance level and

how effective they are.

The basic KPI a retailer

1.Sales annual turnover, transaction made, basket spend, footfall - all against LFL and budget

2. Loss prevention Shrinkage loss, (stock loss or cash loss)

3. Operational availability, inventory integrity

4. Salary

5. Service Complaints that are made

6. HR development training, coaching, staff turnover

7. Variable costs any expenses made at an additional cost are avoidable





FINAL VIDEO 6 Concepto de indicador KPI




IS.S3.C2.V6
























Videos





Vdeo 7 Componentes y tipos de base de datos multidimensionales

Una base de datos multidimensional se forma

mediante una tablas de hechos y n tablas de

dimensiones.

Permite tener acceso flexible a los datos, para

explorar y analizar sus relaciones, y

consiguientes resultados.

Las bases de datos multidimensionales implican

tres posibles formas de modelo de datos:

Esquema en Estrella (Star Scheme).

Esquema Copo de Nieve (Snowflake

Scheme).

Esquema Constelacin o copo de estrellas

(Starflake Scheme).





Esquema en estrella

En las bases de datos usadas para data warehousing, un esquema en estrella es aquel que tiene una tabla de hechos que contiene los datos de anlisis, rodeada de las tablas de dimensiones. Este aspecto, de tabla de hechos (o central) ms grande rodeada de radios o tablas ms pequeas es lo que asemeja con una estrella.

Este esquema es ideal por su simplicidad y velocidad para ser usado para anlisis. Permite acceder tanto a datos agregados como de detalle.

Adems, permite reducir el nmero de joins entre tablas y deja a los usuarios establecer jerarquas y niveles entre las dimensiones.

Finalmente, es la opcin con mejor rendimiento y velocidad pues permite indexar las dimensiones de forma individualizada sin que repercuta en el rendimiento de la base de datos en su conjunto.





Esquema copo de nieve

Es una estructura ms compleja que el esquema en estrella.

Tiene dimensiones implementadas con ms de una tabla de datos

Minimiza el espacio en disco.

Su rendimiento es peor.

La finalidad es normalizar las tablas y as reducir el espacio de almacenamiento

al eliminar la redundancia de datos





Este esquema se utiliza principalmente cuando queremos dividir una tabla de

hechos para una mejor comprensin.

La divisin de la tabla de hechos se realiza slo cuando nos queremos enfocar

en la agregacin sobre algunos hechos y dimensiones.

El modelo este puede ser una solucin adecuada cuando por ejemplo hay una

tabla de hechos de venta (con un nivel de detalle hasta un da y el numero de

factura) y hay otra tabla de factos con los Pronsticos (con los campos clave:

mes, cdigo articulo, cdigo cliente).

Esquema en constelacin





FINAL VIDEO 7 Componentes y tipos de base de datos multidimensionales




IS.S3.C2.V7
























Videos





Vdeo 8 Componentes de Business Intelligence Los componentes son:

Fuentes de informacin, de las cuales partiremos para alimentar de informacin el datawarehouse.

Proceso ETL de extraccin, transformacin y carga de los datos en el datawarehouse. Antes de almacenar los datos en un datawarehouse, stos deben ser transformados, limpiados, filtrados y

redefinidos. Normalmente, la informacin que tenemos en los sistemas transaccionales no est

preparada para la toma de decisiones.

El propio datawarehouse o almacn de datos, con el Metadata o Diccionario de datos. Se busca almacenar los datos de una forma que maximice su flexibilidad, facilidad de acceso

y administracin.

El motor OLAP, que nos debe proveer capacidad de clculo, consultas, funciones de planeamiento, pronstico y anlisis de escenarios en grandes volmenes de datos. En la

actualidad existen otras alternativas tecnolgicas al OLAP, que tambin desarrollaremos en el

presente captulo.

Las herramientas de visualizacin, que nos permitirn el anlisis y la navegacin a travs de los mismos.





FINAL VIDEO 8 Componentes de Business Intelligence




IS.S3.C2.V8
























Videos





Vdeo 9 Las fuentes de informacin

Las fuentes de informacin a las que podemos acceder son:

Bsicamente, de los sistemas operacionales o transaccionales, que incluyen aplicaciones desarrolladas a medida, ERP, CRM, SCM, etc.

Sistemas de informacin departamentales: previsiones, presupuestos, hojas de clculo, etctera.

Fuentes de informacin externa, en algunos casos comprada a terceros, como por ejemplo estudios de mercado (Nielsen en

distribucin de gran consumo, IMS de la industria farmacutica). Las

fuentes de informacin externas son fundamentales

para enriquecer la informacin que tenemos de nuestros clientes. En

algunos casos es interesante incorporar informacin referente, por

ejemplo, a poblacin, nmero de habitantes, etc. Podemos acceder a

informacin de este tipo en la web del Instituto Nacional de

Estadstica (www.ine.es).





Las fuentes de informacin Los sistemas OLTP (Online Transactional Processing)

Los sistemas OLTP estn diseados para gestionar un gran nmero de peticiones

concurrentes sobre sus bases de datos, y que los usuarios puedan insertar, modificar,

borrar y consultar dichos datos. Estn enfocados a que cada operacin (transaccin)

trabaje con pequeas cantidades de filas, y a que ofrezcan una respuesta rpida.

Habitualmente utilizan sistemas de bases de datos relacionales para gestionar los datos,

y suelen estar altamente normalizados. En ellos es muy importante la integridad de los

datos, y deben cumplir las propiedades ACID (Atomicity, Consistency, Isolation, Dura-

bility):

Atomicidad: una operacin, o se realiza por completo o no se realiza, nunca debe

quedar a medias.

Consistencia: slo se ejecutan las operaciones que cumplen las reglas de integridad

de la base de datos.

Aislamiento (Isolation): una operacin no puede afectar a otras, dos transacciones

sobre los mismos datos son independientes y no generan errores entre s.

Durabilidad: una vez realizada una operacin, sta es persistente y no se puede

deshacer.

Como ejemplo de este tipo de sistemas, podemos citar un ERP, un CRM, aplicaciones

departamentales, aplicaciones de ventas, de comercio electrnico, y un largo etctera.

En general cualquier aplicacin con la que el usuario interacta para introducir datos

operacionales al sistema





FINAL VIDEO 9 Las fuentes de informacin




IS.S3.C2.V9
























Videos





Los procesos de Extraccin, Transformacin y Carga constan de mltiples pasos, cuyo

objetivo es transferir datos desde las aplicaciones de produccin a los sistemas de

Inteligencia de negocio.

Es el proceso que permite a las organizaciones extraer datos desde mltiples fuentes,

reformatearlos y recodificarlos y cargarlos en otros sistemas, bases de datos o aplicaciones

para realizar un proceso de anlisis.

Vdeo 10 ETL- Introduccin

Las premisas fundamentales son:

Criticidad alta: de ella dependen el resto de las fases del proyecto.

Costosa: puede resultar fuente potencial de costes inesperados.

Multidisciplinar: adems de solvencia tcnica, requiere una comprensin del negocio y del

significado de los datos.

Especfica: porque los datos necesarios para la minera de datos deben ajustarse a criterios de

contenido, calidad y formato muy concretos.

Son procesos ocultos para los usuarios.





Vdeo 10 ETL

El proceso ETL se divide en 5 subprocesos:

1. Extraccin: Este proceso recupera los datos fsicamente de las

distintas fuentes de informacin. En este momento disponemos de

los datos en bruto.

2. Limpieza: Este proceso recupera los datos en bruto y comprueba

su calidad, elimina los duplicados y, cuando es posible, corrige los

valores errneos y completa los valores vacos, es decir se

transforman los datos -siempre que sea posible- para reducir los

errores de carga. En este momento disponemos de datos limpios y

de alta calidad.

3. Transformacin: Este proceso recupera los datos limpios y de

alta calidad y los estructura y sumariza en los distintos modelos de

anlisis. El resultado de este proceso es la obtencin de datos

limpios, consistentes, sumarizados y tiles.

4. Integracin: Este proceso valida que los datos que cargamos en

el datawarehouse son consistentes con las definiciones y formatos

del datawarehouse; los integra en los distintos modelos de las

distintas reas de negocio que hemos definido en el mismo. Estos

procesos pueden ser complejos.

5. Actualizacin: Este proceso es el que nos permite aadir los

nuevos datos al datawarehouse.





FINAL VIDEO 10 ETL Introduccin




IS.S3.C2.V10
























Videos





Vdeo 11 ETL - Extraccin

1. Extraccin

La extraccin de los datos se puede realizar bien de

forma manual o bien utilizando herramientas de ETL.

De forma manual significa programar rutinas utilizando

lenguajes de programacin (por ejemplo: COBOL) que

extraigan los datos de las fuentes de datos origen,

aunque en otros casos se opta por las utilidades de

replicar la base de datos que tienen los motores de

bases de datos.

Diagrama ETL en sistemas SAP

El principal objetivo de la extraccin es extraer tan slo aquellos datos de los

sistemas transaccionales que son necesarios y prepararlos para el resto de los

subprocesos de ETL.

La alternativa ms rentable es la que proveen las herramientas especializadas de

ETL, ya que han sido diseadas para llevar a cabo esta funcin y nos permiten

visualizar el proceso y detectar los errores durante el proceso o durante la carga.

Cada vez ms los motores de bases de datos tienen mejores funcionalidades de ETL.





FINAL VIDEO 11 ETL extraccin




IS.S3.C2.V11
























Videos





Vdeo 12 ETL - Transformacin

2. Limpieza

Los sistemas transaccionales contienen datos que no han sido

depurados y que deben ser limpiados.

Las herramientas ETL tienen funcionalidades de limpieza de datos,

aunque existen herramientas especializadas para ello. En proyectos de

CRM, la limpieza de los datos es clave: los nombres y las direcciones

de los clientes siempre necesitan ser limpiados, eliminar duplicados,

etc.

Si no llevamos a cabo este subproceso de forma exquisita, crearemos

escpticos al mostrar los resultados si, por ejemplo, mostramos los

mejores clientes de nuestra organizacin y aparecen duplicados; en tal

caso, lo ms habitual es que se cuestione la validez del modelo.





Vdeo 12 ETL - Transformacin

cules son las causas que provocan que los datos estn

sucios?,

Valores por defecto: En la caja no saben la referencia de un producto e introducen el cdigo 999 y el precio a mano.

Ausencia de valor.

Campos que tienen distintas utilidades: Para algunos clientes ponemos una informacin y para otros, otra distinta.

Valores crpticos.

Valores contradictorios.

Uso inapropiado de los campos, por ejemplo en las direcciones de los clientes.

Vulneracin de las reglas de negocio.

Reutilizacin de claves primarias con valores que se haban utilizado en el pasado.

Identificadores que no son nicos.

Problemas de carga de antiguos sistemas o de integracin entre sistemas.

Seleccin del primer valor de una lista por defecto.





Vdeo 12 ETL - Transformacin La limpieza de datos se divide en distintas etapas, que vamos a

describir:

Depurar los valores (Parsing): Este proceso localiza e identifica los elementos individuales de informacin en las fuentes de datos y los

asla en los ficheros destino. Por ejemplo: separar el nombre completo

en nombre, primer apellido, segundo apellido, o la direccin en: calle,

numero, piso, etctera.

Corregir (Correcting): Este proceso corrige los valores individuales de los atributos usando algoritmos de correccin y fuentes de datos externas. Por ejemplo: comprueba

una direccin y el cdigo postal correspondiente.

Estandarizar (Standardizing): Este proceso aplica rutinas de conversin para transformar valores en formatos definidos (y consistentes) aplicando procedimientos

de estandarizacin y definidos por las reglas del negocio. Por ejemplo: trato de Sr.,

Sra., etc. o sustituyendo los diminutivos de nombres por los nombres

correspondientes.

Relacionar (Matching): Este proceso busca y relaciona los valores de los registros, corrigindolos y estandarizndolos, basndose en reglas de negocio para eliminar

duplicados. Por ejemplo: identificando nombres y direcciones similares.

Consolidar (Consolidating): Este proceso analiza e identifica relaciones entre registros relacionados y los junta en una sola representacin.





FINAL VIDEO 12 ETL Transformacin




IS.S3.C2.V12
























Videos





Vdeo 13 ETL Transformacin y carga 3. Transformacin

La transformacin de los datos se hace partiendo de los datos una

vez limpios. Transformamos los datos de acuerdo con las reglas de negocio y los estndares que han sido establecidos. La

transformacin incluye: cambios de formato, sustitucin de

cdigos, valores derivados y agregados.

5. Actualizacin

Este proceso determina la periodicidad con el que haremos nuevas cargas de datos al

datawarehouse.

4. Integracin

La ltima etapa es la de integracin en el datawarehouse: es el momento en el que

cargamos los datos y debemos comprobar si, por ejemplo, los totales de ventas que

hemos cargado coinciden con la informacin que resida en nuestro sistema tran-

saccional, as como si los valores que tienen los registros cargados corresponden a

los definidos en el datawarehouse. Es fundamental comprobar que se ha desarrollado

correctamente, ya que en caso contrario pueden llevar a decisiones errneas a los

usuarios.

Los agregados, como por ejemplo la suma de las ventas, normalmente se precalculan

y se almacenan para conseguir mayores rendimientos cuando lanzamos las consultas

que requieren el clculo de totales al datawarehouse.





En la actualidad las herramientas de ETL permiten componer los procesos ETL mediante asistentes grficos.

Algunas de las herramientas ETL actuales:

Vdeo 13 ETL ejemplos de aplicaciones del mercado

IBM Websphere DataStage (Previously Ascential DataStage)

Informatica PowerCenter metaWORKS ( Document Tools) Microsoft DTS (incluido en SQL-Server 2000)

Microsoft Integration Services (MS SQL Server 2005)

MySQL Migration Toolkit Scriptella ETL - Libre, Apache-licensed ETL

Talend Open Studio Oracle Warehouse Builder WebFocus-iWay DataMigrator Server

XMLoder SAS Data Integration Studio & DataFlux Ab Initio Barracuda Software (Integrator) MakeWare Soluciones Tecnologicas Benetl Biable http://www.visiontecnologica.com BITool - ETL Software http://www.bitool.com/ BOPOS TLOG-4690 rhiscom (back-office POS) CloverETL [1] Cognos Decisionstream Data Integrator (herramienta de Business Objects) Data Migraton Toolset de Backoffice Associates (BoA) Genio, Hummingbird





ETL Esquema del Proceso

Orgenes de datos

Procesos a implementar

El Job desarrollado

Job Designer

Componente tMap del grupo Processing Transformacin (MAP)

Esquema completo del Job





FINAL VIDEO 13 ETL Transformacin y carga




IS.S3.C2.V13
























Videos





Vdeo 14 El datawarehouse

Un datawarehouse es una

coleccin de informacin creada

para soportar las aplicaciones de

toma de decisiones

Debe estar orientado sobre un

rea, integrado, indexado

al tiempo, es un conjunto no

voltil de informacin que soporta

la toma de decisiones.





Vdeo 14 El datawarehouse El DW Manager presenta las siguientes caractersticas y

funciones principales:

Almacena los datos de forma multidimensional, es decir, a travs de tablas de hechos y tablas de dimensiones.

Gestiona las diferentes estructuras de datos que se construyan o describan sobre el DW, como Cubos

Multidimensionales, Business Models, etc.

Gestiona y mantiene metadatos.

Adems, el DW Manager se encarga de:

Transformar e integrar los datos fuentes y del almacenamiento intermedio en un modelo adecuado para la toma de decisiones.

Realizar todas las funciones de definicin y manipulacin del depsito de datos, para poder soportar todos los procesos de

gestin del mismo.

Ejecutar y definir las polticas de particionamiento. El objetivo de realizar esto, es conseguir una mayor eficiencia y

performance en las consultas al no tener que manejar todo el

grueso de los datos.

Realizar copias de resguardo incrementales o totales de los datos del DW.





Vdeo 14 El datawarehouse Si no se construyera un datawarehouse y se recuperara

la informacin directamente de los sistemas

operacionales, para analizarla a travs de una hoja de

clculo por ejemplo, apareceran problemas surgidos

de los errores y del tiempo la mayora de ellos:

- Pueden cometerse errores al introducir la

informacin de las diferentes fuentes.

- El proceso de extraer la informacin de las

fuentes operacionales y la introduccin en la hoja

de clculo conllevara mucho tiempo.

- Si se necesitara posteriormente informacin ms

detallada, habra que repetir el proceso.

-Habra que repetir el proceso tambin cuando los

datos cambiaran

-El trabajo de construir un datawarehouse corporativo

puede generar inflexibilidades, o ser costoso y requerir

plazos de tiempo que las organizaciones no estn

dispuestos a aceptar. En parte, estas razones

originaron la aparicin de los Data Mart





Vdeo 14 El datawarehouse

Los factores que deberamos tener en cuenta

cuando estamos evaluando una alternativa

tecnolgica para la construccin de un

datawarehouse son:

Tamao del datawarehouse: Es el volumen de datos que contiene el datawarehouse.

Complejidad de los esquemas de datos: Si el modelo de datos es complejo, puede dificultar la

optimizacin y el rendimiento de las consultas.

Nmero de usuarios concurrente: ste es un factor determinante. Si distintos usuarios pueden lanzar

consultas concurrentes (a la vez), el datawarehouse

debe gestionar sus recursos

para poder dar respuesta a las distintas consultas.

Complejidad de las consultas: Si las consultas necesitan acceder a un nmero elevado de tablas y

los clculos a realizar son complejos, podemos

poner en dificultades al motor de

la base de datos del datawarehouse.





FINAL VIDEO 14 El datawarehouse




IS.S3.C2.V14
























Videos





Vdeo 15 El datawarehouse - DataMart

DataMart: productos o aplicaciones que utilizan la tecnologa Data Warehouse adaptada a las necesidades de las empresas medias, o a un rea o departamento de una empresa grande. Podemos entenderlo como una parte o subconjunto de un datawarehouse.

El hecho de que sea una parte de un DW no lo hace ms sencillo. Normalmente primero debe realizarse el DW para poder obtener el DataMart posteriormente.

Las ventajas operativas que proporciona un DataMart son:

Crea un conjunto de datos que se usan en unos casos determinados y por los usuarios de un rea determinada.

Mejora el rendimiento en una serie de consultas determinadas.

Mejora el rendimiento de todo el DW al parcelar los mbitos de consulta. Es decir, slo se interroga a parte de los datos y no a todos.





Vdeo 15 El datawarehouse - DataMart

La manera de implementar esta solucin es construir un datamart e ir construyendo

tantos como se necesiten por rea de negocio. Esta solucin es sencilla de

implementar y no requiere mucho presupuesto, pero conlleva el problema de que

podran existir inconsistencias entre los diferentes datamart, y la informacin

corporativa se contradira.





FINAL VIDEO 15 El datawarehouse DataMart



Clase 2 - Componentes del Business Intelligence (I)

IS.S3.C2.V15
























Videos





Vdeo 16 Metadatos

3.4.9. Metadatos

Los metadatos son datos que describen o dan informacin de

otros datos, que en este caso, existen en la arquitectura del

Data Warehousing. Brindan informacin de localizacin,

estructura y significado de los datos, bsicamente mapean los

mismos.

Los metadatos de BO se llaman universos. BO tiene, tal vez,

la capa semntica ms conocida. Se trata de un modelo

amplsimamente utilizado, y tremendamente sencillo y til.

Bsicamente, para crear un universo se tiene que informar al

sistema de la relacin entre las tablas, y definir las

dimensiones y objetos que ver el usuario. La relacin entre

las tablas se establece grficamente utilizando un diagrama

de tablas. Y las dimensiones e indicadores se definen a travs

de los campos o clculos SQL necesarios...

El concepto de metadatos es anlogo al uso de ndices para localizar objetos en lugar de datos.

Es importante aclarar que existen metadatos tambin en las bases de datos transaccionales, pero los

mismos son transparentes a los usuarios. La gran ventaja que trae aparejada el Data Warehousing en

relacin con los metadatos es que los usuarios pueden gestionarlos, exportarlos, importarlos, realizarles

mantenimiento e interactuar con ellos, ya sea manual o automticamente.





Vdeo 16 Metadatos

Las funciones que cumplen los metadatos en el ambiente

Data Warehousing son muy importantes y significativas,

algunas de ellas son:

Facilitan el flujo de trabajo, convirtiendo datos automticamente de un formato a otro.

Contienen un directorio para facilitar la bsqueda y descripcin de los contenidos del DW, tales como:

bases de datos, tablas, nombres de atributos,

sumarizaciones, acumulaciones, reglas de negocios,

estructuras y modelos de datos, relaciones de

integridad, jerarquas, etc.

Poseen un gua para el mapping , de cmo se transforman e integran los datos de las fuentes

operacionales y externos al ambiente del depsito de

datos.

Almacenan las referencias de los algoritmos utilizados para la esquematizacin entre el detalle de datos

actuales, con los datos ligeramente resumidos y stos

con los datos altamente resumidos, etc.

Contienen las definiciones del sistema de registro desde el cual se construye el DW.





FINAL VIDEO 16 Metadatos




IS.S3.C2.V16
























Videos





OLAP (On-Line Analytical Processing). Es una solucin utilizada en Business

Intelligence, consiste en consultas a estructuras multidimensionales.

El objetivo es agilizar la consulta de grandes cantidades de datos

Tcnicamente la principal caracterstica de OLAP, es que es ms rpido a la hora

de hacer selects, en contraposicin con OLTP que es la mejor opcin para

INSERTS, UPDATES Y DELETES.

Vdeo 17 El motor OLAP

La gestin OLAP de la informacin es departamentalmente estructurada.

Comparado con un sistema OLTP, el sistema OLAP se caracteriza por:

Menos volumen de datos

Flexible

Personalizado

Precategorizado

Las fuentes de datos son generalmente sistemas OLTP





Permite recolectar y organizar la informacin analtica necesaria para los usuarios y disponer de ella en diversos formatos, tales como tablas, grficos, reportes, tableros de control, etc.

Soporta anlisis complejos de grandes volmenes de datos.

Complementa las actividades de otras herramientas que requieran procesamiento analtico en lnea.

Caracteristicas de navegacin OLAP (II)

Presenta a los usuarios una visin multidimensional de los datos (matricial) para cada tema de inters del negocio.

Es transparente al tipo de tecnologa que soporta el DW, ya sea ROLAP, MOLAP u HOLAP.

No tiene limitaciones con respecto al nmero mximo de dimensiones permitidas.

Permite a los usuarios, analizar la informacin basndose en ms criterios que un anlisis de forma tradicional.

Al contar con muestras grandes, se pueden explorar mejor los datos en busca de respuestas.

Permiten realizar agregaciones y combinaciones de los datos de maneras complejas y especficas, con el fin de realizar anlisis ms estratgicos.





Cubos de datos: conjunto formado por todas las tablas de

dimensiones y las tabla de hechos.

Vdeo 17 El motor OLAP Cubos Multidimensionales






hemos cambiado la dimensin clientes por la de modelos de coches






Tambin podemos seleccionar (en ingls dicing) slo algunas de las celdas, por ejemplo: Cules son las ventas al cliente 1, de los

modelos de coche Seat Ibiza y Seat Len, en el ao 1?






O lo que nos puede interesar es el total de los modelos de coches

vendidos con el mximo nivel de agregacin (en ingls roll-up)





Vdeo8.4. El motor OLAP Cubos Multidimensionales

Imaginemos que tenemos los modelos de coches de dos fabricantes distintos (

SEAT y FORD). El Seat Len y el Seat Ibiza son modelos del fabricante Seat y el

Ford Fiesta del fabricante Ford, Partiendo del cubo anterior de las ventas

agregadas, bajamos a ms detalle (en ingls drill-down) a travs de la jerarqua fabricante. En ese caso obtendramos:





ROLAP (relacional OLAP) Sistema OLAP que almacena los datos en un motor relacional. La

informacin esta muy detallada aunque su uso sea analtico. Nivel muy alto de normalizacin, compartiendo incluso dimensiones.

Su punto fuerte es poder trabajar analticamente con un volumen muy importante de datos.

MOLAP (multidimensional OLAP) Sistema OLAP que almacena los datos en un motor

multidimensional. La informacin est agregada o precalculada, esto optimiza el tiempo de respuesta pero el volumen de informacin a tratar no puede ser muy voluminosos.

HOLAP (Hybrid OLAP) Almacena algunos datos en un motor relacional y otros uno

multidimensional.

DOLAP (Dessktop OLAP) Los datos se hayan en el escritorio o terminal de los usuario. No

necesito conexin.

Vdeo8.4. El motor OLAP Tipos de sistemas OLAP





FINAL VIDEO 17 El motor OLAP




IS.S3.C2.V17
























Videos





http://jagalindo.blogspot.com.es/ martes, 22 de

octubre de 2013

STAMFORD, Conn., September 23, 2013

Gartner Survey Reveals That 64 Percent of Organizations Have Invested or Plan to Invest in Big Data in 2013

Big data investments in 2013 continue to rise, with 64 percent of organizations investing or planning to

invest in big data technology compared with 58 percent in 2012, according to a survey by Gartner, Inc.

However, less than eight percent of survey respondents have actually deployed.

Vdeo 18- BIG DATA Data Mangement





FINAL VIDEO 18 BIG DATA Data Mangement

FINAL CLASE 2




IS.S3.C2.V18

Is.S3.C2.D1-Componentes Del BI I V2

Documents

Transcript of Is.S3.C2.D1-Componentes Del BI I V2