Big Data & QlikViewBig Data & QlikView

Juan Gerardo Cabeza (Juan.Cabeza@QlikView.com)

Ferran García (Ferran.GarciaPagans@QlikView.com)

BD 4 BDBD 4 BD

Agenda

• ¿Qué es Big Data?

• Las famosas tres V’s

• ¿Cómo lo hacemos con QlikView?

• Un ejemplo

• Conclusiones

¿Qué es Big Data?

• "Big Data" es un término aplicado a conjuntos de datos que

superan la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable.

• Las dificultades más habituales en estos casos se centran en la

captura, el almacenado, búsqueda, compartición,

análisis, y visualización.

Big Data

Business Discovery for Big Data

Big Data

Las famosas 3 V’s

Volumen

VariedadVelocidad

VolumenVolumenVolumenVolumenVolumenVolumenVolumenVolumen

Tecnologías Centradas en el Almacenamiento

SistemasRelacionales

El valor del Big Data viene del Contexto y la Relevancia

Data warehouse

Datos de Maquinas, datos web, datos cloud

Big Data cluster

SistemasOperacionales

warehouse

Google BigQuery

Velocidad

AnálisisRecarga

Velocidad de análisis

Hay que adaptar la información a la velocidad del análisis

Lleva un tiempo tomar decisiones

Las famosas 3 V’s

Visualización

AnálisisBúsqueda

Volumen

Integración

Exploración

Relevancia

Contexto

Colaboración

VariedadVelocidad

BD4BD, Business Discovery for Big Data

¿Cómo lo hacemos?

Plataforma BD4BDP

res

en

tació

n

BUSINESS DISCOVERY APPS

Ap

lic

ac

ión

Usuarios de Negocio

QVW & QVD filesQLIKVIEWPUBLISHER

QLIKVIEWSERVER

QLIKVIEW GOVERNANCE DASHBOARD

Ap

lic

ac

ión

QLIKVIEW DEVELOPER

Fuentes de Datos

QLIKVIEW EXPRESSOR DESKTOP

Ac

ce

so

a D

ato

s

QLIKVIEW EXPRESSOR ENGINE

QLIKVIEW EXPRESSOR METADATA

ERP

CRM

DASHBOARD

En memoria

Muchos escenarios de uso de Big Data se pueden tratar en memoria

Dashboard Resumen(10 MM filas)

App Detalle

(500 MM filas)

Drill-to-Detail

Dashboard Resumen(10 MM filas)

App Región Este

(150 MM filas)

Drill-to-Segmented-Detail

Dashboard Resumen

(20 MM filas)

Dashboard Productos

(10 MM filas)

Dashboard

Cross Subject Navigation

(500 MM filas) (150 MM filas)

App Región Oeste(150 MM filas)

App Región Norte(150 MM filas)

App Región Sur(150 MM filas)

Dashboard Cliente

(5 MM filas)

Dashboard Pedidos

(50 MM filas)

Combinamos datos ‘Big Data’ y de orígenes tradicionales

Combina distintas fuentes de datos en memoria

Aggregates / Detail

EDW Data

Data Warehouse

Combinamos datos ‘Big Data’ y de orígenes tradicionales

Combinamos fuentes de datos distintas utilizando Direct Discovery

Direct Discovery

EDW Data

Data Warehouse

Arquitectura de aplicaciones Híbrida

In Memory(Agregado)

Aplicación Direct

In Memory(Agregado)

Aplicación Direct Discovery

Direct Discovery (Agregado) Aplicación Direct

Discovery(Detalle)

Drill-to-Detail Tendencias Históricas Time Sensitive

Algunos escenarios de uso de Big Data pueden tratarse con una

aproximación híbrida

Aplicación Direct Discovery(Detalle)

Aplicación Direct Discovery(Detalle)

In M

em

ory

Da

sh

bo

ard

(De

talle

)

Encadenar Aplicaciones

• Navegar entre Aplicaciones QlikView

• Manteniendo Selecciones / Contexto

1) Los Usuarios RealizanSelecciones en la aplicación 1

3) La aplicación 2 se abre, las selecciones se tranfieren y se aplican

2) Click para saltar a otra aplicación

Arquitectura General

• En memoria

• Arquitectura de datos, QVDs, Agregaciones

• Publisher, Expressor

• Direct Discovery

• Modelo híbrido

In Memory Direct Discovery Hybrid

BD4BD, siempre es QlikView

Selecciones: verdeSelecciones: verde

Asociado: Blanco

Selecciones: verdeSelecciones: verde

No Asociado: grisNo Asociado: gris

BD4BD

Demo

Demo BD4BDP

res

en

tació

n

BUSINESS DISCOVERY APPS

Ap

lic

ac

ión

Usuarios de Negocio

QLIKVIEWPUBLISHER

QLIKVIEWSERVER

QLIKVIEW

Ap

lic

ac

ión

QLIKVIEW DEVELOPER

Fuentes de Datos

Ac

ce

so

a D

ato

s

QLIKVIEW EXPRESSOR ENGINE

ERP

QlikView y Big Data en King.com

• 1.600 millones de registros de datos diarios en Hadoop — 211M de registros diarios extraídos para análisis en QlikView.

• Actividad de navegación de los clientes, interacciones de jugadores con cada juego, muchas más métricas.

• Resultados: ROI en campañas de Marketing conseguido por primera vez (Nº de jugadores, Nº de partidas, tiempo jugado, primera vez (Nº de jugadores, Nº de partidas, tiempo jugado, etc.)

¿Por qué QlikView para Big Data?

• Conectividad con fuentes de datos heterogéneas

– Big Data: Hadoop, MongoB, Aster, Google Big Query...

– Otras fuentes de datos: Operacionales, Social Media, EDW…

– Extraer, Limpiar y Transformar datos

– Modelo de Datos agnóstico

• Arquitectura de Datos Flexible

– Modelo de Datos en Memoria, Direct Discovery, Híbrido

• Datos Frescos

– Recargas periódicas, bajo demanda, Direct Discovery…

• Facilidad de Análisis

– Permite descubrir tendencias y confrontarlas con los datos de detalle

Direct Discovery 2.0

DIRECT QUERY

DIMENSION

CustomerID,

SalesOrderID,

OrderDate,

NATIVE('month([OrderDate])') AS OrderMonth,

NATIVE('year([OrderDate])') AS OrderYear

MEASUREMEASURE

SubTotal,

TaxAmt,

DETAIL

DueDate,

ShipDate,

ModifiedDate

DETACH

SalesOrderID,

AccountNumber

FROM AdventureWorks.Sales.SalesOrderHeader;

QlikView 11.2 SR5

Juan.Cabeza@QlikView.com Ferran.GarciaPagans@QlikView.com