Big Data IoT - notasdeclase.files.wordpress.com · ¿Que é Big Data? ¿Que é IoT? ......

Big Data

IoT

Os novos retos da era dixital

Presentación

Imatia Innovations 2

Carlos Fernández Villar

Director de Proxectos

Imatia Innovations S.L.

[email protected]


Introducción

¿Que é Big Data? ¿Que é IoT?


¿Que é IoT?

¿Que é Big Data?


• Un pouco de historia: As tres plataformas

• A Transformación da Era Dixital

• Big Data

• Exemplos

• IoT

• Os retos do novo escenario


Introducción

Un pouco de historia

¿Como chegamos aquí?


A Primeira Plataforma


A Segunda Plataforma


A Terceira Plataforma


A Transformación da Era Dixital

¿Que nos agarda?



Volume de datos

Producto Datos asociados ó producto


Volume de datos


Volume de datos

Cada minuto xenérase no mundo


Volume de datos


O problema dos océanos e as illas

O “Data Lake”

¿Cómo atopo a isla Xno océano de datos?

https://blogs.ca.com/2015/01/21/finding-islands-of-value-in-the-vast-ocean-of-data/

https://blogs.ca.com/2015/01/21/finding-islands-of-value-in-the-vast-ocean-of-data/


Arquitecturas escalables



EscaladoVertical



EscaladoHorizontal


Arquitecturas escalables Dockers

Máquinas Virtuales[Plataforma 2]

Contenedores[Plataforma 3]


Arquitecturas escalables Microservicios


Arquitecturas escalables Dockers vs Microservicios


Arquitecturas escalables Hardware



Fontes: IDC, Gartner, AWS Workload Estimates


Cloud


CloudNube privada

Construída dentro do data center da corporación

Nube públicaProporcionada por proveedores de

servicio a coste menor que as tradicionais dos departamentos TI

Nube híbridaPrivada + Pública


Desenrolo Open Source

Propietario[Plataforma 2]

Open Source[Plataforma 3]

• Empresa xeolocalización e enrutamento: • Actualmente: Calculo de rutas actuáis baseado en datos sobre estado de

tráfico• Seguinte paso: Coñecer se, por exemplo, se está programando unha

manifestación a través das redes sociais

• Empresa de venta ó consumidor: • Actualmente: Recomendacións en función do perfil do consumidor• Seguinte paso: Análise do estado de ánimo, coñecer se o consumidor acaba

de iniciar unha relación para recomendar un regalo.

• Empresa financieira:• Estudio de prediccións efectivas sobre datos directos e indirectos en tempo

real.


Utilidade

• Empresa do sector do entretenemento:• Análise na evolución dos gustos dos consumidores

• Empresa do sector da saúde:• O análise das búsquedas realizadas por usuarios en Internet pode

proporcionar datos cruciales de cara a avisos e evolución de pandemias. Por exemplo, a pandemia de Gripe A, no 2008, predecida por Google Flue Trends.

• Mundo online:• Os sitios web terán no futuro un aspecto totalmente distinto dependendo da

persoa que o esté mirando.


Utilidade

• Empresa aeronáutica:• Un avión despega 4 veces ó día e voa una media de 10 horas.

• Para unha flota de 120 avións, aforrar un minuto de tempo de espera equivale a un beneficio de máis de $8M en fuel e máis de $2M en persoal ó ano.

• ¿Que se necesita para obter isto?• Preve-los incidentes

• Axusta-la loxística

• Axusta-lo voo

• Ademáis do beneficio económico Mellora na experiencia do cliente


Utilidade

Big Data

Información vs Dato


• Volume


Definición

As 3 V’s:

A 4ª V:

• Veracidade

Valor• Variedade

• Velocidade


Definición


Ferramentas

http://hadoop.apache.org

http://hadoop.apache.org/


Ferramentas

• HDFS: Hadoop Distributed File System• Almacén para calquera tipo de ficheiro

• Os datos pártensen en fragmentos e replícanse tan pronto son escritos• Estabilidade e alta disponibilidade

• Xestión automática por parte de Hadoop

• YARN: Yet Another Resource Negotiator• Xestiona os recursos asociados ós procesos do cluster Hadoop

• Executa os frameworks de procesamento

• Map/Reduce• Framework de procesamento distribuído


Compoñentes principales

• Escalable• Engadir máis nodos ó cluster engade capacidade de procesamento

• O incremento de carga penaliza rendemento pero non xenera erro de sistema.

• Tolerante a erros:• Cando un nodo do cluster falla:

• O sistema segue funcionando

• O Master reasigna o traballo a outros

• Ó esta-los datos replicados non hai perda de datos

• Ó recupera-lo nodo, este volverá ó clúster automáticamente.


Características


Ecosistema Hadoop

Proxecto Descrición

Spark Framework de procesamento en memoria e streaming

Hbase Base de datos NoSQL construída sobre HDFS

Hive Motor de procesamento SQL deseñado para cargas de traballo batch

Sqoop Framework para movemento de datos entre HDFS e RBDMSs

Flume / Kafka Proxectos para inxesta de datos en streaming

Solr Funcionalidade para búsqueda de texto

Hue Interfaz de usuario web para Hadoop

Sentry Ferramenta de autorización para securizar Hadoop

…


Ecosistema HadoopOs datos distribúense no cluster cando son cargados

O procesamento lévase a onde están os datos almacenados

Os nodos son pezas hardware estándar (“commodityhardware”)

A capacidade ampliase mediante escalado horizontal (máisservidores) en lugar de vertical (máis potencia no servidor)

Simplifica a programación distribuída de forma que o programador se centre nos requerimentos funcionais


Ecosistema Hadoop


Ecosistema Hadoop

ArquitecturaTípica

Business Intelligence


Ecosistema Hadoop

ArquitecturaHadoop

Business Intelligence


Ecosistema Hadoop

Trabajo colaborativoArquitectura

tradicional


Ecosistema Hadoop

Trabajo colaborativoHadoop como EDH

Enterprise Data Hub

A resposta é…


A resposta definitiva

42

Para poder ter una resposta satisfactoria é imprescincible pregunta-la cuestión adecuada


A importancia da pregunta

• “Necesitamos bos desarrolladores” Non, necesitamos expertos en Hadoop.

• Infraestímase a complexidade de Hadoop. Hadoop é un sistema complexo que require “amor e afecto”.

• “Commodity hardware” non significa hardware barato.

• Hadoop non é “remedio de santo”.

• Por regla xeral, será necesario extende-las utilidades de Hadoop e os componentes do seu ecosistema para adaptalo ás necesidades concretas.


Axiomas sobre Hadoop

Hortonworks: http://es.hortonworks.com/

Cloudera: http://es.cloudera.com/

MapR: https://www.mapr.com/


Para cacharrear

http://es.hortonworks.com/

http://es.cloudera.com/

https://www.mapr.com/

Exemplos

Big Data aplicado



A nova empresa:Google como modelo de paralelización

1.000.000.000 consultas diarias

900 ms de tempo de resposta medio


A nova empresa: Facebook como exemplo colaborativo

1.200.000.000 usuarios activos

900.000.000 obxectos interactivos

250.000.000 fotos novas ó día


A nova empresa: Amazon como exemplo predictivo

137.000.000 clientes

895.000.000 productos

Recomendacións en tempo real


A nova empresa: Spotify - Números

600 GB de datos comprimidos de usuarios por día

150 GB de datos de servicios por día

4 TB de datos xenerados en Hadoop cada día

190 nodos no cluster Hadoop(en breve 690)

4 PB de capacidade de almacenamento(28 PB en breve)


A nova empresa: Spotify – Arquitectura Big Data

Hadoop: Ecosistema Big Data


Kafka: Data collection

https://kafka.apache.org

Sqoop: Data dumping

https://sqoop.apache.org

Hive: Data management

https://hive.apache.org

Pig: Task scheduler

Luigi scheduler: Task scheduler

http://luigi.readthedocs.io/en/stable/index.html

Kafka

Sqoop


https://kafka.apache.org/

https://sqoop.apache.org/

https://hive.apache.org/

http://luigi.readthedocs.io/en/stable/index.html


A nova empresa: Spotify – Enfoque Open Source

https://github.com/Spotify/

https://labs.spotify.com/

https://github.com/Spotify/

https://labs.spotify.com/


A nova empresa: Netflix – Enfoque Open Source

https://github.com/Netflix/

https://github.com/Netflix/


Smart Government• Obxectivos:

• Visión holística da cidade• Coñecemento global dos activos administrados.• Tomas de decisión basada en información obxectiva.

• Solución:• Converxencia entre:

• Administración Electrónica• Smart City• Terceira plataforma

• Centralización da información• Fomento da colaboración interdepartamental• Garante da integridade entre os datos procedentes de distintas fontes. • Coherencia e calidade.• Establecemento do territorio e o cidadán como centro neurálxico da

información.


Smart Government


Smart Government

ArquitecturaOrientada

aMicroservicios


Smart Government

InfraestructuraBasada

enDocker


Smart Government


Smart GovernmentHadoop: Ecosistema Big Data


Sqoop: Captura datos BBDD externas

https://sqoop.apache.org

Flume: Captura streams externos

https://flume.apache.org

Kafka: Captura de eventos

https://kafka.apache.org

Spark: Análise datos

https://spark.apache.org

Hive: Consulta contra HDFS

https://hive.apache.org

Pig: Organizador de tareas

https://pig.apache.org




https://kafka.apache.org/



https://hive.apache.org/


Smart Government

Sqoop:

Captura datos BBDD externashttps://sqoop.apache.org



Smart Government

http://193.144.33.111:8087/cycloanalytics

Spark:

Análise datoshttps://spark.apache.org

http://193.144.33.111:8087/cycloanalytics



Smart Government¿Que resultado queremos obter?

¿Que datos de partida necesitamos? ¿Témolos todos?

¿Cómo os conseguimos?

¿Como relacionamos os datos de partida?

¿Que ferramentas utilizamos?

¿Como imos presenta-lo resultado?

Detección de picos de consumo eléctrico

Se existen e en que momentos existen picos de consumoque se saen da media

1) Datos de consumo eléctrico2) Mapa de poboación

1) Relación entre a densidade de poboación e o consumo

Flume > CapturaSpark / Hive > Cruces + Detección de anomalíashttp://techblog.netflix.com/2015/02/rad-outlier-detection-on-big-data.html

Mapa de calorGráfica

http://techblog.netflix.com/2015/02/rad-outlier-detection-on-big-data.html


Smart Government Detección de picos de consumo eléctrico


Smart Government¿Que resultado queremos obter?






Ubicación óptima dun novo colexio

A necesidade ou non dun novo colexioe a súa ubicación.

1) Ubicación dos colexios actuais2) Mapa de poboación por idades3) Ubicación de lugares de interés cercanos:

colexios, pabellóns deportivos, lugares de recreo, etc4) Mapa de densidade de tráfico5) …

1) Proximidade na ubicación2) Homoxeneidade na cobertura3) Ponderación por cercanía4) Ponderación por densidade

Sqoop > CapturaSpark > CrucesVoronoi > Áreas de influencia

Simulación de posibles ubicacións sobre mapa


Smart Government Ubicación óptima dun novo colexio


Smart Government

https://developers.google.com/analytics/

Relación electrónica co cidadán

¿Que resultado queremos obter?






Personalización da páxina de acceso ó Concello

https://developers.google.com/analytics/


Smart Government Outros casos de uso

• Prediccións de tráfico• Prediccións de accidentes de tráfico / intervencións de bombeiros• Predicción actividade comercial• Predicción intervencións policiais• Detección do “estado de ánimo da cidadanía” en función do perfil social• Rutas óptimas para servicios sociais a domicilio• Rutas óptimas para inspeccións técnicas• Detección de zonas conflictivas• Cálculo do momento óptimo para a realización de obras de mantenemento• Optimización de procesos administrativos• Xestión e reserva de recursos públicos: Piscinas, Pabellóns deportivos• Recomendacións de eventos personalizadas• Cálculo máis obxectivo sobre o valor dos inmuebles• Detección de activos susceptibles de cobro de taxas


Smart Government

É máis importante a pregunta que a ferramenta

Creación dun equipo experto baixo a coordinación dun

“científico do dato”:


Thinking outside the box: O uso de Big Data na campaña de Obama 2012

https://enga.ge/dl/Inside_the_Cave.pdf

The “Cave”

https://enga.ge/dl/Inside_the_Cave.pdf

O Data Lake:1. Rexistro de votantes:

• Datos non normalizados• Diferentes estructuras e requerimentos en cada estado• Algúns con información de afiliación política e outros non• Non centralizada

2. Rexistro de voluntarios3. Lista de contactos dos votantes

• Quen foi visitado• Quen respondeu ás enquisas e como



“The Life of Julia”

• Video que se envía ás contas de Facebook de potenciales votantes

• Mentras se ve o video, recopílase información dos contactos, asociando os seus nomes con rexistros de votantes, xénero e estado de residencia.

• Ó finaliza-lo video propónse compartilo con 4 persoas…

¿Que información nos da isto?



Coñecemento personalizado dos targets

• O target neste caso é o votante

• Búscase sobre todo o votante indeciso

• Convencelo nos medios nos que habitualmente se moven• Anuncios nas pausas publicitarias de The Walking Dead

• Encontros online con lectores da revista Reddit



E ata George Clooney entra en xogo…

• Información detectada: • George Clooney desperta un alto interés na poboación femenina entre 40 e 49

anos dos estados da Costa Oeste. • ¿Qué ten de especial ese grupo? • Que é o máis probable para entregar diñeiro en efectivo.

• Acción: • Organizar un concurso entre os donantes no que o premió é unha cea con

Obama e… George Clooney

• Resultado: • Importante incremento nas donacións da Costa Oeste

• Seguinte acción: • Repeti-lo proceso na Costa Leste. • ¿Con quen? Análise Big Data Sarah Jessica Parker



• Premisa: • É moi difícil atopar taxi en Singapur cando chove• ¿Por que? Resposta obvia: Porque hai máis demanda

• Caso de estudio Singapore-MIT Alliance for Research and Technology:

• Comparación / Análise: • 2 meses de tempo atmosférico • 830 millóns de rexistros GPS • 80 millóns de viaxes en taxi • Flota de 16.000 taxis

• Resultado: • Cando chove a maior parte dos conductores non collen a ningún pasaxeiro

• Conclusión: • A compañía propietaria quita $800 do salario do conductor despois dun accidente ata

que se determine o causante (o que pode levar meses)• A probabilidade de accidente medra nos días de choiva• O conductor entón decide que non vale a pena saca-lo taxi á rúa.


Thinking outside the box: ¿Por que é tan difícil atopar taxi en Singapur cando chove?

O Internet das Cousas

O todo conectado



IoT: Definición

Interconexión de calquera producto con calquera outro do seu

redor

Protocolo HTTP


IoT: Aplicación• Na vida cotidiana:

• Domótica: O electrodoméstico conectado

• Automoción: O coche intelixente

• Wearables

• A Smart City:• Cidades máis eficiente

• O mundo empresarial

• Saúde:• O ser humano como “thing”


IoT: Consideracións• Volume:

• Poderíanse chegar a trazar de 50 a 100 trillóns de obxectos.

• Un ser humano pode estar rodeado de 1000 a 5000 obxectos trazables.

• Arquitectura escalable

• Variabilidade:• Complexidade de datos• Fontes diversas

• Velocidade:• A información do obxecto debe ser

transmitida e procesada en tempo real

• Xeoposicionamento:• A información de “onde” é crucial

¿Big Data?


IoT: PlataformasPlataforma Enlace

Kaa https://www.kaaproject.org/

Predix https://www.ge.com/digital/predix

Oracle Integrated Cloud https://cloud.oracle.com/integration

Carriots https://www.carriots.com/

Salesforce https://www.salesforce.com

Cisco IoT Cloud http://www.cisco.com/c/en/us/solutions/service-provider/iot-cloud-connect/index.html

Watson IoT http://www.ibm.com/internet-of-things/

Thingworx https://www.thingworx.com/

Microsoft Azure IoT Services https://azure.microsoft.com/en-us/suites/iot-suite/

AWS IoT https://aws.amazon.com/es/iot/

https://www.kaaproject.org/

https://www.ge.com/digital/predix

https://cloud.oracle.com/integration

https://www.carriots.com/

https://www.salesforce.com/

http://www.cisco.com/c/en/us/solutions/service-provider/iot-cloud-connect/index.html

http://www.ibm.com/internet-of-things/

https://www.thingworx.com/

https://azure.microsoft.com/en-us/suites/iot-suite/

https://aws.amazon.com/es/iot/


IoT: DispositivosDispositivo Enlace

Arduino https://create.arduino.cc/iot/

http://www.survivingwithandroid.com/2015/06/internet-of-things-with-android-and-arduino.html

https://www.youtube.com/watch?v=9znRbMTimvc

Raspberry Pi https://diyhacking.com/best-raspberry-pi-iot-project

https://www.youtube.com/watch?v=wkABFP3I96c

https://create.arduino.cc/iot/



https://diyhacking.com/best-raspberry-pi-iot-project/

https://www.youtube.com/watch?v=wkABFP3I96c


IoT Open Sourcehttp://www.postscapes.com/internet-of-things-award/open-source/

Learning Internet of Things:http://it-ebooks.info/book/4918/

Documentación

http://www.postscapes.com/internet-of-things-award/open-source/

http://it-ebooks.info/book/4918/


Libelium:• Empresa que fabrica sensores:

• Calidade da auga na que se crían as lubinasnunha piscifactoría

• Actividade dos volcáns• Nivel de osíxeno en sangue nun humano• Plazas de parking libres en Dubai ou

Santander• MySignals

• “Maletín” de medición de constantes vitales• Ecosistema eHealth

Exemplo

http://www.libelium.com/http://www.my-signals.com/

http://www.libelium.com/

http://www.my-signals.com/

Os retos do novo escenario

…E daquí en diante, ¿que?



Transformación de roles e perfiles

Autosuficiente

Móvil

Esixente

Non espera polo departamento TI

Compite con outros proveedores de servicios externos

Conversión a Service Provider

Intermediario de Servicios

O novo usuario TI O novo departamento TI


Transformación de roles e perfiles

Novos roles:

• Big Data

• Business Intelligence

• Data visualization

• Data scientist


O valor da información vs o valor do dato

O dato por si mesmo NON ten valor

A información obtida do dato é o que ten valor


Riscos e ética

• O problema do “Gran Hermano”

• Máquina vs Humano: O emprego do futuro

Gracias!

Big Data IoT - notasdeclase.files.wordpress.com · ¿Que é Big Data? ¿Que é IoT? ......

Documents

Transcript of Big Data IoT - notasdeclase.files.wordpress.com · ¿Que é Big Data? ¿Que é IoT? ......