Post on 16-Apr-2017
Big & Open Data: Analytics and Development
Victoria López, PhD.Universidad Complutense de Madrid
Grupo GRASIA Sección G-TeC
2013-2014
Big DataOpen DataR programming & analytics City of Madrid
• Open Government – Smart City
International Projects: Mexico-China-Spain
Big DataFrom Data Warehouse to Big Data
Alex ' Sandy' Pentland, director del programa de emprendedores del 'Media Lab' del Massachusetts Institute of Technology (MIT)
Considerado por 'Forbes' como uno de los siete científicos de datos más poderosos del mundo
Big Data
Datos no estructurados
5
¿Quién genera Big Data?
El progreso y la innovación ya no se ven obstaculizados por la capacidad de recopilar datos, sino por la capacidad de gestionar, analizar, sintetizar, visualizar, y descubrir el conocimiento de los datos recopilados de manera oportuna y en una forma escalable
Redes Sociales (todos generamos datos)Instrumentos científicosDispositivos móvilesRedes de sensores: (miden toda clase de datos)
Big DataLas 5 V’s de Big Data
7
Escalabilidad de grandes cantidades de datos – Exploración 100 TB en 1 nodo @ 50 MB/sec = 23 días– Exploración en un clúster de 1000 nodos = 33 minutos
Solución Divide-y-Vencerás
MapReduce– Modelo de programación de datos paralela– Concepto simple, elegante, extensible para múltiples aplicaciones– Grandes datasets nodos de multiprocesadores– Conjuntos de nodos: Clústeres o Grids (programación distribuida)• Creado por Google (2004)– Procesa 20 PB de datos por día– Basado en los métodos Map y Reduce de programación funcional– Orígenes en cálculo numérico (multiplicación de matrices grandes).
Big DataMapReduce
Completamente transparente para el usuario
Big DataMap Reduce
Hadoop es una implementación de código abierto del modelo de programación computacional
MapReduce– Usado por Yahoo!, Facebook, Twitter
Amazon, eBay…– Implementa MapReduce en
diferentes arquitecturas tanto clúster como grid (Cloudcomputing)
http://hadoop.apache.org/
Big DataHadoop
Open Data
Open Data
Open Data es una iniciativa mundial que pretende que los datos de las Administraciones Públicas se expongan y sean accesibles de forma que estén disponibles para su redistribución, reutilización y aprovechamiento por parte de los ciudadanos y las empresas.
“Open data is data that can be freely used, reused and redistributed by anyone – subject only, at most, to the requirement to attribute and share alike.” OpenDefinition.org
Open DataAcceso y disponibilidad: datos descargables
mediante aplicaciones Web
Reutilización y distribución: El formato de los datos
debe permitir no solo su lectura sino también su
tratamiento informático.
Participación universal: Todo el mundo debe poder
acceder a los datos en igualdad limitando el uso
comercial y ciertos propósitos no permitidos.
Open Data
Sistemas OpenData: Promoción de la creación de sistemas Opendata por los usuarios y las organizaciones.
Ejemplo EMT-Madrid: “Sistema Opendata: Cualquier sistema telemático propiedad de EMT a través del cuál se suministra información a sus cesionarios para que alimenten sus Aplicaciones Finales” (Acuerdo de cesión de datos, EMPRESA MUNICIPAL DE TRANSPORTES DE MADRID, S. A.)
Open DataUn ejemplo con Open Data Euskadi
Open DataUn ejemplo con Open Data Euskadi
PRINCIPALMENTE APPS PARA DISPOSITIVOS MÓVILES
Open DataUna ejemplo con Recycla.me y Recycla.te!
Patrón Cliente/Servidor
PÚBLICOS PÚBLICOS O PRIVADOS
Open DataUna ejemplo con Recycla.me y Recycla.te!
GENERA NUEVOS DATOS Y PRODUCE
UN SERVICIO
El lenguaje R. Análisis de los datos
Valor
Traducir en valor los datos recabados de diversas fuentes
Qué hacemos con R
Análisis de datos de consumo energético
Qué hacemos con R
Qué hacemos con RAnálisis de datos en Bioinformática y BioestadísticaAplicaciones del TENS en Dolor OrofacialAlineamiento de Secuencias de ADN
Qué vamos a hacer ahora :Análisis de Datos de Sistemas Open Data en el Ayuntamiento de Madrid
Mariam SaucedoPilar TorralboDaniel Sanz
Recycla.me
Ana AlfaroSergio Ballesteros
Lidia Sesma
Héctor Martos
Álvaro Bustillo
Arturo Callejo
Belén Abellanas
Jaime Ramos
Ignacio P. de Ziriza
Victor Torres
Alberto Segovia
Miguel Bueno
Mar Octavio de Toledo
Antonio SanmartínCarlos Fernández
MAPA DE RECURSOS
RECYCLA.TE
Proyectos Internacionales de G-TeC
Optimization and Management of Utility ServicesOptimización de recursos medioambientales, sostenibilidad medioambiental, con aplicaciones a las smartcities
– Electricidad (Head: España, Universidad Complutense)– Agua (Head: México, Universidad de Sonora)– Residuos: Reciclaje y Reducción (Head: China, Southwest
Jiaotong University))
Conclusions: From Data to Services