Pentaho BigDataParis_session_20170306
15
IoT Données vers Information, Information vers Savoir 6 mars 9h30 – Big Data Paris 2017
-
Upload
sebastien-cognet -
Category
Data & Analytics
-
view
38 -
download
0
Transcript of Pentaho BigDataParis_session_20170306
IoTDonnées vers Information,
Information vers Savoir
6 mars 9h30 – Big Data Paris 2017
Que feriez-vous?« Si vous aviez des informations parfaites, universelles et opportunes? »
Question du matin !
OT105+YEARS
INDUSTRIAL
CONSUMER
BUSINESS
CITY
IoTINSIGHT
Hitachi
IT55+
YEARS
IT SYSTEMS
ARTIFICIAL
INTELLIGENCE
COMMUNICATIONS
BIG DATA
ANALYTICS
CLOUD
Cs
of
IoT
Connections
Conversions
Centralisation
Cognition (“Savoir”)
Continuous improvement
What Is IoT?
L’IoT contient généralement…
LOTS OF DATADATA SCIENCE &
MACHINE LEARNING
HADOOPLOTS OF
COMPUTE
Connaissances et intelligence machine
• Automated Data Ingestion
• Descriptive Statistics
• Open Metadata Catalogue
Deep Profiling
• Pattern Exploration
• Master Data Discovery
• Value Matching
Deep Analysis • Correlation Detection
• Anomaly Detection
• Event Prediction
• Human-Machine Collaboration
Deep Discovery
Données Information Savoir
Connections
ConversionsCentralisation
Cognition
Continuous
improvement
Apporter du”Savoir” dans vos marchés
79% 78%Les « data
scientists » passent
79% de leur temps à
collecter, nettoyer et
organiser les
données
78% des “data
scientists”
considèrent que
ces taches sont les
plus laborieuses de
leur travail
3+
“Operationalizing and Embedding Analytics for
Action,” TDWI, 2016
La majorité des
modèles prédictif
prennent 3 mois ou
plus à être mis en
production
“2016 Data Science Report,” CrowdFlower 2016“2016 Data Science Report,” CrowdFlower 2016
Hitachi Rail (UK)
Business Challenges
▪ Moderniser et améliorer les liaisons de transport
ferroviaire en U.K
▪ Réduire les coûts de maintenance
Use Case
▪ XaaS / « Train As A Service »
▪ Maintenance prédictive & Optimisation des horaires
▪ Internet of Things (IoT)
▪ Big Data Science Pentaho’s technology allows us to innovate
without legions of Big Data Experts!
Apporter du “Savoir” avec Pentaho
• Chargement des enregistrements de retard des trains
• Croisement des retards avec les référentiels et préparation des données
pour l’algorithme prédictif
• Exécution de l’algorithme prédictif (Python) directement dans PDI
• Export des « patterns » de retard (lieu, train opérateur, motif) dans un
fichier
Data injection and processing
Alg
orith
m
imple
menta
tion
Data Lake
Architecture Globale du Projet
TMS
OBS
Files
IoT
Analyzer
Alerting
Trend
Monitoring
VisualMap
Reduce
MachineLearning
Ingestion Préparation Analyse
Reports
Dashboard
SGBD
MetadataIngestion
Notre plateforme analytique
Near-RT
Compute
Batch
Hadoop
MR
ETL Cluster
ETL
Colle
cte
r &
In
gére
rV
isualis
er &
Em
barq
uer
Transformer & Enrichir
Predict
Weka R Python
Administration Securité Cycle de vieProvenance des données
Data Pipeline Dynamique
Monitorer Automatiser
Data Engineering
Gestion et automatisation du Pipeline
Ingestion AnalysePréparation
Une approche de bout en bout
Pentaho Data IntegrationInterface graphique pour construire des “data pipelines” complet
100+ Etapes de
Transformation
Développement
Drag & drop
Configuration
100% GUI-based
Modéliser, Analyser,
et Visualiser
Relational
Applications
Big Data
Much More
Résumé: Votre boîte à outils
▪ Systèmes de capture de données
▪ Plateforme de communication “Pipeline”
▪ Plateforme de stockage et de calcul de données
▪ “Data Science”
▪ Outils d'abstraction graphique
▪ Ne vous laissez pas « berner » par la visualisation
IoTDonnées, Information,Savoir
