Une Introduction à Hadoop
-
Upload
hadoop-user-group-france -
Category
Documents
-
view
1.129 -
download
3
description
Transcript of Une Introduction à Hadoop
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France SL2013 – Mai 2013
Une Introduction à Hadoop
Les Big Data ont déjà leur standard : Hadoop !
Charly CLAIRMONTAltic - http://[email protected]@egwada
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
On a un problème !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Un problème de données !
1.2 Zettabytes
Attendu d'ici la fin 2013
Gigabyte -> Terabyte -> Petabyte -> Exabyte -> Zettabyte
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Tout le monde a ce problème !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
DRH SAV
Achats
Marketing
Publicité
Vente
Sous-Traitant
Producteur de Machines
Fournisseurs
Supply Chain
Managt B to B
Web
Fournisseurs
Soc de Service
Push
Banque
Actionnaires
Sites de Recrutement
E-learning Télé-Tutoring
DistributeurMarchand
e-commerc
e
Sites d ’appel d ’offre
CONCURRENTS
Marketing one to one
Site Financier
e-mailing, bandeaux,site promotionnel...
trackingLogistique
CLIENTS
Back-up techniciens
SVP réclamations
Tutoring
Club utilisateur
Télémaintenance
B to B
Co-ingienerie
Extranet
Administr@tions
Sitede
crise
DG
Bureau d’Etude
Maintenance
EDI
Back-up commerciau
x
Partenaires
Veille Concurrentielle et Intelligence Economique
$
Gestion Trésorerie
Dématérialisationdes procédures
Télémaintenance machines
Veille Technologique
Recherche nouveaux Fournisseurs
Market-Place
Télétravail
ASP
Gestion
Source : Jean-Michel YOLINhttp://yolin.net/
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
DRH SAV
Achats
Marketing
Publicité
Vente
Sous-Traitant
Producteur de Machines
Fournisseurs
Supply Chain
Managt B to B
Web
Fournisseurs
Soc de Service
Push
Banque
Actionnaires
Sites de Recrutement
E-learning Télé-Tutoring
DistributeurMarchand
e-commerc
e
Sites d ’appel d ’offre
CONCURRENTS
Marketing one to one
Site Financier
e-mailing, bandeaux,site promotionnel...
trackingLogistique
CLIENTS
Back-up techniciens
SVP réclamations
Tutoring
Club utilisateur
Télémaintenance
B to B
Co-ingienerie
Extranet
Administr@tions
Sitede
crise
DG
Bureau d’Etude
Maintenance
EDI
Back-up commerciau
x
Partenaires
Veille Concurrentielle et Intelligence Economique
$
Gestion Trésorerie
Dématérialisationdes procédures
Télémaintenance machines
Veille Technologique
Recherche nouveaux Fournisseurs
Market-Place
Télétravail
ASP
GestionBig DATA
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Où est ce problème ?
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Mais où ? Là !!
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Heureusement il y a des solutions !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Avec Hadoop... ça passe !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop !
EDW
Applications d’Entreprise
ODS &Datamarts
Applications &Feuille de Calcul
Visualisation & BI
Découverte Exploration
DEV / IDE
Low LatencyNoSQL
Web
WebApplications
Opérations (API)
Custom Existing
Templeton SqoopWebHDFS Flume
HCatalog
PigHBase
Hive
Ambari HAOozie
ZooKeeper
MapReduce HDFS
Big Data Sources (transactions, observations, interactions)
CRM ERPExhaust
Datalogs files
financialsSocial Media
Nouvelle techno
Tableau
sources
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop
● WebHDFSFacilite l’accès au données, même depuis votre explorateur de fichiers
● HCatalogVision unifiée de la donnée
● PigLangage de très haut niveau, aussi simple que SQLTransformation, Filtre, Statistique, Scripting
● HiveImplémentation du langage SQL
● HbaseSystème de base de données orienté colonnes
● AmbariGestion & Surveillance plateforme Hadoop
● Map / ReduceFramework de calcul
● HDFSSystème de fichiers distribué
● ...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Pourquoi faire ?
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Et pour quels besoins ?
Media Meilleur Contenu
Intelligence Meilleure Détection
Finance Meilleur Algorithme
Publicité Meilleure Performance
Fraude Meilleure Prévention
Distribution Meilleure Rotation des stocks
Production Meilleure Chaîne logistique
Santé Meilleur Soin
Education Meilleur Enseignement
Gouvernement Meilleur Service Citoyens
Source: Geoffrey Moore. Hadoop Summit 2012 keynote presentation.
sources
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop, de l'Open Source pour un vrai marché économique
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Au fait pourquoi Hadoop ?
FlexibilitéScalabilité
Économique
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France SL2013 – Mai 2013
Une Introduction à Hadoop
Merci !
Charly CLAIRMONTAltic - http://[email protected]@egwada