Safe Harbor Statement - MBDS · Mfg de qualité Analyse des garanties OIL & GAS LAW Analyse de la...

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

2

Exploiter et Visualiser vos données Big Data

Olivia Faucheux

Business Development Manager

Pascal Guy

Architecte Systèmes

Lundi 30 mars 2015


MEDIA/ ENTERTAINMENT

Analyse téléspectateur

Cross Sell

COMMUNICATIONS

Publicité

Géolocalisation

EDUCATION & RESEARCH

Analyse d’experience

RETAIL / CPG

Sentiment client

Ciblage produit

Marketing optimisé

SANTE

Dossier patient, surveillance.

Qualité des soins

LIFE SCIENCES

Essais cliniques

Génomique

HIGH TECHNOLOGY / INDUSTRIAL MFG.

Mfg de qualité

Analyse des garanties

OIL & GAS

Analyse de la sonde d'exploration Forage

FINANCIAL SERVICES

Risque et analyse portefeuille nouveaux produits

AUTOMOTIVE

Analyse sur localisation, et problemes

GAMES

S’adapter au comportement du joueur

LAW ENFORCEMENT & DEFENSE

Analyse des menaces Surveillance des médias sociaux, Analyse photo

TRAVEL & TRANSPORTATION

Analyse des capteurs pour étude des flux

Sentiment client

UTILITIES

Analyse des compteurs

ON-LINE SERVICES / SOCIAL MEDIA

Match :People & carrière

Site Web

optimisation

Les cas d’usage du Big Data


Use Data

Produce Data


Capturer et simplifier l’accés à toutes les données

Découvrir et prévoir rapidement

Gouverner et Sécuriser la plateforme de données

Usage Data

Production Data

Comment pouvez-vous réduire le gap?

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 7

Data Liquidity

DATA CAPITAL

CHANGE THE BUSINESS RUN THE BUSINESS

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 8

Notre Mission


BIG DATA MANAGEMENT

BIG DATA ANALYTICS

BIG DATA APPLICATIONS

BIG DATA INTEGRATION

CAPITAL NUMERIQUE

Connecter et Gérer toutes les données

Simplifier l’Accès

à Toutes les données

Accélerer La Découverte

La prédiction et La prise de décision

Passer à l’action plus rapidement


Performance


Efficacité Opérationnelle


Personnalisation

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 12

• Increase state funding through better attendance

• Exalytics to increase efficiency in budget analysis

• 105% ROI in first four years; total benefits of $4.4m through 2015

Efficacité

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 13

Prévention du désabonnement


Optimisation


z BY INDUSTRY & LINE OF BUSINESS

BIG

DA

TA

A

PP

LIC

AT

ION

S

DISCOVERY

BU

SIN

ES

S

AN

ALY

TIC

S

BUSINESS ANALYTICS

DATA RESERVOIR

BIG

DA

TA

M

AN

AG

EM

EN

T

DATA WAREHOUSE

SO

UR

CE

S

Architecture Oracle Big Data


DATA RESERVOIR DATA WAREHOUSE

Oracle Database

Oracle Industry Models

Oracle Advanced

Analytics

Oracle Spatial & Graph

Hadoop

NoSQL Oracle Database

Oracle Big Data Connectors

Exadata Big Data Appliance

Hadoop

NoSQL NoSQL

Architecture Oracle Big Data


Notre Mission


BIG DATA MANAGEMENT

BIG DATA ANALYTICS



CAPITAL NUMERIQUE


Big Data Analytics

Discovery Mining Real Time

2 miles Arbitration

Goals

Rules &

ModelsAutomation

Business Analy.

Oracle Big Data Analytics


Oracle R

Oracle Advanced Analytics

(Data Mining + R )


Data Warehouse Data Reservoir

Oracle Big Data Analytics

Big Data Analytics

Discovery Business Anal. Mining Real Time

2 miles Arbitration

Goals

Rules &

ModelsAutomation


Expérience client


Data Warehouse

ERP

CRM S

TR

UC

TU

RE

D

UN

ST

RU

CT

UR

ED

Arbitration

Goals

Rules &

ModelsAutomation

Real Time

Decision

Opt-in Offers personalization

Product recommendation

Service

Real-Time Personalization

Scoring

Process Optimization

Recommandation Temps Réel


Process Optimization


Efficacité opérationnelle


Découverte de données avec Oracle Endeca Information Discovery

Oracle BI Server Models

Cloud et Sociales

Fichiers Excel personnels

Données d’entreprise

Documents et Pages Web

Ajouter de Nouvelles Données Intégrer des données diverses et variées,

fichiers personnels, données d’entreprises ou

Web

Poser de Nouvelles Questions Proposer, en standard, la recherche par mot-clef

combinée avec la navigation guidée

Découvrir de Nouvelles Tendances Les résultats de recherche organisent les données imparfaites, un

enrichissement de texte expose automatiquement des thèmes cachés. De

puissantes capacités de visualisation font ressortir de nouvelles

tendances


Comment Analyser Rapidement le Big Data alors que…

27

Les outils sont complexes

• Outils techniques réservés aux seuls experts

• Les outils BI n’ont pas été conçus pour Hadoop

• Les solutions émergentes manquent encore de couvertures fonctionnelles

80% des efforts sur l’évaluation et la préparation des données

Les données sont confuses

• Peu familières et très nombreuses

• Nécessitent d’importantes manipulations

• Au potentiel de valeur peu évident

Les experts sont rares et très spécialisés, les métiers se sentent dépendants


Une nouvelle approche est nécessaire sur la techno Hadoop

28

Transformer et rapidement enrichir les données pour encore

mieux les valoriser

Démocratiser le Big Data à l’ensemble des utilisateurs en

partageant l’ensemble du patrimoine informationnel

Une interface utilisateur intuitive, interactive et visuelle pour...

Trouver et explorer pour comprendre le potentiel

du Big Data

trouver explorer transformer découvrir partager


Oracle Big Data Discovery. The Visual Face of Hadoop




30

trouver explorer transformer découvrir partager Explorer tout le potentiel du Big Data


Trouver

31

• En utilisant un catalogue interactif de toutes les données d’Hadoop

• Via une navigation guidée et une recherche simplifiée

• Visualisation agrégée et statistique des data set, leurs annotations et associations


Explorer

32

• Visualiser tous les attributs à plat et les trier par potentiel informationnel

• Observer les statistiques par attributs, leur qualité, leurs aberrations

• Combiner les attributs pour découvrir des corrélations



33

trouver explorer transformer découvrir partager Produire rapidement un Big Data pertinent et efficace

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 34 34

• Revaloriser les données de manière intuitive et visuelle

• Large librairie de fonctions de transformations et d’enrichissements

• Fonctions de preview, undo, commit et replay des transformations.

• Test sur un échantillon avant l’application sur toutes les données dans Hadoop

Transformer



35


Libérer le potentiel Big Data pour

tous les utilisateurs


• Enrichir les analyses avec des données locales ou d’entreprise via le self-service pour obtenir plus de perspectives

• Découvrir de nouvelles informations et corrélations grâce à d’innovantes visualisations interactives

• Composer des tableaux de bord d’analyse en simple drag and drop

Découvrir


• Partager projets, signets et snapshots avec une communauté d’utilisateurs

• Composer des galeries analytiques qui adressent des problématiques métier

• Collaborer en équipe et lancer des itérations analytiques

• Publier les données combinées dans un nouveau data set Hadoop pour le mettre à disposition d’autres outils

Partager


Big Data Discovery : à suivre sur YouTube

Oracle Confidential – Internal/Restricted/Highly Restricted 38

https://www.youtube.com/channel/UC0B-dhxifP7R_1Py-2IS2iw


Notre Mission


BIG DATA MANAGEMENT

BIG DATA ANALYTICS



CAPITAL NUMERIQUE


Agenda

1

2

3

4

Défis du Big Data

Simplifier l’Infrastructure Big Data

Valoriser toutes les données

Référence Airbus, Démo Bigdata Oracle

Conclusion

Oracle Confidential – Internal/Restricted/Highly Restricted 40

5


Défis

Du Big Data


• Traitements distribués Java, Open Source

• Architecture “ Shared nothing”

• Traitement exécuté près des données

• Gros volumes & Exécution Parallèle

• Clusters de serveurs (1000s noeuds), HA

• Hadoop /HDFS -> Batch

• No SQL -> Temps réel

Technologies Big Data Hadoop & NoSQL Grille de traitements distribués, Coût stockage optimisé

PI

G

Ecosystème riche … mais complexe


• Batir une ferme Hadoop /NoSQL performante ?

• Déployer l’infrastructure Big Data rapidement ?

• Opérer , Administrer, Fiabiliser ces systèmes ?

• Intégrer le Big Data aux données d’entreprises ?

Les DSI confrontées à de nouvelles complexités Innovations Oracle - Simplifier l’IT Big Data

ORACLE

ENGINEERED SYSTEMS

Oracle Big Data Connectors & DIS


• Préparer et Filtrer les données Big Data ?

• Découvrir les anomalies au sein du Big Data?

• Analyser les tendances et corrélations Big Data ?

• Programmer en Java Hadoop/No SQL ?

• Unifier et Sécuriser l’accés à toutes les données?

Comment valoriser rapidement les données Big Data Innovations Oracle - Simplifier l’accés, la découverte et l’analyse

Oracle Big Data Discovery

Oracle Big Data SQL


Simplifier

l’infrastructure Big Data


Actionable

Events

Event Engine

DATA RESERVOIR Data Factory

Enterprise Information Store

(DAWAREHOUSE)

Reporting

ANALYTICS LAB

Actionable

Information

Actionable

Insights

Input Events

Execution

Innovation

Discovery Output

Events

& Data

Oracle Big Data – Vue Conceptuelle

Structured Enterprise Data

Other Data


6 à 18 Serveurs Sun Oracle X5-2L, pour chaque serveur: • 2 * 18 Core Intel Xeon E5 Processeurs

• Mémoire RAM: 128 GB

• Stockage Disque: 288 à 868 TB (18*12 disques SAS HC 4TB)

• Jusqu’à 40 Gb/s de débit InfiniBand

Logiciels intégrés (4.1): • Oracle Linux 6.5, Oracle JDK 7u72

• Oracle Big Data SQL 1.1

• Distribution Cloudera Apache Hadoop 5.3 – EDH Edition & Cloudera Manager 5.3

• Distribution Oracle R 3.1.1-2, Oracle NoSQL Database 3.2.4

4

Big Data Appliance X5-2, plateforme pour Hadoop et No SQL

Starter

Rack

In-Rack

Expansion Full

Rack

Data Reservoir – Big Data


Still - Hadoop Can Be Confusing…


What goes where?

• Projects typically come with services

• Typical services:

– NameNodes (x2)

– Zookeeper

– Quorum Journal Managers (x3)

– Hive Server2

– Etc.

• Metadata in an RDBMS

• Etc.

NameNode?

JobTracker?

QJM?

Hive Server

Zookeeper?

DataNode

TaskTracker


Moins chère à l’achat

Plus rapide à déployer

Oracle Big Data Appliance

21%

30%

Run Any Software


Data Reservoir – Big Data temps réel Oracle NoSQL Database

• Modèle de données Simple

– Paire Clé-Valeur (notion de clé majeur+mineur), mais aussi Tables

– Opérations trés rapides Lecture/Insertion/MiseAJour/Suppression

– APIs C & Java ( put …, delete… get, multiGet …)

• “Scalabilité”, Haute disponibilité & Répartition de charge

– Partitionnement dynamique des données & distribution

– Ajout/Suppression des Noeuds “à chaud”

– Un ou plusieurs réplica(s) , PRA, pas de “SPOF”

Noeuds de Stockage Data Center A

Noeuds de Stockage Data Center B

NoSQLDB Driver

Application

NoSQLDB Driver

Application

Bases de données distribuées temps réel (faible latence)

“Forrester estimates the current adoption of NoSQL is at 20% and is

likely to double by 2017”

http://www.oracle.com/technetwork/products/nosqldb/overview/nosql-api-497225.html


Big Data Connectors Intégration Optimisée du Big Data avec la base Oracle

– Oracle Loader for Hadoop

– Oracle SQL Connector for HDFS

– Oracle Data Integrator Application Adapter for Hadoop

– Oracle R Advanced Analytics for Hadoop (ORAAH)

– Oracle Xquery for Hadoop

– Oracle Golden Gate for Big Data

Acquire – Organize – Analyze


Oracle Data Integrator

Oracle

Advanced

Analytics

Oracle

Database

Oracle Spatial

& Graph

Hadoop Oracle Database


Big Data Appliance - Administration de bout en bout Serveurs, Réseaux & Logiciel

Matériel & Logiciels

– Suivi des Performances

– Vue schématique du matériel et alertes

– Topologie Matérielle et Logicielle

Gestion du Cluster Hadoop

– Suivi des performances systèmes sur

tout le cluster Hadoop

– Visualiser l’évolutions du stockage

HDFS, de l’activité MapReduce et de

l’utilisation des serveurs.

Gestion consolidée des incidents


Oracle Big Data Management System

SOURCES

DATA RESERVOIR DATA WAREHOUSE

Oracle Database

Oracle Industry Models

Oracle Advanced

Analytics


Big Data Appliance

Apache Flume

Oracle GoldenGate

Oracle Event Processing

Cloudera Hadoop

Oracle NoSQL

Big Data Discovery

Oracle R Advanced Analytics for Hadoop

Oracle R Distribution

Oracle Database

In-Memory, Multi-tenant

Oracle Industry

Models

Oracle Advanced Analytics

Oracle Spatial & Graph Exadata

Oracle GoldenGate

Oracle Event Processing

Oracle Data Integrator


Oracle Data Integration

ORACLE BIG DATA SQL


Data Warehouse – EXADATA in Memory Database Machine

Exadata

Smart Scan

Improve query

performance by

10X

Hybrid Columnar

Compression

Reduce the size of database

storage requirements by

up-to 3-5X

Smart Flash

Cache

Improve query

response times by

40%

Le meilleur système pour les bases de données ORACLE

Data Warehouse mais aussi OLTP et Consolidation …

+ Oracle Database 12c In-Memory

+ Oracle Database 12c Advanced Analytics


Valoriser

toutes les données


Surmonter les obstacles de l'adoption des nouvelles techno

Confidential 57

Engineered Systems

SQL sur TOUTES les données

Sécuriser TOUTES les données

SQL

INTEGRATION COMPETENCES SECURITE


Governance et Sécurité

• Droits d’accès et Authentification

• Provisioning and Compliance

• Role-Based Access

• Data Redaction

• Data Encryption

Que peut apporter Oracle

58

Data Warehouses Surveys

& Reviews

Social Media

3rd party data

Machine Data

Big Data

Enterprise Applications

Websites

Spreadsheets

• Authorization and Authentication

• Provisioning and Compliance

• Role-Based Access

• Data Redaction

• Data Encryption


Manager et Sécuriser toutes les données Hadoop, NoSQL & Relational

• A partir des fonctions existantes – Authentification Kerberos

– Authentification Apache Sentry

– Auditing avec Oracle Audit Vault

– Encryption Data

– Encryption Réseau

• Big Data SQL adds – Advanced Security on Hadoop & NoSQL

• Masking and Redaction

– Virtual Private Database • Fine-grain Access Control

Oracle Confidential – Internal 59


Oracle R Advanced Analytics for Hadoop Pour les utilisateurs Statisticiens ou “Data scientists”

Les capacités Analytiques de R et la puissance d’Hadoop/HDFS Algorithmes R optimisés pour exécution en parallèle

Linear Models and Logistic Models General feed-forward Neural Networks Regression Models, Matrix Factorization, K-Means Clustering PCA (Principal Component Analysis) Correlations

Les traitements R utilisent MapReduce Les Calculs intensifs parallélisés accélèrent les Simulations

HDFS

Hadoop

Oracle R Client

MAP MAP MAP MAP

REDUCE REDUCE


SQL universel s’adapte aux données Big Data

Hive

Impala

Presto

Tajo

Drill Spark SQL

Hadapt

CitusDB

Apache Phoenix HAWQ

PolyBase MongoDB

#BeyondBigData

Cassandra


Des données sous tous les angles

6

2

NoSQL

Pourquoi Oracle SQL Support de tout type de données du Big Data

Structured data

Numeric, string, date, … Unstructured data

LOBs, Text, XML, JSON, Spatial, Graph, Multimedia

Et des fonctions analytiques enrichies

Ranking, Windowing, LAG/LEAD, Aggregate, Statistical, Linear Regression, Correlations, Cross Tabs, Hypothesis Testing, Distribution Fitting, …


Oracle Big Data SQL

6

3

Requêtes SQL Massivement Parallèles sur Oracle, Hadoop et NoSQL

Oracle Database 12c

Offload Query to Exadata Storage Servers

Small data subset quickly returned

Hadoop & NoSQL

Offload Query to Data Nodes

SQL

data subset

SQL


Optimisation intelligente des requêtes Une même requête pour Oracle Database, Hadoop & NoSQL

Interrogation des données

dans SGBDR, Hadoop & NoSQL

Oracle SQL

Oracle NoSQL

DB

BDS Server

HDFS Data Node

BDS Server

Oracle NoSQL

DB

BDS Server

HDFS Data

Node

BDS Server Oracle Database

Storage Server

Oracle Database

Storage Server

Rapide

Parallélisme massif

Filtrée localement

Mouvement des données

minimisé

Sécurisé

Sécurité de la base relationnelle

appliquée aux données Bi data

HDFS/No SQL


SQL Oracle avancé pour toutes les données Oracle Advanced Analytics (Data Mining & Langage R)

• Puissant

– Combinaison d’algorithmes data mining en base de données et d’algorithmes open source R

– Accessible via SQL, PL/SQL, R

– Scalable, exécution parallèlisée en base de données

• Simple à utiliser

– Différents types d’outils pour les utilisateurs métiers et les statisticiens (“data scientists”)

• Adapté à l’Entreprise

– Fonctionnalité intégrée de la base de données Oracle

– Support naturel des applications Analytiques et des environments Décisionnels (BI)

R


Oracle Big Data SQL - Une nouvelle architecture Pour rapprocher les données d’Entreprise et le Big Data

• Puissance et hautes performances SQL sur Hadoop – Toutes les capacités d‘Oracle SQL sur Hadoop (sécurité, analytiques …)

– Exécution locale sur les nœuds Hadoop, Smart Scan comme Exadata

• Intégration simple des données Hadoop et Oracle – Un unique point d'entrée SQL pour accéder à toutes les données

– Jointures adaptables entre Hadoop et les données SGBDR

• Matériel optimisé – Réseau Infiniband haut débit entre BDA (Hadoop/No SQL) et Exadata

(Oracle)

Oracle Confidential –

Internal/Restricted/Hi

6

6

EXADATA

DATABASE

MACHINE

BIG DATA

APPLIANCE


Référence Airbus

Démo Bigdata


Conclusion


Oracle Big Data, un accélérateur d’innovation

• Solution unique et complète – Pour valoriser toutes les données (Big Data + Entreprise)

– Pour tous les utilisateurs (Statisticiens, Métiers, Développeurs SQL)

– Réduit le risque des nouvelles technologies

• Simplifie la découverte & l’analyse des données – Solutions de Découvertes Innovantes (Big Data Discovery, Endeca)

– Toutes les sources de données Big Data ou non (Big Data SQL, Connectors)

• Simplifie l’Infrastructure du Big Data – Systèmes intégrés, spécialisés, prêts à l’emploi, support unique

– Performance et Evolutivité natives, déploiements plus rapides


Liens utiles!

• Solutions Oracle Big Data

• Oracle Information Discovery

• Oracle Real Time Decision

• Oracle Big Data Appliance

• Oracle NoSQL Database

• Oracle Advanced Analytics

• Oracle Big Data Connectors

• Oracle Big Data SQL

• Oracle Event Processing

• Oracle Big Data Discovery

https://www.oracle.com/bigdata/index.html




http://www.oracle.com/us/solutions/business-analytics/business-intelligence/endeca/overview/index.html

http://www.oracle.com/us/solutions/business-analytics/business-intelligence/endeca/overview/index.html

http://www.oracle.com/us/solutions/business-analytics/business-intelligence/real-time-decisions/overview/index.html

http://www.oracle.com/us/solutions/business-analytics/business-intelligence/real-time-decisions/overview/index.html


https://www.oracle.com/engineered-systems/big-data-appliance/index.html

http://www.oracle.com/us/products/database/nosql/overview/index.html




http://www.oracle.com/us/products/database/options/advanced-analytics/overview/index.html

http://www.oracle.com/us/products/database/options/advanced-analytics/overview/index.html

http://www.oracle.com/us/products/database/big-data-connectors/overview/index.html





http://www.oracle.com/us/products/database/big-data-sql/overview/index.html




http://www.oracle.com/technetwork/middleware/complex-event-processing/overview/complex-event-processing-088095.html

http://www.oracle.com/technetwork/middleware/complex-event-processing/overview/complex-event-processing-088095.html



Safe Harbor Statement - MBDS · Mfg de qualité Analyse des garanties OIL & GAS LAW Analyse de la...

Documents

Transcript of Safe Harbor Statement - MBDS · Mfg de qualité Analyse des garanties OIL & GAS LAW Analyse de la...