Big, Fast, Furious
Transcript of Big, Fast, Furious
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Big, Fast, Furious
Marcel Amende, Michael Bräuer Systemberatung Oracle Deutschland B.V. & Co KG
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.
3
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Agenda
1
2
3
4
5
Ausgangslage
Fast Data a.k.a. Oracle Event Processing
Einsatzszenarien
Funktionsweise
Fast Data in Kombination mit Big Data
Oracle Confidential – Internal/Restricted/Highly Restricted 4
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Ausgangslage: IT für die umfassende Datenanalyse
5
In-Memory & NoSQL
„Auswerten & Bereitstellen“
„Reagieren“
Big Data
„Verwalten, Filtern, Sortieren & immer wieder neu Interpretieren“
Data Warehouse & Analytics
„Analysieren“
„Sammeln“
Batch
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Gartners Definition: Three V‘s of Big Data* Ein „V“ ist nur sehr eingeschränkt gültig...
Volume Variety Velocity ? Value**
**nowadays added by sales people ;-) *by Gartner
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Big Data Velocity Schnell genug für zeitkritische Entscheidungen...?
• Big Data ist, als würde man Daten mit einem LKW transportieren:
– Er muss voll beladen sein.
– Er muss in das Rechnzentrum fahren.
– Er muss vor der Verarbeitung ausgeladen werden.
7
Geschäftsereignis Daten erfasst
Analyse
abgeschlossen
Aktion
ausgeführt
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Komplettierung: IT für die umfassende Datenanalyse
9
„Agieren“
In-Memory & NoSQL
„Auswerten & Bereitstellen“
„Reagieren“
Big Data
„Verwalten, Filtern, Sortieren & immer wieder neu Interpretieren“
Data Warehouse & Analytics
„Analysieren“
„Sammeln“
Batch
„Echtzeit-Analyse“
Fast Data a.k.a.
Complex Event Processing
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Was ist (Oracle) Event Processing (OEP)?
10
„Complex Event Processing ist ein Konzept zur Analyse und Verarbeitung von hochvolumigen Datenströmen.
Ereignisse werden miteinander korreliert, um Muster zu erkennen und Aktionen in Echtzeit oder mit vorhersagbarer Antwortzeit auszulösen.“
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Top Einsatzszenarien Echtzeitanalyse hochvolumiger Datenströme
Oracle Confidential – Internal/Restricted/Highly Restricted 11
• Finanzdienstleister: Aktien- und Devisenhandel, Erkennen von Betrugsversuchen: Geldwäsche, Kreditkartenbetrug u.v.a.m.
• Telekommunikation: Netzwerk-, Verbindungsdaten- und Nutzungsanalyse, lokationsabhängige Dienste, proaktive Werbung, ...
• Öffentlicher Dienst (Polizei/Feuerwehr/Militär/Dienste): Einsatzplanung und Überwachung, Gefährdungsanalyse
• Logistik: Überwachung der Lieferkette, Fehllieferung- und Diebstahlvermeidung
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Beispiel der Leistungsfähigkeit Was bedeutet „hochvolumig“?
• Millionen Ereignisse/s bei Microsekunden-Latenz
• Kunde NTT (http:// www.oracle.com/us/corporate/press/2111467):
– 1.4 Mio. Ereignisse/s bei Erkennung von Netzwerkfehlern
– 105.000 Ereignisse/s Netzwerküberwachung & Verwaltung (z.B. Roaming)
• 1x12-Core x86 Node mit 2 Instanzen:
Oracle Confidential – Internal/Restricted/Highly Restricted 12
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Event Processing Ereignisverarbeitendes Netzwerk
• besteht aus Adaptern, Streams, Prozessoren und Event Beans
• Streams halten eine (zeitliche) Abfolge von Events
• SQL- und NoSQL Datenbanken, (verteilte) Caches und HDFS Filesysteme können Datenquellen und Senken sein
Oracle Confidential – Internal/Restricted/Highly Restricted 13
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Event Processing Prozessoren: Continuous Query Language
• Abfragesprache für das Complex Event Processing: Continuous Query Language (CQL)
• Kombination von SQL und Regulären Ausdrücken
• auf Streams angewendet, kann die zeitliche Abfolge von Ereignissen einbezogen werden.
• Auch Spatial Queries möglich
Oracle Confidential – Internal/Restricted/Highly Restricted 14
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Complex Event Processing CQL Beispiele
<query id="BatchQuery"> <![CDATA[ select * from RestInboundChannel [range 30 seconds slide 30 seconds] ]]> </query> <query id="AccelerationAlertQuery" active="false">
<![CDATA[ select '*** ACCELERATION ALERT ***: '||accRes||'g for '||sscc||' at '||locLongitude||'/'||locLatitude as message from RestInboundChannel [now] where accRes >= 2.5 ]]> </query>
Oracle Confidential – Internal/Restricted/Highly Restricted 15
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Fast Data filtert Daten (Redundanzen) vor Ablage als Big Data Block Fast Data Abfragen beziehen Big Data Analyseergebnisse ein
Fast Data CQL
Wie spielen Fast Data und Big Data zusammen?
17
Fast Data CQL
Big Data
HDFS ungefilterte Datenströme
Blocks
Big Data
HDFS
relevante Geschäftsereignisse
ungefilterte Datenströme
vorgefilterte Analyse- Rohdaten
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Kombiniertes Anwendungsbeispiel Big Data Analyse führt zu Fast Data Konfiguration
Oracle Confidential – Internal/Restricted/Highly Restricted 18
Warnung vor potenziellem Transportdefekt
Paketbewegungen (Beschleunigung)
CQL Konfiguration
Big Data
Einspeisen aller Sensor-Events
Muster für Transportschäden?
Wo? Welche Beschleunigung?
Analytics
(MapReduce)
Datenanalyse
Fast Data
Echtzeitanalyse
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Kombiniertes Anwendungsbeispiel Demo Setup
Oracle Confidential – Internal/Restricted/Highly Restricted 19
Warnung vor potenziellem Transportdefekt
Bewegungen Mobiltelefon
(Beschleunigung)
CQL Konfiguration
Big Data
Einspeisen aller Sensor-Events
Muster für Transportschäden?
Wo? Welche Beschleunigung?
Datenanalyse
Fast Data
Echtzeitanalyse
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Event Processing Ereignisverarbeitendes Netzwerk
Oracle Confidential – Internal/Restricted/Highly Restricted 20
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Apache Hadoop HDFS und MapReduce
Oracle Confidential – Internal/Restricted/Highly Restricted 21
Quelle: http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
Split Map Shuffle/Sort Reduce (K1,V1) (K2,V2) (K2,V2) (K3,V3)
Record
Record
Record
Record
Record
Record
Record
Record
Record
Record
Record
Record
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Apache Hadoop HDFS und MapReduce
Oracle Confidential – Internal/Restricted/Highly Restricted 22
Split Map Shuffle/Sort Reduce (K1,V1) (K2,V2) (K2,V2) (K3,V3)
Record
Record
Record
Record
Record
Record
Record
Record
Record
Record
Record
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
IT für die umfassende Datenanalyse
23
„Agieren“
In-Memory & NoSQL
„Auswerten & Bereitstellen“
„Reagieren“
Big Data
„Verwalten, Filtern, Sortieren & immer wieder neu Interpretieren“
Data Warehouse & Analytics
„Analysieren“
„Sammeln“
Batch
„Echtzeit-Analyse“
Fast Data a.k.a.
Complex Event Processing
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
LKW Frachtüberwachung Embedded Use case
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Raspberry Pi
Java ME Embedded für Kleinstgeräte ab 130KB: Sensoren,
Industriesteuerungen, Netzwerkgeräte, ...
Java SE Embedded für mittlere und hochklassige
Embedded-Systeme ab 32MB Hauptspeicher
Zugang zu Anschlüssen & Netzwerkkommunikation
HTTP & REST
Relationale Java DB
Event Processing
Analoge & digitale Ein- & Ausgänge
LAN USB Netzwerk & Peripherie
HDMI Monitor
Audioausgang
Linux Betriebssystem
Temperatur, Luftfeuchte, Türkontakt, GPS, ...
WLAN, Mobilfunknetz, LAN, USB, ...
Displays, Signale, ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 26