Oracle Confidential Internal/Restricted/Highly Restricted...

41
Oracle Confidential – Internal/Restricted/Highly Restricted 1

Transcript of Oracle Confidential Internal/Restricted/Highly Restricted...

Page 1: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Oracle Confidential – Internal/Restricted/Highly Restricted 1

Page 2: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Новости OOW по интеграции данных

Дарья АлешковаМенеджер по продуктам интеграции СНГ

22 ноября, 2018

Page 3: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved.

Мы должны двигаться вперед

имея данные и учиться управлять на основе данных

Управления информацией как основа бизнеса

3

Page 4: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. 4

Приложений Инфраструктуры Аналитики

Интеграция для Интеграция для Интеграция для

Единая технологическая платформа (PaaS)

ApplicationIntegration

APIManagement

ProcessIntegration

StreamProcessing

DataReplication

Bulk DataETL & E-LT

MetadataManagement

DataQuality

Все уровни интеграцииОбъединенное решение для всех интеграционных нужд

Page 5: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Интеграционные решения для бизнеса

Oracle Confidential

Единое окно– Для управления и мониторинга

Единая платформа– Для любых задач интеграции

0-Кода – Разработка мышкой

Полная– Поддержка гибридных платформ

API MGMT. &DATA GOVERNANCE

STREAMINTEGRATION

DATA INTEGRATION

APPLICATION INTEGRATION

BULK DATA & FILE TRANSFER

BUSINESS PROCESS

SELF-SERVICE AUTOMATION

Engage

Build

Integrate

Secure

Page 6: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Инновационные Технологии

#1#1

Realtime / StreamingData Integration Tool

Pushdown / E-LTData Integration Tool

1st to certify replication withStreaming Big Data

1st to certify E-LT tool withApache Spark/Python

1st to power Data Preparationw/ML + NLP + Graph Data

1st to offer Self-Service &

Hybrid Cloud solution

Page 7: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 7

Создание копии данных для анализа данных одной системы Oracle Active Data Guard

7

Мгновенная эластичность DR

Быстрое переключение на резервную копию

Используйте Резервную копию для отчетности

Клонирование Тестовых и разработческих сред

Перенос резервных СУБД в Облако

Простая физическая репликация

Возможны репликации на любые расстояния с Far Sync

www.oracle.com/technetwork/database/availability/dr-to-oracle-cloud-2615770.pdf

Локальные СУБДOracle 11.2 и старше

Active Data GuardРезервная СУБД

Test/Dev

Отчетность

Oracle Active DataGuard основа для построения высоко доступных решений на Oracle Database,предоставляя мгновенное аварийное восстановление, физическая репликация, и доступный на чтение резервный сервер для целей отчетности.

Page 8: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

Каковы современные тренды?

Source Data Потребители

#1 – Загрузка в любой момент доступности

данных

#2 – Обработка с любой задержкой

#3 – Данные доступные в формате, удобном для

потребителя

Загрузка сырых

данных

Потоковая обработка

Пакетная обработка& Долгосрочное хранение

Сервисныйслой

#4 – Serverless Инфраструктура#5 – Data at rest на Object Storage

Application Data

Polyglot Data

SQL & NoSQL Data

Data Lake & Data Science

Сервисы данных для приложений

Аналитика и отчетность

8

Page 9: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

Что такое современная загрузка данных?

Загрузкасырых данных

Копирование данных это плохо, но перегрузка источника хуже• Физическое совмещение данных – это обычно первый шаг в Data Lake• Оптимизация для минимального влияния на источники• Репликация измененных данных – это лучшая опция для баз данных

Event driven – обзательно в новом мировом порядке• Переносим данные тогда, когда возможно и не ждем job scheduler• Некоторые данные должны обрабатываться пакетно

Поддержка ключевых стилей виртуализации и переноса данных • Параллельное копирование для файловых данных• Репликация для реляционных данных• Пакетное извлечение или storage репликация для полной копии• Федерация данных/Виртуализация «хорошо иметь», но не все

источники могут хорошо работать

Первоначальная загрузка подчиняется законам физики• Загрузка терабайтов занимает время• Оптимизация для пакетных программ загрузки или big data программ• Магии не существует

Bulk Copy Utilities

Исходные данные

Application Data

Polyglot Data

SQL & NoSQL Data

9

#1 – Загрузка в любой момент доступности

данных

Page 10: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

GoldenGate – современный инструмент

https://www.oracle.com/us/products/middleware/data-integration/oracle-goldengate-innovations-wp-5093027.pdf

НЕРЕЛЯЦИОННЫЕ ДАННЫЕ

ИНТЕГРАЦИЯ С ЯДРОМ

УДАЛЕННЫЙ ЗАХВАТ

УПРОЩЕНИЕ

МИКРОСЕРВИСЫ

КОНТЕЙНЕРЫ

МОНИТОРИНГ

ПОТОКОВАЯ АНАЛИТИКА

ОБЛАКА

ПОДПИСКА

GOLDENGATE ДЛЯ ПОТОКОВОЙ ОБРАБОТКИ

BIG DATA:

10

Page 11: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

Что такое современная обработка данных?

#2 – Обработка с любой задержкой

Потоковая обработка

Пакетная обработка

Pipeline Editor

Object Storage

Потоквые Use Cases• Clickstream аналитика• Рекомендательные движки• Обнаружение мошеничества

Pipeline “Logic” Layer• Создаем data pipelines, правила

и встраиваем Machine Learning• Архитектурная изоляция:

независимость от движка• Повышение usability для

аналитиков

Потоковые движки• Предпочтение Oracle: Flink для

реальной потоковй обработки,Spark Streaming для микробатчей и ML

• Другие: Storm, Kafka Streams, Samza или проприентарный

Пакетные Use Cases• ETL Offloading• Загрузка Data Lake• Масштабируемая аналитика

Пакетная (MPP) обработка• Движки: Spark для большинства,

Hive или Flink в некоторых случаях• Хранение: Object Storage

Интерактивный доступ• SQL для прямых запросов к

большим объемам данных:• Hive SQL (простые)• Spark SQL (простые)• Sparkline OLAP

(расширенные)• Machine Learning & Graph

• MLlib• PGX, GraphX

* In your own data center you can have mixed workloads run from same physical clusters (ie; Kappa-style) but from the Cloud you should only pay for what you use and not care how the infrastructure is managed…

11

Page 12: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

Что такое современный сервисный слой?

Сервисныйслой

Streaming API для Real-Time данных• Publish and Subscribe (Kafka) с дружественными REST APIs• Основанный на REST означает, что API Gateways может быть

использован для настройки ACLs• HTTPS передача и отсутствие файлового доступа • Data redaction на уровне API / contract level

SQL-based доступ для интерактивной отчетности• Пакетный перенос данных (ETL) во внешний dw/data marts• Прямой SQL доступ к данным в Data Lake (Spark OLAP)

• Наиболее распространен• Интеграция с LDAP для безопасности

Прямой доступ к сырым данными для специалистов• Прямой доступ к object storage или HDFS• Особенно полезно для ML / AI программ

• Прямой доступ без необходимости перемещать данные

• Локальные доступ выдается на объектном уровне (например, файл данных)

Потребители

Data Lake & Data Science

Data Services for Applications

EDW & Analytics for Reporting

SQL

12

#3 – Данные доступные в формате, удобном для

потребителя

Page 13: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

Что такое современная инфраструктура?

#4 – Serverless Инфраструктура#5 – Data at rest на Object Storage

OCI Compute

Загрузка

Поток

Пакет

Сервис

Public Cloud Infrastructure устанавливаем стандарты низкой стоимости и высокой производительности• Платим только за использование, serverless стиль работы снижает нагрузку с клиентов• Быстрый compute сервисы и «плоская» сеть дает 5x прирост производительности *

• Очень низка стоимость хранения с практически бесконечной надежностью 99.999999%

OCI Object Store

Источники данных

Application Data

Polyglot Data

SQL & NoSQL Data

Потребители

Data Lake & Data Science

Data Services for Applications

EDW & Analytics for Reporting

13

* https://blogs.oracle.com/cloud-infrastructure/oracle-tests-better-in-performance-than-amazon-web-services

Page 14: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

Современный подход

Источник данных ПотребителиЗагрузка сырых данных

Потоковая обработка

Batch Processing& Long Term Storage

Application Data

Polyglot Data

SQL & NoSQL Data

Data Lake & Data Science

Data Services for Applications

EDW & Analytics for Reporting

Bulk Copy Utilities

Пакетная обработка

Pipeline Editor

Object Storage

Сервисный слой

SQL

ЛЮБЫЕ

ДАННЫЕ

ЛЮБАЯ

ЗАДЕРЖКА

ЛЮБОЙ

ФОРМАТ

В ЛЮБОМ

МЕСТЕ

14

Page 15: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

Современный подход? Oracle Cloud

Источник данных ПотребителиЗагрузка сырых данных

Потоковая обработка

Batch Processing& Long Term Storage

Application Data

Polyglot Data

SQL & NoSQL Data

Data Lake & Data Science

Data Services for Applications

EDW & Analytics for Reporting

Bulk Copy Utilities

Пакетная обработка

Pipeline Editor

Object Storage

Сервисный слой

SQL

Oracle Data Pipelines

Oracle Data Integration

Oracle Big Data

OracleEvents

Hub

OracleData

Integration

OracleDatabase

OracleEvents

Hub

Oracle Big Data

Oracle Cloud

15

ЛЮБЫЕ

ДАННЫЕ

ЛЮБАЯ

ЗАДЕРЖКА

ЛЮБОЙ

ФОРМАТ

В ЛЮБОМ

МЕСТЕ

Page 16: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

GoldenGate для Kappa / Streaming

Слойсырых

данных

Слой приложений Скоростной слой

Пакетный слой

Application

Сервисныйслой

RESTAPIs

AnalyticsTools

DataScience

Data Marts

GG GG

UserUpdates

DBMSUpdates

Cap

ture

Trai

l

Ro

ute

De

live

r

Pu

mp

SSL/HTTPS

JSONORCCSV

ParquetXML

DDLEvents

PreparedData

PreparedData

EBay обрабатывает 200 млрд tx в день; более 25 TB изменений в день через

GoldenGate и задержка составляет менее 2 seconds (Flink)

LinkedIn использует GG на >200 базах в 5 ЦОД по всему миру

(Samza для обработки)

Quickbooks.com использует GG дляOracle, SQL Server иd DB2, работащих в

AWS (GG+Kafka как фабрика данных, питающая data science/ML платформу)

Apple iTunes использует GG+Kafka для загрузки транзакций в 5,000+ узловой

Data Lake (для data science)

General Motors использует GG+Kafka иGG+S3 для переноса транзакций из 600+

баз в их Data Lake

Maersk использует GG+Kafka для realtime IoT отслеживаний посылок

(таможня в том числе)

MGM переносит всю IT data architecture на GG+Kafka для streaming

Проверено передовыми клиентами: Kappa ETL архитектура• Мы видим множество клиентов GG использующих различные

потоковые движки: Spark Streaming, Flink, Kafka Streams, Apex/DataTorrent, Samza, Kinesis Firehose, Storm, etc.

Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018

16

Page 17: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Cap

ture

Trai

l

Ro

ute

De

live

r

Pu

mp

17

Консолидация данных из гетерогенных источников. Oracle GoldenGate

GoldenGate

Database as a Service

Hadoop as a Service*

DatabaseCloud Service

ExadataCloud Service

Big DataCloud Service

GGCS

GGCS

GoldenGate Cloud Service

✓ Репликация в реальном времени в Oracle Cloud по продписке или по часам

Преимущества

✓ Измененные данныедоставка только измененных данных более эффективна чем пакеты

✓ Без потерь надежный и провереный инструмент

✓ В реальном времени всегда актуальные данные

Гетерогенность

✓ Миграция и доставка с СУБД и Облаков 3х поставщиков

3rd Party Cloud

GoldenGate

Page 18: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 19

Бизнес цели GG 12.3

Простота Управляемость Скорость

Микросервисы

Page 19: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Oracle GoldenGate 12.3

Новое поколение GoldenGate Service Architecture Масштабируемое, основанное на REST управление, микросервисная архитектура

Oracle Database Sharding Support Active-active репликация между Shard Groups

Автоматическое обнаружение конфликтов и их разрешениеВстроенное CDR для Oracle без необходимости менять приложение

Generic JDBCДает возможность реплицировать в любую базу с JDBC драйвером

Гетерогенное развитиеПоддержка DDL в MySQLУдаленный захват и применение для z/OS

Cloud! Cloud! Cloud!Cloud@Customer and ExaCS

Parallel ApplyEnables support for multiple source files and offload the parallelism to separate server

Расширенная поддердка Big Data и NoSQLАдаптеры для Cassandra, MongoDB, Kinesis, Kafka

Oracle Confidential – Internal/Restricted/Highly Restricted

Page 20: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Discovery

RESTful API for Producers and Subscribers (events are pushed)

Raw Data Topics

Schema Event Topics

Data Pipeline

(ETL)Prepared

Data TopicsMaster Data

Topics

Data Pipeline

(ETL)

1,000’s 100’s 10’s

Oracle Open World 2015 21

AppDB

AppDB

AppDB

ERP

OperationalData Store

EDW

Staging Prod

ETL

ETL

ETL

ETLETL

MartMart

Mart

ETL

Enterprise BI

MartMart

Mart

ETL

Departmental BIDiscovery

AppDB

AppDB

AppDB

ERP

WebApps

Mobile

EDWNoSQL

Hadoop / Spark

Marts Marts

Less Governed --------------------------------------------------------------- More Governed

Enterprise BI

Departmental BI

Apps / Mobile

Classical Data Management: Hub and Spoke• Invasive on Sources• High Latency / SLA• Mainly Relational Views• Heavy IT process overhead• Vendor-centric software

Next-Gen: Streaming Databus/Kappa• Low impact on Sources• Low Latency (< 1 second)• Variety of Data Formats• More Agile DevOps processes• Open source centric software

GoldenGate

MDMHub

Новые тенденции в построении хранилищ и озер

• ODS & ETL Hubs• EDW/Mart Hubs• MDM/RDM Hubs• Static Data Lake Hubs

• Pub/Sub for Staging• ETL in Pipelines• Analytics/CEP in Stream• Data is in Motion

NoSQL / APIs

ТРАДИЦИОННАЯ:

СЛЕДУЮЩЕЕ ПОКОЛЕНИЕ:

Less Governed ---------------------------------------------------- More Governed

Physical Layer for ETL Pipelines = MPP Streaming (eg; Apache Spark Streaming)

Physical Layer for Events = MPP Messaging (eg; Apache Kafka)

Page 21: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Почему Oracle Data Integrator?

22

• Чтобы дать реальную гибкост и точность

• Чтобы легко переходить между платформами и стилями обработки данных

• ODI’s EL-T архитектура важна при работе с большими объемами

• ODI умеет выполнять pushdown любых трансформаций данных в Data Lake

Page 22: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Oracle Data Integrator 12.2.1 – PS2+

Oracle Confidential – Internal 23

• Big Data• Spark Streaming Support

• Hive Complex Type

• Hive Storage Format Support

• Hadoop Usability Enhancements (Phase 2)

• Mongo DB

• Cloud• RESTful Services

• BICS

• Amazon Redshift

• Lifecycle Management• Git

• Smart Merge

• ETL Enhancements• Unified KM Editor

Page 23: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 24

Построение Озера данных. Oracle Data Integrator

On Premise

ODI

SaaS Apps

Oracle Data Integrator

ODI CS

JavaCloud Service

DBCS

ExadataCloud Service

StorageCloud Service

Business IntelligenceCloud Service

Data Integrator в Облаке✓ Внедряй ODI где удобнее и

запускай ETL там где хранятся данные

Ключевые преимущества✓ Интегрирован с OPC

✓ Гибкое внедрение архитектура позволяет подгатавливать данные локально, в Облаке или на Big Data

✓ Широкий список коннекторовлюбые источники приложения или СУБД

Независимость

✓ Гибкий логика трансформации не зависит от технологии, вычисляй там где выгодно

Big Data CS

Page 24: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Лидер по производительностиЭкстремально быстрая обработка данных при низких затратах

E-LT представляет собой гибкую архитектуру для оптимальной производительности для любой платформы

Преимущества

▪ Использует преимущество трансформаций на основе внутренних функций Leverages set-based transformations

▪ Повыщение эффективности загрузки, снижение нагрузки на канал

▪ Использует преимущество существующей инфраструктуры: Как Серверов, так и ПО

Conventional ETL Architecture

Extract Load

Transform

Next Generation Architecture

“E-LT”

LoadExtract

Transform Transform

Page 25: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Декларативный дизайнПовышение производительности разработки для быстрого получения результата▪ Легкий и универсальный для разработки как простых так и сложных преобразований

▪ Надежный и Переиспользуемый: Создавайте Маппинги один раз для любой физической имплементации

▪ Быстро определяем и перерабатываем маппинги, с высокой степени автоматизации

▪ Расширяемая модель для любых механизмов интеграции

Преимущества

▪ Существенно сокращает время обучения

▪ Быстро и легко разрабатывать, быстро внедрять

▪ Легко поддерживать

ODI Declarative Design

Define How: Knowledge Modules

21

Automatically

Generate

Dataflow

Define

WhatYou Want

Page 26: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 27

Генерация Пакетов и Потоков из единого Мапинга

Batch (Hive, Spark) Streaming (Spark, Kafka, Cassandra)

Единый логическийдизайн

Гибкая реализация

Oracle Data Integrator

Page 27: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 28

Референсная архитектура Oracle для построения Озера

Staging

Sqoop

HDFS

Hive

Flume

Cap

ture

Trai

l

Ro

ute

De

live

r

Pu

mp

Transformation

Model FirstAnalytics

• Oracle BIEE• SAS, Cognos / SPSS• Business Objects• Microstrategy

Discovery Sandbox/s Data FirstAnalytics

• Oracle Endeca• Tableau• Cliq• Spotfire

In-Motion Analytics& Data Services

• Vertical specific• Internet of Things

/ Telematics• Data monetization

HBase

R

Oracle GoldenGate

Oracle Data Integrator

Oracle Data Governance

Oracle GoldenGateC

aptu

re

Trai

l

Ro

ute

De

live

r

Pu

mp

Speed LayerStreaming Analytics

Speed Layer

Oracle Stream Analytics

Page 28: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

BDS

29

Озеро Данных на примере клиента

Billing Support Systems

Operation Support Systems

Other Systems

Customer Relationship management

Roaming Systems Other

Systems

Active Standby Database

VPS

Production Database

sqoop

Data sources

Oracle Golden Gate

Active Data Guard

BDS

Oracle Data Integrator

Oracle Business Intelligence

Oracle Data Visualization

Page 29: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 30

Oracle Stream Analytics для Больших Объемов Big DataПотоковая аналитика

✓ Анализ потоков данных в памяти

✓ Простой интерфейс для построения приложений

✓ Пред интегрирован с Oracle Spatial, Coherence, Apache Kafka, Apache Spark и Oracle GoldenGate

Ключевые преимущества✓ Легко начать интуитивный веб-

интерфейс

✓ Гибкость движок может работать самостоятельно или на Spark

✓ Интеграция с GoldenGate для загрузки потоков изменений СУБД

Cap

ture

Trai

l

Ro

ute

De

live

r

Pu

mp

GoldenGate

CQL SparkSQL MLLib

Oracle Stream AnalyticsEvents &Cloud Apps

BusinessDashboard

Page 30: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 31

Отправка данных для мониторинга активности Download demo

Page 31: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 32

Oracle Metadata Management для управления данными

1. Business Glossary – простой инструмент ведения каталогов и иерархий

2. Metadata Management – горизонтальный и семантический анализ взаимосвязей любых данных

Business/Metadata Catalog✓ Связь отчета с источником

✓ Анализ Влияния

✓ Аудит, версионность, Сопоставление

✓ Работа команд, чаты

✓ Аннотации и метки

✓ Автоматический захват

Расширенный сбор данных✓ 3rd Party BI Metadata

✓ 3rd Party ETL Metadata

✓ 3rd Party DB Metadata

✓ 3rd Party Modeling Tools

✓ Hadoop & NoSQL Metadata

✓ Metadata Standards

Page 32: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 33

Oracle Enterprise Data Quality

33

Просто использовать

Высокая производительность

Разнообразные правила

Ключевые преимущества:

Инструмент доступный для бизнеса, подходит для больших и малых проектов

Подходит для сравнения записей в реальном времени данных приложений и мастерданных

Масштабируемые решения для решения различных задач по очистке данных

Oracle Enterprise Data Quality обеспечивает надежные бизнес данные предоставляя фундамент для профилирования и стандартизации данных, сопоставление и объединениявозможностей по очистке данных.

Лидер в Gartner Magic Quadrant и Forrester Wave:

Simple to start:• Health check for your data – quick and easy

setup for data profiling

• Intuitive business user friendly toolkit for building enterprise data quality rules

Profile, Standardize, Match, Merge and Cleanse your data DWMDM

Apps ETL

Page 33: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |Oracle Confidential

ПредставляемData Integration Platform

Cloud

Page 34: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Data Integration Platform Cloud

Solution Use Cases: Features:

StandardEdition

EnterpriseEdition

GovernanceEdition

• Database Migrations (offline)• Bespoke Data Marts• DW Automation (batch)• Database E-LT & ETL• Profiling & Lineage (basic)

Intuitive Web Dashboard & Service Home ✓ ✓ ✓

Bulk Data Movement & Transformations ✓ ✓ ✓

Basic Profiling with SaaS & PaaS Connectivity ✓ ✓ ✓

Admin, Monitoring, Basic Governance ✓ ✓ ✓

• Database Continuity• Database Migrations (online)• DW Automation (stream/batch)

• Real-time Reporting/Analytics• Big Data ETL (stream/batch)

Streaming Database Transactions ✓ ✓

Streaming ETL and Complex Transformations ✓ ✓

Native Big Data (stream/batch) Support ✓ ✓

Multi-Directional Database Replication ✓ ✓

• Data Profiling (advanced)• Data Cleansing (real-time/batch)• Data Lineage (comprehensive)• Audit and Repair, Workflow

Advanced Business Glossary and Business Rules ✓

Comprehensive Data Profiling & Cleansing ✓

Compliance, Audit and Case Management ✓

Data Lineage – Business, Vertical, Horizontal ✓

Oracle Confidential

Универсальные пакеты

Page 35: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential

Примеры задач

Page 36: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

DIPC Издания – Ключевые кейсы применения и функционал

Data Integration Platform CloudStandard

Core Use Cases▪ Data Warehouse and

Data Mart Integration▪ Data Migrations

Core Capabilities▪ Bulk Data Movement▪ ETL Transformations▪ Push-down Data Processing▪ Basic Data Profiling

▪ ODI-Enterprise Edition+ Data Profiling

Data Integration Platform CloudEnterprise

Core Use CasesStandard Edition plus:▪ Big Data Integration▪ Data Synchronization▪ ZDT Migrations▪ Active-Active▪ Real-time Data Warehouse

Core CapabilitiesStandard Edition plus:▪ Big Data & Streaming ETL▪ Real-time Replication/Streams

Standard Edition Plus:▪ GoldenGate (all)▪ ODI for Big Data

Data Integration Platform CloudGovernance

Core Use CasesEnterprise Edition plus:▪ Data Health Check▪ Enterprise Data Cleansing▪ Data Lineage (Phase 2)

Core CapabilitiesEnterprise Edition plus:▪ Data Profiling & Validation▪ Match & Merge▪ Glossary & Lineage (Phase 2)

Enterprise Edition Plus:▪ Enterprise Data Quality▪ Metadata Mgmt (Phase 2)

Sold as an option of Enterprise

Page 37: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. 38

DIPC Решаемые задачи

Database record level

sharding

Высокаядоступность

Multi-Region Cloud

Availability (Oracle or Amazon)

Active-Active Databases

Migrate from Amazon RDS to

Oracle Cloud

Миграцииданных

PeopleSoft or Workday into Fusion HCM

Oracle Database Migrations into

12c

Customer 360 from Salesforce or Sales Cloud

Хранилища и витрины

Marketing Analytics on Big

Data Cloud

Move a Data Warehouse into

the Cloud

Streaming ETL for Data Pipelines

Потоковая интеграция

3 Kinds of Data Lineage for LoB

and IT Users

Serving Layer for Raw Data

Access

Prepared Data Subscriptions

for LoB

Управлениеданными

Data Catalog and Policies

DataProfiling and

Cleansing

Page 38: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 45

• Съездите за покупками в Ашан

• Оплатите покупки картой Сбербанк или ВТБ24

• Проверьте задолженность по налогам в ФНС

• Позвоните родителям с помощью Tele2 или Мегафон

• Получите cashback в банке Открытие или Тинькофф

• Посмотрите курс акций на ММВБ

• Измените свой профиль или добавьте новый skill вLinkedIn.com

• Купите в Starbucks латте с помощью карты лояльности

• Заплатите за покупку с помощью PayPal

• Кликните на Google AdWords ссылку

• Выберите рекомендованный продукт в EBay.com

• Купите песню в Apple iTunes

• Забегите за хлебом в Пятерочку

• Получите ОСАГО в Росгосстрах

Рядом с нами

Page 39: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

Page 40: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Oracle Confidential – Internal/Restricted/Highly Restricted47

Page 41: Oracle Confidential Internal/Restricted/Highly Restricted 1naumen.by/images/events/OracleDay2018/Oracle-Open... · Metadata Management Data Quality Все уровни интеграции

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

Демонстрация

Oracle Confidential – Internal/Restricted/Highly Restricted 48

Download demo