Oracle Confidential Internal/Restricted/Highly Restricted...
Transcript of Oracle Confidential Internal/Restricted/Highly Restricted...
Oracle Confidential – Internal/Restricted/Highly Restricted 1
Новости OOW по интеграции данных
Дарья АлешковаМенеджер по продуктам интеграции СНГ
22 ноября, 2018
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved.
Мы должны двигаться вперед
имея данные и учиться управлять на основе данных
Управления информацией как основа бизнеса
3
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. 4
Приложений Инфраструктуры Аналитики
Интеграция для Интеграция для Интеграция для
Единая технологическая платформа (PaaS)
ApplicationIntegration
APIManagement
ProcessIntegration
StreamProcessing
DataReplication
Bulk DataETL & E-LT
MetadataManagement
DataQuality
Все уровни интеграцииОбъединенное решение для всех интеграционных нужд
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Интеграционные решения для бизнеса
Oracle Confidential
Единое окно– Для управления и мониторинга
Единая платформа– Для любых задач интеграции
0-Кода – Разработка мышкой
Полная– Поддержка гибридных платформ
API MGMT. &DATA GOVERNANCE
STREAMINTEGRATION
DATA INTEGRATION
APPLICATION INTEGRATION
BULK DATA & FILE TRANSFER
BUSINESS PROCESS
SELF-SERVICE AUTOMATION
Engage
Build
Integrate
Secure
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Инновационные Технологии
#1#1
Realtime / StreamingData Integration Tool
Pushdown / E-LTData Integration Tool
1st to certify replication withStreaming Big Data
1st to certify E-LT tool withApache Spark/Python
1st to power Data Preparationw/ML + NLP + Graph Data
1st to offer Self-Service &
Hybrid Cloud solution
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 7
Создание копии данных для анализа данных одной системы Oracle Active Data Guard
7
Мгновенная эластичность DR
Быстрое переключение на резервную копию
Используйте Резервную копию для отчетности
Клонирование Тестовых и разработческих сред
Перенос резервных СУБД в Облако
Простая физическая репликация
Возможны репликации на любые расстояния с Far Sync
www.oracle.com/technetwork/database/availability/dr-to-oracle-cloud-2615770.pdf
Локальные СУБДOracle 11.2 и старше
Active Data GuardРезервная СУБД
Test/Dev
Отчетность
Oracle Active DataGuard основа для построения высоко доступных решений на Oracle Database,предоставляя мгновенное аварийное восстановление, физическая репликация, и доступный на чтение резервный сервер для целей отчетности.
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
Каковы современные тренды?
Source Data Потребители
#1 – Загрузка в любой момент доступности
данных
#2 – Обработка с любой задержкой
#3 – Данные доступные в формате, удобном для
потребителя
Загрузка сырых
данных
Потоковая обработка
Пакетная обработка& Долгосрочное хранение
Сервисныйслой
#4 – Serverless Инфраструктура#5 – Data at rest на Object Storage
Application Data
Polyglot Data
SQL & NoSQL Data
Data Lake & Data Science
Сервисы данных для приложений
Аналитика и отчетность
8
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
Что такое современная загрузка данных?
Загрузкасырых данных
Копирование данных это плохо, но перегрузка источника хуже• Физическое совмещение данных – это обычно первый шаг в Data Lake• Оптимизация для минимального влияния на источники• Репликация измененных данных – это лучшая опция для баз данных
Event driven – обзательно в новом мировом порядке• Переносим данные тогда, когда возможно и не ждем job scheduler• Некоторые данные должны обрабатываться пакетно
Поддержка ключевых стилей виртуализации и переноса данных • Параллельное копирование для файловых данных• Репликация для реляционных данных• Пакетное извлечение или storage репликация для полной копии• Федерация данных/Виртуализация «хорошо иметь», но не все
источники могут хорошо работать
Первоначальная загрузка подчиняется законам физики• Загрузка терабайтов занимает время• Оптимизация для пакетных программ загрузки или big data программ• Магии не существует
Bulk Copy Utilities
Исходные данные
Application Data
Polyglot Data
SQL & NoSQL Data
9
#1 – Загрузка в любой момент доступности
данных
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
GoldenGate – современный инструмент
https://www.oracle.com/us/products/middleware/data-integration/oracle-goldengate-innovations-wp-5093027.pdf
НЕРЕЛЯЦИОННЫЕ ДАННЫЕ
ИНТЕГРАЦИЯ С ЯДРОМ
УДАЛЕННЫЙ ЗАХВАТ
УПРОЩЕНИЕ
МИКРОСЕРВИСЫ
КОНТЕЙНЕРЫ
МОНИТОРИНГ
ПОТОКОВАЯ АНАЛИТИКА
ОБЛАКА
ПОДПИСКА
GOLDENGATE ДЛЯ ПОТОКОВОЙ ОБРАБОТКИ
BIG DATA:
10
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
Что такое современная обработка данных?
#2 – Обработка с любой задержкой
Потоковая обработка
Пакетная обработка
Pipeline Editor
Object Storage
Потоквые Use Cases• Clickstream аналитика• Рекомендательные движки• Обнаружение мошеничества
Pipeline “Logic” Layer• Создаем data pipelines, правила
и встраиваем Machine Learning• Архитектурная изоляция:
независимость от движка• Повышение usability для
аналитиков
Потоковые движки• Предпочтение Oracle: Flink для
реальной потоковй обработки,Spark Streaming для микробатчей и ML
• Другие: Storm, Kafka Streams, Samza или проприентарный
Пакетные Use Cases• ETL Offloading• Загрузка Data Lake• Масштабируемая аналитика
Пакетная (MPP) обработка• Движки: Spark для большинства,
Hive или Flink в некоторых случаях• Хранение: Object Storage
Интерактивный доступ• SQL для прямых запросов к
большим объемам данных:• Hive SQL (простые)• Spark SQL (простые)• Sparkline OLAP
(расширенные)• Machine Learning & Graph
• MLlib• PGX, GraphX
* In your own data center you can have mixed workloads run from same physical clusters (ie; Kappa-style) but from the Cloud you should only pay for what you use and not care how the infrastructure is managed…
11
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
Что такое современный сервисный слой?
Сервисныйслой
Streaming API для Real-Time данных• Publish and Subscribe (Kafka) с дружественными REST APIs• Основанный на REST означает, что API Gateways может быть
использован для настройки ACLs• HTTPS передача и отсутствие файлового доступа • Data redaction на уровне API / contract level
SQL-based доступ для интерактивной отчетности• Пакетный перенос данных (ETL) во внешний dw/data marts• Прямой SQL доступ к данным в Data Lake (Spark OLAP)
• Наиболее распространен• Интеграция с LDAP для безопасности
Прямой доступ к сырым данными для специалистов• Прямой доступ к object storage или HDFS• Особенно полезно для ML / AI программ
• Прямой доступ без необходимости перемещать данные
• Локальные доступ выдается на объектном уровне (например, файл данных)
Потребители
Data Lake & Data Science
Data Services for Applications
EDW & Analytics for Reporting
SQL
12
#3 – Данные доступные в формате, удобном для
потребителя
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
Что такое современная инфраструктура?
#4 – Serverless Инфраструктура#5 – Data at rest на Object Storage
OCI Compute
Загрузка
Поток
Пакет
Сервис
Public Cloud Infrastructure устанавливаем стандарты низкой стоимости и высокой производительности• Платим только за использование, serverless стиль работы снижает нагрузку с клиентов• Быстрый compute сервисы и «плоская» сеть дает 5x прирост производительности *
• Очень низка стоимость хранения с практически бесконечной надежностью 99.999999%
OCI Object Store
Источники данных
Application Data
Polyglot Data
SQL & NoSQL Data
Потребители
Data Lake & Data Science
Data Services for Applications
EDW & Analytics for Reporting
13
* https://blogs.oracle.com/cloud-infrastructure/oracle-tests-better-in-performance-than-amazon-web-services
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
Современный подход
Источник данных ПотребителиЗагрузка сырых данных
Потоковая обработка
Batch Processing& Long Term Storage
Application Data
Polyglot Data
SQL & NoSQL Data
Data Lake & Data Science
Data Services for Applications
EDW & Analytics for Reporting
Bulk Copy Utilities
Пакетная обработка
Pipeline Editor
Object Storage
Сервисный слой
SQL
ЛЮБЫЕ
ДАННЫЕ
ЛЮБАЯ
ЗАДЕРЖКА
ЛЮБОЙ
ФОРМАТ
В ЛЮБОМ
МЕСТЕ
14
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
Современный подход? Oracle Cloud
Источник данных ПотребителиЗагрузка сырых данных
Потоковая обработка
Batch Processing& Long Term Storage
Application Data
Polyglot Data
SQL & NoSQL Data
Data Lake & Data Science
Data Services for Applications
EDW & Analytics for Reporting
Bulk Copy Utilities
Пакетная обработка
Pipeline Editor
Object Storage
Сервисный слой
SQL
Oracle Data Pipelines
Oracle Data Integration
Oracle Big Data
OracleEvents
Hub
OracleData
Integration
OracleDatabase
OracleEvents
Hub
Oracle Big Data
Oracle Cloud
15
ЛЮБЫЕ
ДАННЫЕ
ЛЮБАЯ
ЗАДЕРЖКА
ЛЮБОЙ
ФОРМАТ
В ЛЮБОМ
МЕСТЕ
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
GoldenGate для Kappa / Streaming
Слойсырых
данных
Слой приложений Скоростной слой
Пакетный слой
Application
Сервисныйслой
RESTAPIs
AnalyticsTools
DataScience
Data Marts
GG GG
UserUpdates
DBMSUpdates
Cap
ture
Trai
l
Ro
ute
De
live
r
Pu
mp
SSL/HTTPS
JSONORCCSV
ParquetXML
DDLEvents
PreparedData
PreparedData
EBay обрабатывает 200 млрд tx в день; более 25 TB изменений в день через
GoldenGate и задержка составляет менее 2 seconds (Flink)
LinkedIn использует GG на >200 базах в 5 ЦОД по всему миру
(Samza для обработки)
Quickbooks.com использует GG дляOracle, SQL Server иd DB2, работащих в
AWS (GG+Kafka как фабрика данных, питающая data science/ML платформу)
Apple iTunes использует GG+Kafka для загрузки транзакций в 5,000+ узловой
Data Lake (для data science)
General Motors использует GG+Kafka иGG+S3 для переноса транзакций из 600+
баз в их Data Lake
Maersk использует GG+Kafka для realtime IoT отслеживаний посылок
(таможня в том числе)
MGM переносит всю IT data architecture на GG+Kafka для streaming
Проверено передовыми клиентами: Kappa ETL архитектура• Мы видим множество клиентов GG использующих различные
потоковые движки: Spark Streaming, Flink, Kafka Streams, Apex/DataTorrent, Samza, Kinesis Firehose, Storm, etc.
Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld 2018
16
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Cap
ture
Trai
l
Ro
ute
De
live
r
Pu
mp
17
Консолидация данных из гетерогенных источников. Oracle GoldenGate
GoldenGate
Database as a Service
Hadoop as a Service*
DatabaseCloud Service
ExadataCloud Service
Big DataCloud Service
GGCS
GGCS
GoldenGate Cloud Service
✓ Репликация в реальном времени в Oracle Cloud по продписке или по часам
Преимущества
✓ Измененные данныедоставка только измененных данных более эффективна чем пакеты
✓ Без потерь надежный и провереный инструмент
✓ В реальном времени всегда актуальные данные
Гетерогенность
✓ Миграция и доставка с СУБД и Облаков 3х поставщиков
3rd Party Cloud
GoldenGate
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 19
Бизнес цели GG 12.3
Простота Управляемость Скорость
Микросервисы
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate 12.3
Новое поколение GoldenGate Service Architecture Масштабируемое, основанное на REST управление, микросервисная архитектура
Oracle Database Sharding Support Active-active репликация между Shard Groups
Автоматическое обнаружение конфликтов и их разрешениеВстроенное CDR для Oracle без необходимости менять приложение
Generic JDBCДает возможность реплицировать в любую базу с JDBC драйвером
Гетерогенное развитиеПоддержка DDL в MySQLУдаленный захват и применение для z/OS
Cloud! Cloud! Cloud!Cloud@Customer and ExaCS
Parallel ApplyEnables support for multiple source files and offload the parallelism to separate server
Расширенная поддердка Big Data и NoSQLАдаптеры для Cassandra, MongoDB, Kinesis, Kafka
Oracle Confidential – Internal/Restricted/Highly Restricted
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Discovery
RESTful API for Producers and Subscribers (events are pushed)
Raw Data Topics
Schema Event Topics
Data Pipeline
(ETL)Prepared
Data TopicsMaster Data
Topics
Data Pipeline
(ETL)
1,000’s 100’s 10’s
Oracle Open World 2015 21
AppDB
AppDB
AppDB
ERP
OperationalData Store
EDW
Staging Prod
ETL
ETL
ETL
ETLETL
MartMart
Mart
ETL
Enterprise BI
MartMart
Mart
ETL
Departmental BIDiscovery
AppDB
AppDB
AppDB
ERP
WebApps
Mobile
EDWNoSQL
Hadoop / Spark
Marts Marts
Less Governed --------------------------------------------------------------- More Governed
Enterprise BI
Departmental BI
Apps / Mobile
Classical Data Management: Hub and Spoke• Invasive on Sources• High Latency / SLA• Mainly Relational Views• Heavy IT process overhead• Vendor-centric software
Next-Gen: Streaming Databus/Kappa• Low impact on Sources• Low Latency (< 1 second)• Variety of Data Formats• More Agile DevOps processes• Open source centric software
GoldenGate
MDMHub
Новые тенденции в построении хранилищ и озер
• ODS & ETL Hubs• EDW/Mart Hubs• MDM/RDM Hubs• Static Data Lake Hubs
• Pub/Sub for Staging• ETL in Pipelines• Analytics/CEP in Stream• Data is in Motion
NoSQL / APIs
ТРАДИЦИОННАЯ:
СЛЕДУЮЩЕЕ ПОКОЛЕНИЕ:
Less Governed ---------------------------------------------------- More Governed
Physical Layer for ETL Pipelines = MPP Streaming (eg; Apache Spark Streaming)
Physical Layer for Events = MPP Messaging (eg; Apache Kafka)
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Почему Oracle Data Integrator?
22
• Чтобы дать реальную гибкост и точность
• Чтобы легко переходить между платформами и стилями обработки данных
• ODI’s EL-T архитектура важна при работе с большими объемами
• ODI умеет выполнять pushdown любых трансформаций данных в Data Lake
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Oracle Data Integrator 12.2.1 – PS2+
Oracle Confidential – Internal 23
• Big Data• Spark Streaming Support
• Hive Complex Type
• Hive Storage Format Support
• Hadoop Usability Enhancements (Phase 2)
• Mongo DB
• Cloud• RESTful Services
• BICS
• Amazon Redshift
• Lifecycle Management• Git
• Smart Merge
• ETL Enhancements• Unified KM Editor
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 24
Построение Озера данных. Oracle Data Integrator
On Premise
ODI
SaaS Apps
Oracle Data Integrator
ODI CS
JavaCloud Service
DBCS
ExadataCloud Service
StorageCloud Service
Business IntelligenceCloud Service
Data Integrator в Облаке✓ Внедряй ODI где удобнее и
запускай ETL там где хранятся данные
Ключевые преимущества✓ Интегрирован с OPC
✓ Гибкое внедрение архитектура позволяет подгатавливать данные локально, в Облаке или на Big Data
✓ Широкий список коннекторовлюбые источники приложения или СУБД
Независимость
✓ Гибкий логика трансформации не зависит от технологии, вычисляй там где выгодно
Big Data CS
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Лидер по производительностиЭкстремально быстрая обработка данных при низких затратах
E-LT представляет собой гибкую архитектуру для оптимальной производительности для любой платформы
Преимущества
▪ Использует преимущество трансформаций на основе внутренних функций Leverages set-based transformations
▪ Повыщение эффективности загрузки, снижение нагрузки на канал
▪ Использует преимущество существующей инфраструктуры: Как Серверов, так и ПО
Conventional ETL Architecture
Extract Load
Transform
Next Generation Architecture
“E-LT”
LoadExtract
Transform Transform
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Декларативный дизайнПовышение производительности разработки для быстрого получения результата▪ Легкий и универсальный для разработки как простых так и сложных преобразований
▪ Надежный и Переиспользуемый: Создавайте Маппинги один раз для любой физической имплементации
▪ Быстро определяем и перерабатываем маппинги, с высокой степени автоматизации
▪ Расширяемая модель для любых механизмов интеграции
Преимущества
▪ Существенно сокращает время обучения
▪ Быстро и легко разрабатывать, быстро внедрять
▪ Легко поддерживать
ODI Declarative Design
Define How: Knowledge Modules
21
Automatically
Generate
Dataflow
Define
WhatYou Want
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 27
Генерация Пакетов и Потоков из единого Мапинга
Batch (Hive, Spark) Streaming (Spark, Kafka, Cassandra)
Единый логическийдизайн
Гибкая реализация
Oracle Data Integrator
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 28
Референсная архитектура Oracle для построения Озера
Staging
Sqoop
HDFS
Hive
Flume
Cap
ture
Trai
l
Ro
ute
De
live
r
Pu
mp
Transformation
Model FirstAnalytics
• Oracle BIEE• SAS, Cognos / SPSS• Business Objects• Microstrategy
Discovery Sandbox/s Data FirstAnalytics
• Oracle Endeca• Tableau• Cliq• Spotfire
In-Motion Analytics& Data Services
• Vertical specific• Internet of Things
/ Telematics• Data monetization
HBase
R
Oracle GoldenGate
Oracle Data Integrator
Oracle Data Governance
Oracle GoldenGateC
aptu
re
Trai
l
Ro
ute
De
live
r
Pu
mp
Speed LayerStreaming Analytics
Speed Layer
Oracle Stream Analytics
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
BDS
29
Озеро Данных на примере клиента
Billing Support Systems
Operation Support Systems
Other Systems
Customer Relationship management
Roaming Systems Other
Systems
Active Standby Database
VPS
Production Database
sqoop
Data sources
Oracle Golden Gate
Active Data Guard
BDS
Oracle Data Integrator
Oracle Business Intelligence
Oracle Data Visualization
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 30
Oracle Stream Analytics для Больших Объемов Big DataПотоковая аналитика
✓ Анализ потоков данных в памяти
✓ Простой интерфейс для построения приложений
✓ Пред интегрирован с Oracle Spatial, Coherence, Apache Kafka, Apache Spark и Oracle GoldenGate
Ключевые преимущества✓ Легко начать интуитивный веб-
интерфейс
✓ Гибкость движок может работать самостоятельно или на Spark
✓ Интеграция с GoldenGate для загрузки потоков изменений СУБД
Cap
ture
Trai
l
Ro
ute
De
live
r
Pu
mp
GoldenGate
CQL SparkSQL MLLib
Oracle Stream AnalyticsEvents &Cloud Apps
BusinessDashboard
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 31
Отправка данных для мониторинга активности Download demo
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 32
Oracle Metadata Management для управления данными
1. Business Glossary – простой инструмент ведения каталогов и иерархий
2. Metadata Management – горизонтальный и семантический анализ взаимосвязей любых данных
Business/Metadata Catalog✓ Связь отчета с источником
✓ Анализ Влияния
✓ Аудит, версионность, Сопоставление
✓ Работа команд, чаты
✓ Аннотации и метки
✓ Автоматический захват
Расширенный сбор данных✓ 3rd Party BI Metadata
✓ 3rd Party ETL Metadata
✓ 3rd Party DB Metadata
✓ 3rd Party Modeling Tools
✓ Hadoop & NoSQL Metadata
✓ Metadata Standards
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 33
Oracle Enterprise Data Quality
33
Просто использовать
Высокая производительность
Разнообразные правила
Ключевые преимущества:
Инструмент доступный для бизнеса, подходит для больших и малых проектов
Подходит для сравнения записей в реальном времени данных приложений и мастерданных
Масштабируемые решения для решения различных задач по очистке данных
Oracle Enterprise Data Quality обеспечивает надежные бизнес данные предоставляя фундамент для профилирования и стандартизации данных, сопоставление и объединениявозможностей по очистке данных.
Лидер в Gartner Magic Quadrant и Forrester Wave:
Simple to start:• Health check for your data – quick and easy
setup for data profiling
• Intuitive business user friendly toolkit for building enterprise data quality rules
Profile, Standardize, Match, Merge and Cleanse your data DWMDM
Apps ETL
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |Oracle Confidential
ПредставляемData Integration Platform
Cloud
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Data Integration Platform Cloud
Solution Use Cases: Features:
StandardEdition
EnterpriseEdition
GovernanceEdition
• Database Migrations (offline)• Bespoke Data Marts• DW Automation (batch)• Database E-LT & ETL• Profiling & Lineage (basic)
Intuitive Web Dashboard & Service Home ✓ ✓ ✓
Bulk Data Movement & Transformations ✓ ✓ ✓
Basic Profiling with SaaS & PaaS Connectivity ✓ ✓ ✓
Admin, Monitoring, Basic Governance ✓ ✓ ✓
• Database Continuity• Database Migrations (online)• DW Automation (stream/batch)
• Real-time Reporting/Analytics• Big Data ETL (stream/batch)
Streaming Database Transactions ✓ ✓
Streaming ETL and Complex Transformations ✓ ✓
Native Big Data (stream/batch) Support ✓ ✓
Multi-Directional Database Replication ✓ ✓
• Data Profiling (advanced)• Data Cleansing (real-time/batch)• Data Lineage (comprehensive)• Audit and Repair, Workflow
Advanced Business Glossary and Business Rules ✓
Comprehensive Data Profiling & Cleansing ✓
Compliance, Audit and Case Management ✓
Data Lineage – Business, Vertical, Horizontal ✓
Oracle Confidential
Универсальные пакеты
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential
Примеры задач
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
DIPC Издания – Ключевые кейсы применения и функционал
Data Integration Platform CloudStandard
Core Use Cases▪ Data Warehouse and
Data Mart Integration▪ Data Migrations
Core Capabilities▪ Bulk Data Movement▪ ETL Transformations▪ Push-down Data Processing▪ Basic Data Profiling
▪ ODI-Enterprise Edition+ Data Profiling
Data Integration Platform CloudEnterprise
Core Use CasesStandard Edition plus:▪ Big Data Integration▪ Data Synchronization▪ ZDT Migrations▪ Active-Active▪ Real-time Data Warehouse
Core CapabilitiesStandard Edition plus:▪ Big Data & Streaming ETL▪ Real-time Replication/Streams
Standard Edition Plus:▪ GoldenGate (all)▪ ODI for Big Data
Data Integration Platform CloudGovernance
Core Use CasesEnterprise Edition plus:▪ Data Health Check▪ Enterprise Data Cleansing▪ Data Lineage (Phase 2)
Core CapabilitiesEnterprise Edition plus:▪ Data Profiling & Validation▪ Match & Merge▪ Glossary & Lineage (Phase 2)
Enterprise Edition Plus:▪ Enterprise Data Quality▪ Metadata Mgmt (Phase 2)
Sold as an option of Enterprise
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. 38
DIPC Решаемые задачи
Database record level
sharding
Высокаядоступность
Multi-Region Cloud
Availability (Oracle or Amazon)
Active-Active Databases
Migrate from Amazon RDS to
Oracle Cloud
Миграцииданных
PeopleSoft or Workday into Fusion HCM
Oracle Database Migrations into
12c
Customer 360 from Salesforce or Sales Cloud
Хранилища и витрины
Marketing Analytics on Big
Data Cloud
Move a Data Warehouse into
the Cloud
Streaming ETL for Data Pipelines
Потоковая интеграция
3 Kinds of Data Lineage for LoB
and IT Users
Serving Layer for Raw Data
Access
Prepared Data Subscriptions
for LoB
Управлениеданными
Data Catalog and Policies
DataProfiling and
Cleansing
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 45
• Съездите за покупками в Ашан
• Оплатите покупки картой Сбербанк или ВТБ24
• Проверьте задолженность по налогам в ФНС
• Позвоните родителям с помощью Tele2 или Мегафон
• Получите cashback в банке Открытие или Тинькофф
• Посмотрите курс акций на ММВБ
• Измените свой профиль или добавьте новый skill вLinkedIn.com
• Купите в Starbucks латте с помощью карты лояльности
• Заплатите за покупку с помощью PayPal
• Кликните на Google AdWords ссылку
• Выберите рекомендованный продукт в EBay.com
• Купите песню в Apple iTunes
• Забегите за хлебом в Пятерочку
• Получите ОСАГО в Росгосстрах
Рядом с нами
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.
Oracle Confidential – Internal/Restricted/Highly Restricted47
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Демонстрация
Oracle Confidential – Internal/Restricted/Highly Restricted 48
Download demo