Подход Oracle к управлению метаданными для аналитических...

Управление метаданными

Александр РындинВедущий консультант,Oracle СНГ

2 декабря 2014г.

Copyright © 2014, Oracle and/or its affiliates. All rights reserved.

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |

Программа

� Обзор новостей технологий интеграции данных Oracle

� Новости Oracle GoldenGate

� Новинка Oracle Enterprise Metadata Manager

� Новости Oracle Data Integrator

� Новости Enterprise Data Quality


Big Data Reservoir – видение Oracle

4

Перенос в реальном времени– Минимальное влияние на

источник, stage в Hadoop или

Oracle

– Непрерывная доступность

Трансформация данных– Пакетный перенос данных

– Обработка данных Pushdown

Федерация данных– Виртуальные сервисы данных

Качество и проверка данных– Решаем проблемы на источнике

– Проверяем консистентность

Управление метаданными– Lineage и Impact анализ

– Семантический бизнес-словарь

Data GovernanceFoundation

Oracle Data Integrator(Трансформация)


Enterprise Data Quality(Profile, Cleanse, Match and De-duplicate)


FastLoad

Oracle GoldenGate(Перенос)


Enterprise Metadata Management & Business Glossary(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)


Data Service Integrator(Федерация)


GoldenGate Veridata(Online проверка)


ELT Processingon Hadoop or SQL

Continuous Availability

In-MemoryGrid


Отличительные черты Oracle Big Data Reservoir

Динамический перенос данных– Real-time CDC по умолчанию, не

ETL

– Наименее нагружает источник

– Проверенная лучшая скорость

– Integrated Oracle capture/apply

Нет движка ETL– Перенос обработку к данным, а

не наоборот

– Используем Ваши движки для

выполнения работы

(Hadoop or SQL)

Лучшая гетерогенность– Используем открытый Hadoop (не

проприетарный)

– Hadoop – вот Hub, а не ETL tools

– Открытые стандарты метаданных

Data GovernanceFoundation





FastLoad









ELT Processingon Hadoop or SQL

Continuous Availability

In-MemoryGrid

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Гетерогенный резервуар

6

Flume

Hive on MR, Tez, Spark

Logs

OLTP DB

SQOOP

OGG

Pig on MR, Tez, Spark

ODIODI

SQOOP/

Big Data Connectors/

Big Data SQL Any DW

OGGOGG

Spark

OozieOozie

OEDQOEDQ OEMMOEMM

Проверка и

очистка данных

Управление

метаданными

API/File

Hive/HCat,

HDFS,HBaseHive/HCat,

HDFS,HBase

NoSQL

Flume


Программа





Как работает GoldenGate

Source

Oracle & Non-Oracle

Database(s)

Target

Oracle & Non-Oracle

Database(s)

Захват: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах

(online, arc).

Trail: записываем данные для маршрутизации.

«Pump»: передает данные на целевую систему

Маршрутизация: данные могут быть сжаты и зашифрованы

CaptureTrail

Files Pump Delivery

LAN / WAN / Internet

Over TCP/IP

Trail

Files

Доставка: применяет данные с

транзакционной целостностью


Режимы работы GoldenGate

• Extract

– Классический (обычный, ALO, на ADG)

– Интегрированный (обычный, real-time downstream, archivelog downstream)

• Replicat

– Классический

– Интегрированный

– Координированный


ОписаниеОписаниеУлучшениеУлучшение

Integrated Capture

Компрессия Захват изменений сегментов, сжатых EHCC, OLTP сжатием

Transparent Data Encrypt Захват зашифрованных данных

Distributed Transactions XA-RAC, PDML

RAC, XAG, Standby Простое внедрение в RAC, Standby

XML XML as CLOB, XML Object-Relational, XML Binary, XML Type Tables

LOB (basic, secure) Практически все захватывается из журнала

REDO Processing Многопоточная обработка журналов

Deployment Развертывание в локальном и downstream-режиме

DDL Захват DDL-изменений без триггеров

User-Defined Types ANYDATA, SDO_GEOMETRY


Integrated Extract – локальный режим

База данных и процесс Integrated Capture на одном сервере

User/Application changes

Record

changesCapture

changes

Redo Logs

Capture

Integrated

ExtractOracle Database

Trail

File…..

Source Machine

LCR1

LCR2

LCR3

….

….

….

Logical Change

Records


Integrated Extract –Downstream режим, real-time


Record

changes

Redo Logs Integrated


Trail

File

Source Machine

База данных источника и Integrated Capture на разных серверах

Standby

Redo LogsOracle Database

Downstream Machine

…..Continuous

REDO

Shipping

Capture

changes

LCR1

LCR2

LCR3

….

….

….

Logical Change

Records

Capture


Integrated Extract – Downstream в архивном режиме


Record

changes

Redo Logs

Cap

ture Integrated


Trail

File

Source Machine

База данных источника и Integrated Capture на разных серверах

Archive Logs

Oracle Database

Downstream Machine

…..

Capture

changes

LCR1

LCR2

LCR3

….

….

….

Logical Change

Records

Capture


Prior to OGG 12c - High Volume Replication

Trail

Files

Delivery

Delivery

Delivery

Delivery

Customer

defined

split

SQL

SQL

SQL

SQL

Target

Oracle and Non-Oracle Databases

GoldenGate

Delivery

14

MAP sales.acct1, TARGET sales.acct1;

MAP sales.acct2, TARGET sales.acct2;MAP sales.acct2, TARGET sales.acct2;

MAP sales.acct3, TARGET sales.acct3;


DescriptionDescriptionCategoryCategory

Integrated Replicat

Parallel Apply Многопоточный процесс

Full Transaction Consistency Многопоточное применение транзакций не отменяет согласованность

DDL+DML DDL корректно применяется в многопоточном режиме

User-Defined Types ANYDATA, SDO_GEOMETRY


Integrated Replicat

Replicat

• Читает trail file

• Создает logical change records

(LCRs)

• Передает LCRs в Oracle Database

через Lightweight Streaming API

Inbound Server (Database Apply Process)

• Receiver: Читает LCRs

• Preparer: Вычисляет зависимости между транзакциями (первичный ключ,

уникальный индекс, внешний ключ) , группирует транзакции, сортирует с учетом

зависимости

• Coordinator: Координирует транзакции, управляет порядком работы applier

• Applier: Применяет назначенные транзакции, включая разрешение конфликтов и

обработку ошибок.

Trail

FilesReplicat

Lightweight

Streaming

API

Receiver Preparer Coordinator

Inbound Server

Applier N

Applier 2

Applier 1

Oracle Database


Coordinated Delivery для сторонних баз данных

Trail

Files

Thread

Thread

Thread

Thread

Админ

определяет

распределение

SQL

SQL

SQL

SQL

С точки зренияадминистратородин процесс

GoldenGate координирует

потоки для барьерных операций

Target

Oracle and Non-Oracle Databases

GoldenGate

Delivery

MAP sales.acct1, TARGET sales.acct1,

THREAD(2);

MAP sales.acct2, TARGET sales.acct2,

THREAD(3);

MAP sales.acct,3 TARGET sales.acct3,

THREADANGE(4-9);


Тесная интеграция с Oracle CoherenceОбзор

• GoldenGate Coherence Adapter

запускает на базе данных источника

• Зафиксированные изменения

реплицируются в реальном

времени из источника в Coherence

через адаптер

• Интеграция с Coherence

обеспечивается с помощью TopLink

extensions

Oracle Coherence Grid Edition 12.1.2

Oracle & Non-Oracle Database(s)

Capture

Cohe

renc

eA

dapt

er

Trail

Files

Oracle TopLink

Reads/Writes Initiated

By Coherence

Third Party

DML Operations


Oracle GoldenGate Veridata 11.2/12c Components & Flow Communications and Startup

Сравнение меняющихся данных происходит в два этапа:

1. Начальное сравнение

2. Подтверждение расхождения

Target

Database

Source

Database

Veridata

Repository

Web Client

Veridata AgentVeridata AgentVeridata Agent

Veridata AgentVeridata AgentVeridata Agent

JDBC

JDBC

Veridata

Web Server

Command Line

(Vericom)

JDBC

TCP/IIP

TCP/IIP

TCP/IIP

HTTP

Agent Hashes Row

& Sends PK + Hash

Server Sorts Rows,

Compares Hash,

Generates COOS

OGG


New for Veridata 12.1.3

• Восстановление гетерогенных данных

• WLS 12.1.3 / Single Sign on

• SSL and IPv6 for Agents

• Шифрование отчетов (.rpt, .oos, .oosxml)

• Удаление старых отчетов

• Инструмент для скриптования (Load config API)

Oracle Veridata - Now & Later

Veridata Today

• Высокоскоростное, гетерогенное сравнение

• Низкое влияние: не блокирует; хэширование и сортировка не в базе

• Подмножество строк/столбцов; хранит историю аудита; визуализирует


Программа





Ценность Enterprise Metadata Management

22

ETL

BI

DashboardsApp

ETL

ETL

Каким образом

рассчитывали

объем продаж?

Что будет если я

изменю эту

таблицу?

Какие отчеты

используют

данные

мэйнфреймов?

Системный

администратор

Руководитель

BI Разработчик

Откуда пришли

эти данные?

Пользователь

приложений

Какие отчеты

используют

информацию о

клиенте?

CDC

Hadoop

Data Lake

Data Steward

Могу ли я доверять

этой информации

о клиенте?

ETL

разработчик

Решает большое количество серьезных задач для различных бизнес-пользователей и технических специалистов

Я хочу спроектировать

эксперимент, для измерения

успешности регистрационной

страницы. Какими данными я

располагаю?

Data Scientist

GG


Oracle Enterprise Metadata Management

Доверие к данным

Руководители Информационные панели / Отчеты

!=!=!=!=

!!!!!!!!!!!!????????????

•Информационные панели не совпадают с отчетами?

•Откуда эти данные?

•Могу ли я доверять другим отчетам?


Oracle Enterprise Metadata Management

Происхождение данных и взаимосвязи

DBA’s / ETL / BI разработчики Управление данными / Среда разработки

•Что если я изменю этот столбец?

•Какое влияние имеет мой ETL маппинг?

•Где мне брать данные?

???????? !!!!!!!! ????????


Представляем Oracle Enterprise Metadata Management


Что такое метаданные

• Метаданные – это данные о данных.

• Метаданные создаются, когда данные создаются, извлекаются, добавляются, удаляются, изменяются в любом источнике данных

• Метаданные – неотъемлемая часть хранилищ данных, особенно Big Data хранилищ

26


Ценность метаданных

• Повысить доходность и ценность• Создать «продаваемый» информационный продукт

• Использовать информационные активы для новых продаж

• Лучше понимать клиентов и продукты

• Сократить стоимость и сложность• Снизить дублируемость данных

• Снизить дублируемость процессов обработки данных

• Снизить вероятность ошибки

• Снизить риски и повысить уверенность• Повысить уверенность бизнеса в данных

• Снизить стоимость аудита

• Снизить репутационные риски

27

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 28

Big Data BI - ОтчетногстьСобытия

Полезная информация

Пр

ои

схож

де

ни

е д

ан

ны

хП

ро

исхо

жд

ен

ие

да

нн

ых

Ан

ал

из

вл

ия

ни

яА

на

ли

з в

ли

ян

ия

ETL Качество данных

Интеграция данных

Потоки данных Интеграция Исследование

Файлы Облака

Источники данных

Big Data Реляционные Приложения

Бизнесс

глоссарий

Репозиторий

метаданных

Семантически

е карты

Oracle Metadata Management Логическая архитектура

Управление

метаданными


Исследование Метаданных

� Текстовый поиск и Браузер Метаданных

� Визуализация моделей/Диаграм, Общий обзор, Отчетность по метаданным

� Анализ потоков и происхождения данных

Соответсвие закону Сарбейнса Оксли

� Версионность и сопоставление моделей

� Обратный вызов по URI из отчетов BI или бизнес-приложений

Стратегическое управление

� Комментарии, обратная связи и экспертный совет

� Связка метаданных с ярлыками

� Мультимедийные приложения(документы, видео, презентации, коды)

� URL референсные ссылки на e-mail, блоги, социальные сети

Возможности Oracle Metadata Management Управление жизненным циклом

� Сбор метаданных из любых DM, DW, ETL/DI, BI инструментов и Big Data/Hadoop

� Управление Корпоративной Архитектурой(Управление конфигурацией метаданных)

� Оценка влияния изменений

Стандартизация и управление данными

� Поддержка различных стандартов управления метаданными

� Аннотации и метки

� Бизнес-глоссарий и происхождение данных

Интегрированно с продуктами Oracle

� Oracle Database

� Oracle Data Integrator, Oracle GoldenGate

� Oracle Business Intelligence Enterprise Edition

� Oracle Business Intelligence Applications(ODI and older Informatica based OBIA)


Oracle : Наиболее открытый и гетерогенный

30

� Hadoop HBase

� Hadoop Hive/Flume

� HP Enscribe

� HP NonStop

� HP Neoview

� Hypersonic SQL

� IBM DB2 i Series

� IBM DB2 UDB

� IBM DB2 z Series

� IBM Informix

� IBM Netezza

� JMS / MQ

� Microsoft Access

� Microsoft SQLServer

� MySQL

� Pivotal Greenplum

� PostgreSQL

� Salesforce.com

� SAP BW / BI

� SAP ERP / ECC

� SAS

� SQL/MP

� SQL/MX

� Sybase ASE

� Sybase IQ

� Teradata

� Adaptive

� Altova

� Apache Hcatalog

� Apache Hive/HQL

� Borland

� CA ERwin

� Cloudera Impala

� COBOL Copybook

� DataStax

� Embarcadero

� EMC ProActivity

� GentleWare

� Google BigQuery

� Grandite

� Hadapt Hive

� Hortonworks Hive

� IBM Cognos

� IBM DB2

� IBM DataStage

� IBM Discovery

� IBM Federation Server

� IBM Lotus Notes

� IBM Netezza

� IBM Rational Rose

� IBM Rational Architect

� Informatica Metadata Mgr.

� Informatica PowerCenter

� CoSORT

� ISO SQL Standard (DDL)

� MapR Hadoop Hive

� MicroFocus

� Microsoft Access

� Microsoft Office Excel

� Microsoft Visio

� Microsoft SQL Server

� Microsoft SSIS

� Microsoft Visual Studio

� Microstrategy

� Magic Draw

� OMG CWM Standard

� OMG UML Standard

� Oracle BI Answers

� Oracle BI Enterprise Edition

� Oracle BI Server

� Oracle DAC

� Oracle Data Integrator

� Oracle Data Modeler

� Oracle Database

� Oracle Designer

� Oracle Hyperion Applications

� Oracle Hyperion Essbase

� Oracle Warehouse Builder

� Pivotal Greenplum

� PostgreSQL

� QlikView

� SAP BO Crystal Reports

� SAP BO Designer

� SAP BO Desktop Intelligence

� SAP BO Repository

� SAP BO Data Integrator

� SAP BO Data Steward

� SAP Master Data Management

� SAP Sybase PowerDesigner

� SAP Sybase ASE Database

� SAS Data Integration Studio

� SAS BI Server

� SAS Information Map

� SAS Metadata Management

� SAS OLAP Server

� Select

� Sparx Architect

� Syncsort

� Tableau

� Talend

� Teradata

� Tigris

� Visible

� W3C DTD & XSD Schema

Операционная интеграция (Перемещение и трансформации) Сбор метаданных (Глоссарии, взаимосвязи, анализ влияния))

� Oracle Database

� Oracle Exadata

� Oracle Big Data Appliance

� Oracle TimesTen

� Oracle OLAP

� Oracle Business Intelligence

� Oracle BI Applications

� Oracle E-Business Suite

� Oracle JD Edwards Enterprise One

� Oracle JD Edwards World

� Oracle Fusion Applications

� Oracle Governance Risk and Compliance

� Oracle Fusion AIA

� Oracle Retail Applications

� Oracle Agile BI / DW

� Oracle Agile PLM for Process

� Oracle iFlex FlexCUBE

� Oracle iFlex Mantas

� Oracle Hyperion Applications

� Oracle PeopleSoft

� Oracle Siebel CRM / OnDemand

� Oracle Communications

� Oracle WebLogic Server

� Oracle Coherence Data Grid

� Oracle SOA Suite

� Oracle Enterprise Service Bus+ open APIs and standards

based meta-model

+ open APIs and standards

based meta-model


Metadata Harvesting from all Popular Platforms


OEMM Домашняя страница с панелью репозитория и закладками

Веб-приложение с

прикрепленным репозиторием метаданных


Графический браузер диаграмм моделей данных

Просмотрщик метаданных

позволяет получить как

общую картину так и детали

zoom-in / zoom-out по по всей комплексной

модели метаданных


Поиск по ключевым словам по всем метаданным

Полноценный текстовый

поиск позволяет

легко осуществлять навигацию по

большим моделям

метаданных


Версионность моделей и возможность сопоставления

Легко группировать и

сравнивать модели данных однородных баз

данных или между

различными версиями для определения

значимых изменений


Портал для совместной работы разработчиков

Полнофункциональная работа команд

включает поддержку

Анализа жизненного

цикла условия и домены


Архитектура потоков данных от начала и до конца

Визуализация взаимодействая

систем Графическое

представление аннотаций и

границ систем


Визуализация расчетов систем визуализации

Детализация формул и расчетов,

отображенные напрямую из

движков ETL иBI отчетов


Просмотр истории происхождения данных

Визуализация колонок и

зависимости на уровне шагов

расчета показателей

между различными системами,

базами данных и отчетных

форм


Встроенный Бизнес-глоссарий (не отдельный модуль)

Выходя за пределы словарей

базы данных, ссылается на

бизнес-термины

метаданных и систем


Политики бизнес глоссария и референсных данных

Для ключевых таблиц и

диапазонов значений ,

ассоциирует с глоссарием

метаданных с актуальными

терминами данных,

типами и взаимосвязей

Подход Oracle к управлению метаданными для аналитических...

Technology

Transcript of Подход Oracle к управлению метаданными для аналитических...