Преимущества построения оперативной отчетности с...

27

Transcript of Преимущества построения оперативной отчетности с...

Page 1: Преимущества построения оперативной отчетности с помощью технологий Oracle
Page 2: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Oracle Business Analytics Аналитическая платформа от Oracle для real-time задач

Наталья ГорбуноваOracle CISНоябрь, 2014

Page 3: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Эволюция Business IntelligenceСмена парадигмы

Фокус

бизнеса

Основные

пользователи

Сроки

Модель

использования

Данные

Операционный BI

Управление и оптимизация повседневных

бизнес операций

Линейные менеджеры, работники фронт-

офисов, оперативные системы

Меньше дня

Событийное управление

Данные в реальном времени, с низкой

задержкой и исторические

Стратегический BI

Долгосрочные цели организации

Старшее руководство, аналитики

От месяцев до лет

Запрос/ответ

Исторические данные

Page 4: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Требования к real time аналитике

1. Комбинация near-real time данных и исторических данных для

аналитики

2. Репортинг на ODS, а не в системах учета

3. БOльшее количество пользователей

4. Согласованный взгляд на данные

5. Высокая производительность

6. Масштабируемость

7. Низкая стоимость владения

new

Page 5: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Задачи real-time аналитики для банков

1. Ситуационный анализ контакт центра

– анализ количества вызовов и их тематик;

– анализ времени ожидания и очередей;

– анализ количества потерянных вызовов;

– анализ сбоев и эффективное перераспределение ресурсов контакт центра

Результат: Снижение времени реакции на возникновение внештатных ситуаций

5

Page 6: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Задачи real-time аналитики для банков

2. Анализ качества обслуживания

– анализ количества вызовов и их тематик, времени ожидания, количества потерянных вызовов;

– мониторинг очередей, прогнозирование и перераспределение загрузки операторов;

– анализ времени работы операторов, проведенных в разных режимах;

– анализ качества работы операторов, определение «зон роста»

Результат: Оптимизация работы, перераспределение ресурсов под продажи

6

Page 7: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Задачи real-time аналитики для банков

3. Маркетинг и продажи

– оперативная аналитика по on-line заявкам, анализ времени обратного звонка,

– предоставление операторам real-time информации о выполнении плана, прогнозу выполнения показателей

Результат: Увеличение продаж за счет минимизации времени обратного звонка, эффективности работы операторов, повышения мотивации сотрудников колл-центра

7

Page 8: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Архитектура аналитической системы

8

Источники данных Аналитические витрины данных

Сл

ой

пр

ео

бр

азо

ва

ни

я

да

нн

ых

Аналитическая подсистема

Ad-hoc запросы

DB Analytical DB

Анализ данных с задержкой на 1 день (загрузка данных в витрины происходит ночью)

Обновление данныхОбновление данных

Сегментация DB

DB

Page 9: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Целевая архитектура системы

9

Источники данных Аналитические витрины данных Аналитическая подсистема

Real-time анализ данных

Operation

Data Store

Ad-hoc запросы

Сегментация

DB

DB

DB

Захват

изменений

Захват

изменений

Слой преобразования данных

Analytical DB

Page 10: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Аналитические инструменты

Oracle Business Intelligence

10

Oracle BI SERVER

Витрины данных

ETL

Oracle Business Intelligence

Транзакционные системы, Siebel

Веб сервисы

OLAP серверПлоские файлы, XML

для задач real-time аналитики

Page 11: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Аналитический сервер Oracle BIВозможности фрагментации и федерации

• Вертикальная - источники содержат разные показатели

• Горизонтальная - источники содержат разные наборы данных

• Агрегационная - источники содержат агрегаты различных уровней

План Фактsource1 source2

Исторические данные из ХД

Новые данные

source1

source2

по месяцамsource1

по годамsource2

по днямsource3

Навигация к источникам осуществляется автоматически, по

результатам оптимизации запроса пользователя

Логическая таблица 1

Логическая таблица 1

Логическая таблица 1

Page 12: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

2 TB DRAM

Exalytics X4-4Exalytics X4-4

60 Intel Cores

2.4 TB Flash Storage

7.2 TB Hard Disk Drive

4 TB DRAM

Exalytics T5-8Exalytics T5-8

128 SPARC T5 Processor Cores

6.4 TB Flash Storage

9.6 TB Hard Disk Drive

Аппаратное обеспечение

Page 13: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Oracle Exalytics – основные компоненты

Программное обеспечение для

in-memory аналитики

TimesTen for Exalytics

или

Oracle DB in-memory

option

Exalytics In-Memory Software

2/4 TB RAM

60/128 Processing Cores

High Speed Networking

Аппаратная платформадля

in-memory аналитики Oracle Business Intelligence Suite – специальная

редакция для Exalytics

Essbase

Page 14: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Адаптивные in-memory акселераторы

In-Memory Essbase Cubes

Кэширование в оперативной

памяти Essbase-кубов

In-Memory Intelligent Result

Cache

Хранение в оперативной

памяти результатов

выполненных запросов

In-Memory Adaptive Data

Marts

Кэширование в реляционной

структуре в оперативной

памяти, автоматическое

формирование витрины на

основе статистики запросов

In-Memory Data Warehouse

Хранение в оперативной памяти

всего хранилища данных

Page 15: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

In-Memory Database Engines

Database In-Memory OptionCertified on Exalytics

100% Data In-Memory

Page 16: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Какую базу данных использовать?

• Oracle Database In-Memory

– Поколоночное хранение, оптимальное для аналитики;

– Возможность использования аналитических возможностей базы данных(встроенные статистические функции, Advanced Analytics option);

– Большой опыт работы с базами данных Oracle, квалифицировнные специалисты

• TimesTen for Exalytics

– Есть опыт работы с TimesTen;

– Оптимизация расходов(более дешевая опция)

16

Page 17: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Сценарии использования in-memory витрин+OBISummary Adviser

� Oracle BI Usage Tracking мониторит пользовательскую

активность и собирает статистику

� Oracle BI Summary Adviser генерирует рекомендации по

структуре витрин в оперативной памяти

� Агрегированные витрины и индексы создаются в

TimesTen\in-memory option

� Отчеты, использующие агрегированные in-memory витрины,

имеют высокую скорость отклика

Oracle

Business

Intelligence

TimesTen\

in-memory

option

BI Dashboards

Data Warehouse

Detail

Data

Summarized

Data

Page 18: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Сценарии использования in-memory витрин+OBIOperation Data Store

Oracle

Business

Intelligence

TimesTen\

in-memory

option

BI Dashboards

ODS

Oracle

Database

� TimesTen\in-memory option может использоваться с ODS для

кеширования near real-time данных для оперативной отчетности

� Данные в TimesTen\in-memory option могут загружаться с

помощью:

– Oracle Data Integrator

– Oracle Golden Gate

– Custom scripts

– TimesTen утилитой ttImportFromOracle

Page 19: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Сценарии использования in-memory витрин+OBIFragmentation

Oracle

Business

Intelligence

TimesTen\

in-memory

option

BI Dashboards

ODS

Oracle

DB

� В зависимости от запроса и заданных правил фрагментации,

Oracle BI запрашивает данные из

‒ TimesTen\in-memory option для оперативных данных

‒ DWH для исторического анализа

‒ из обоих источников для смешанного анализа

Data

Warehouse

Page 20: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Загрузка данных в in-memory витрины на Exalytics

• Агрегированные витрины

– Oracle BI утилиты (Summary Adviser, Aggregate persistence) генерируют скрипты

– Скрипты включают создание схемы и загрузку данных(Initial load)

• ODS и оперативные витрины

В зависимости от источника данных:

– Утилиты TimesTen

– ETL и CDC инструменты

Способы зависят от сценариев использования и баз данных источников

Summary

Advisor

Data

Loading

Utilities

Exalytics

Aggregated

tables

Detail

tables

Page 21: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Загрузка данных в in-memory витрины на Exalytics

• С помощью Summary Adviser генерируется:

– DDL для создания таблиц в TimesTen\in-memory option

– DML для загрузки данных через утилиты Oracle BI

– Вносятся изменения в метаданные

Агрегированные витрины

BI Server

Aggregate Persistence

1. Drop target aggregate

2. Create target aggregate

table and index

3. Map aggregates into RPD

4. Populate aggregate from

source data

Агрегированные витрины

Источники данных

Метаданные BI

Page 22: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Загрузка данных в in-memory витрины на Exalytics

Инкрементальная загрузка может выполняться теми же утилитами, но с исключением первых шагов

Агрегированные витрины

BI Server

Aggregate Persistence

1. Drop target aggregate

2. Create target aggregate

table and index

3. Map aggregates into RPD

4. Populate aggregate from

source data

Агрегированные витрины

Source

data

Метаданные BI

Page 23: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Инкрементальная загрузка данных в TimesTen\in-memory option на Exalytics

Для сложных случаев рекомендуется использовать

• Oracle Golden Gate

• Oracle Data Integrator

Page 24: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

In-memory Intelligence results cache

• Oracle BI имеет развитую систему кеширования

– возвращаются данные из кеша при совпадающих запросах

– в случае если запрашивается подмножество уже закешированных данных

– агрегаты над закешированными данными

• На Exalytics логично хранить

кеш в оперативной памяти

Page 25: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

In-memory MOLAP cubes

• Essbase – многомерный OLAP сервер, имеет две опции хранения данных:

– BSO(Block storage option) : быстрый доступ к данным, запись на любые уровни иерархии, необходим предварительный обсчет данных

– ASO(Aggregate storage option): компактное хранение, быстрая загрузка данных и расчеты, данные загружаются только на детальный уровень

• Требуется предварительное моделирование, модель данных должна быть «Звезда»

• Отдельные кубы Essbase могут загружаться в

оперативную память

Page 26: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Компании, использующие Exalytics

Page 27: Преимущества построения оперативной отчетности с помощью технологий Oracle

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 27