Big data must ife
-
Upload
andrew-paymushkin -
Category
Business
-
view
182 -
download
0
Transcript of Big data must ife
Использование аналитики
больших данных для
принятия решений и
улучшения стратегий по
гарантированию доходов
“Big Data Must Life!”
____________________________________(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
11.11.2015
Костин Герард Владимирович
2
Что такое Big Data?
____________________________________»КОНФИДЕНЦИАЛЬНО»ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
Семинар Б
ФИ
2015. Big
Data
в М
ТС
OLUME
ARIETY
ELOCITY
• Петабайты и экзабайты данных V
V
V• Возможность быстрой обработки и автоматизированных действий
• Неструктурированные данные, любые источники данных
BIG DATA – это объемы данных, которые превосходят возможноститрадиционных программных продуктов по сбору, хранению и анализу, на текущиймомент либо не собираемые вообще, либо удаляемые из информационных системкомпании. Освоение этих данных может принести компании новые возможностироста прибыли и эффективности. Термин, сильно разогретый маркетингом,зачастую в него вкладывается совершенно разное: инфраструктура, объем, илипросто PR/presale…
3
Big Data сегодня
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
Big Data
Hype Cycle for Emerging Technologies, 2013 Hype Cycle for Emerging Technologies, 2015
Big Data
?
4
Big Data – это прежде всего данные
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
Ежемесячный объем трафика,генеримыйтелеком оператором 100-150 ПБ
Объем данных, который приносит ценность: 10-15 ПБ
Big Data
Big Data Data
5
Data Governance –инструмент извлечение ценности из данных
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
6
Big Data: новый подход к работе с данными…
Семинар Б
ФИ
2015. Big
Data
в М
ТС
• Реализация аналитических систем под конкретные задачи
• Работа со структурированными данными
• Хранение только «нужных» данных, в разных местах для разных задач, преимущественно из внутренних источников компании
• Переход к «коммунальной» архитектуре
• Единое для всех пространство хранения данных разной природы (структурированных и нет, из внутренних и внешних источников)
• Другой подход к реализации проектов и соответствующие компетенции и процессы внутри компании
____________________________________»КОНФИДЕНЦИАЛЬНО»ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
От Compute centric…
к Data centric…
7
Какие данные есть в телекоме…
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
Семинар Б
ФИ
2015. Big
Data
в М
ТС
Структурированные данные
• Данные биллинга - звонки• Данные состояния сетевых элементов• Информация о местоположении• CDR/EDR• Данные состояния сетевых элементов
для систем мониторинга• Справочные данные по сетевым
элементам (Inventory)• Данные биллинга - абонентский
профиль, действие над профилем• Обращения в call-центр и заявки,
заведенные через личный кабинет• Данные по up-sell / cross-sell ( Next best
offer), включая историю предложений иописание продуктовых корзин
Неструктурированные данные
• Записи звонков и текстов смс• E-mail абонентов• Данные социальных сетей• Данные постов форумов и блогов• Информация по посещаемым Web
сайтам• Записи звонков в call- центр• Логи IVR• Разбор рукописных заявлений
абонентов• Разбор результатов опросов абонентов• Профиль интересов - загружаемые
видео/аудио/фото контент,предпочтительные приложения ихарактер потребления данногоконтента
• Логи сетевых элементов, сервисныхплатформ, показатели измерительныхдатчиков на оборудовании
8
Архитектура Big Data
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
Семинар Б
ФИ
2015. Big
Data
в М
ТС
?
Идет конкурс по выбору Framework'а
системы распределенной обработки данных
Идет проект миграции КИХ на Teradata
Все вендоры указаны исключительно в качестве примера
Big Data «под ключ» не существует –необходимо самим конструировать свое решение
CEP – complex event processing: Система аналитики и принятия решений на потоке данных в реальном времени
9
Big Data требует новых функций в бизнесе
BigData Product Menagment
Data Scientist
Data Governor
Опрос Accenture по планам внедрения новых функциональных направлений в компаниях*
* - По материалам Accenture «Big Success With Big Data»
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
10
Из чего состоит Big Data в телеком отрасли
Расширенные возможности клиентской аналитики
Гео-локация и геотаргетирование
Планирование и управление сетью
Revenue Assurance and Fraud prevention
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
11
RA и Big DataRevenue A
ssura
nce a
nd F
raud
pre
vention
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
• Контроль тарификации Real-Time
• Индивидуальный мониторинг качества(KPI)
• Управление трафиком в Real-Time
• Превентивное предотвращение фрода
• Предотвращение проблем на сети и в ИТ
• Выявление дублирующих бизнес процессов
• Сокращение затрат при планировании сети
• ….
12
Индивидуальный мониторинг качества(KPI)
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
Падения доходов, в следствии проблем с DATA сервисами у абонентов, можно отследить только по массовым проблемам на основании данных ежедневных начислений за DATA
Возможности BigDATA:
Рассчитывает KPI по качеству и доступности DATAдля каждого абонента
• Текущие системы мониторинга не считают качества с детализацией до абонента
В режиме реального времени определяется объем недопотребленных DATA услуг для каждого абонента
• Ранее можно было определить объем недопотребления только по массовым авариям – экспертно, с задержкой 3-5 дней.
Определяется вероятная причина снижения доступности и качества DATA услуг (хранятся все логи)
• Ранее определить причину можно было только если проблему ставили на трейс и она воспроизводилась вновь
Некорректные настройки APN Проблемы с аутентификацией AAA Ошибки Provisioning Конфликт IP адресов абонентов Некорректная остановка
RNC(отключение сразу всех RNC, а проведение работ только на 1 )
Вероятные проблемы:
13
Контроль тарификации Real-Time
____________________________________(место для грифа конфиденциальности)ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
Существующие методы контроля тарификации не покрывают всех проблем и сложны в эксплуатации ( ручное тестирование, Параллельный биллинг, сверки)Основная цель нового подхода—Покрытие всего объема начислений алгоритмом выявлений ошибок рейтинга/биллинга
Дополнительный результат:incomplete records (потеря части записей)Fraud (фрод на низком уровне)
Ограничение существующих систем:
единичные проверки начислений, проверки специально генерируемых тестовых событий
Для анализа начислений возможно проводить сравнение с историческими данными: поиск аналогичных событий и анализ отклонений.
Преимущества по сравнению с классической системой «параллельного биллинга»: меньшие требования к вычислительным ресурсам не требуется дополнительная интеграция с
разнообразными источниками CDR экономия ресурсов — не требуется
конфигурирования тарифов в системе верификации