Big Data Analytics and Predictive Analytics - _ Predictive Analytics Today
SAP Predictive Analytics: новые возможности поиска · PDF fileSAP...
Transcript of SAP Predictive Analytics: новые возможности поиска · PDF fileSAP...
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 1Public
Михаил Аветисов, Эксперт SAP
29 апреля 2015 года
SAP Predictive Analytics: новые возможности
поиска скрытых закономерностей
и прогнозирования
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 2Public
От отчетов, через понимание причин, к прогнозам
Исходные
данные
Очищенные
данные
Жесткие
отчёты
Отчёты
«на лету»
и OLAP
Визуальный
анализ
Прогнозное
моделирование
Оптимизация
Что происходило
и происходит?
Почему это
произошло?
Что произойдёт?
Что сделать, чтобы
произошло самое
лучшее?
Отд
ач
а д
ля
би
зн
еса
Развитие аналитических возможностей
BusinessIntelligence
Общая
прогнозная
аналитика
Расширенная
Аналитика:
Понимание
Симуляция
Прогноз
Оптимизация
© 2011 SAP AG. All rights reserved. 3
Какие задачи решает прогнозная аналитика (примеры)
Анализ ассоциаций
Обнаруживает а базе данных часто встречающиеся наборы данных ипредставляет их в виде шаблонов (правил)
«Если гражданин пересекает границу в декабре и владеет французским паспортом старше 15 лет, то с вероятностью 25% его паспорт фальшивый»
Классификация и прогноз
Выявляет общие свойства в объектов в базе данных и организует их в предопределенные классы (с заданной степенью сходства)«Учитывая все доступные характеристики гражданина, с вероятностью 78,8% он совершит повторное правонарушение в течение двух месяцев после досрочного освобождения»
Кластерный анализ
Группирует сущности в однородные классы со сходными характеристиками«11% граждан из принадлежит сегменту со средним возрастом 25 лет, проживают в пригородах крупных городов и входят в группу удвоенного риска»
Анализ социальных сетей
Визуализирует и анализирует отношения между сущностями, и выявляет, что соединяет сущности между собой
«Гражданин, имеющий контакты с тремя мошенниками, с вероятностью 60% сам является мошенником»
© 2011 SAP AG. All rights reserved. 4
Как работает прогнозная аналитика (пример)
ID Пол Возр Долж … atr n Мошенник
1 М 32 Нач.отд 60 000 НЕТ
2 Ж 25 бухг 45 000 ДА
Построение
Модель
Применение
ID Пол Возр Долж … atr n Мошенник Прогноз
1102 М 42 директ 120 000 ? 0,5
1103 Ж 21 секрет 25 000 ? 0,2
Задача:
• по историческим
данным связать
известные данные с
некоторым
совершившимся
событием
• по новым данным
сделать прогноз
данного события
© 2011 SAP AG. All rights reserved. 5
SAP Predictive Analytics 2.0 меняет правила
Классический DataMining
Отбор атрибутов Использует все атрибуты
Выбор алгоритма
Ручная подготовка данных
Выбросы
Пропуски
Нелинейности
Мультиколлинеарность
Проверка распределений
Построение модели –
недели труда статистика
Ориентирован на результат
Полностью
автоматизированный процесс:
Автоматизированное
создание наборов данных
Автоматическое кодирование
данных
Быстрое внедрение
Построение модели –
часы и минуты работы
бизнес-аналитика
С SAP InfiniteInsight возможны оба подхода
Автоматизированное
моделирование SAPExpert Analytics Automated Analytics
Идеальная
подстройка для
необычных задач
Быстрые ответы
на тысячи
вопросов
© 2011 SAP AG. All rights reserved. 66
Борьба с мошенничеством: Еврокомиссия
Цели
Специализированная информационная система для контроля за перемещением животных и продуктов питания животного происхождения через границы Евросоюза.
Эти перемещения регулируются жесткими нормативными актами (защита животных, безопасность перевозок, здоровье потребителей, санитарный контроль и др). Ранее проверка перевозок производилась или случайным образом или по персональному подозрению инспектора на таможне. Задача системы – более эффективное выявление случаев мошенничества, оптимизируя проверки.
Метод
357 таможенных постов * 4 модели на страну = ~1600 моделей
Каждый контейнер описывается многими атрибутами, например:Организации: от кого, кому, импортер, перевозчик, способ перевозки, …Даты: дата прибытия, дата регистрации, дата вет. контроля, дата отправления...Таможня: пункт ввоза, пункт вывоза…Страны: страна происхождения, страна назначения, …Продукт: семейство, род, вид, ценность, …и т.д.
Система указывает подозрительные отправления для проверки
Результаты: проверка 30% контейнеров обнаружение 85% проблемных отправлений!
© 2011 SAP AG. All rights reserved. 77
Сбор налогов
Цели
Штаты Калифорния и Колорадо (США) выявляют
потенциальные случаи мошенничества при уплате налогов
Метод
• Собираются все данные о налогоплательщиках
– Социально-демографические данные
– Данные о доходах
– Данные об уплате НДС (если доступны)
• Построение моделей на основании известных случаев
мошенничества (одна модель на вид мошенничества/тип
налогоплательщика)
• Использование моделей для выявления потенциальных
мошенников и контроля сбора налогов
© 2011 SAP AG. All rights reserved. 8
Что такое социальные сети?
© 2011 SAP AG. All rights reserved. 9
Система здравоохранения (США)
Цели
• Выявление сетей «мега-потребителей»
медицинских услуг
Метод
• Построены связи между пациентами,
врачами и аптеками
• 2 пациента могут быть связаны, т.к. они
посещают одного врача или одну аптеку
• Строятся сети пациентов, врачей и аптек
Результаты
• Обнаружены сообщества пациентов-
мошенников (на базе уже известных
случаев мошенничества)
• Выявлены роли в сообществах аптек /
врачей (мосты, лидеры)
• Улучшено обнаружение мошенничества
со стороны врачей и пациентов
© 2011 SAP AG. All rights reserved. 10
SAP Text Analysis:
обработка неструктурированной информации
Нес
тр
уктур
ир
ов
ан
ная
ин
фо
рм
ац
ия
Дальше информация может
быть использована для:
Интеграция
Запросы
Анализ
Визуализация
Отчетность
SAP HANA
Выделение из текста
смысловых элементов
Выделяет ключевую информацию из текстовых источников и
делает ее доступной для анализа
© 2011 SAP AG. All rights reserved. 11
Стивен Пол Джобс (24 февраля 1955 – 5 октября 2011) –
американский бизнес-магнат и изобретатель. Наиболее известен как
один из основателей и исполнительный директор компании Apple.
Джобс также был директором Pixar Animation Studios.
После приобретения Pixar компанией Disney в 2006 году, он
стал членом совета директоров Walt Disney Company.
SAP Text Analysis:
пример разбора текста
Стивен Пол Джобс; Джобс Человек
24 февраля 1955; 5 октября 2011; 2006 Дата
один из основателей; исполнительный директор; директор; член совета директоров
Должность (титул)
Apple; Pixar Animation Studios; Pixar; Walt Disney Company; Disney
Коммерческая организация
Американский бизнес-магнат; изобретатель; приобретение
Понятие
…стал членом совета директоров… Смена позиции
…приобретения Pixar компанией Disney… Слияние / поглощение
© 2011 SAP AG. All rights reserved. 12
Анализ текстов и прогнозная аналитика
Неструктурированная
информация
Смысловые элементы
Связи между
документами
Связи между
людьми
Связи между
понятиями
Прогнозная аналитика SAP
Выявление причин
и
прогнозирование
© 2011 SAP AG. All rights reserved. 13
Спасибо за внимание!
Михаил Аветисовэксперт SAP [email protected]