SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api...

Copyright © SAS Inst itute Inc. A l l r ights reserved.

SAS Event Stream ProcessingПотоковая обработка Больших Данных


SAS® FORUMRUSSIA 2017

Большие Данные: новые задачи

Volume

Velocity

Variety

Быстрый ответ с низкой задержкой

Сокращение времени принятия решения

Непрерывная оценка возможностей и рисков

Гибкость и простое управление

Готовность работы с большим потоком



Обработка событий с датчиков автомобиля

Сенсоры

/ ЭБУCAN Bus

IoT шлюз на ТС:

- SAS Event Stream Processing

- SAS Event Stream Manager

Непрерывная потоковая обработка показаний датчиков и системных ошибок внутри автомобиля

WWAN

SAS AnalyticsЦентр управления автопарком- Разработка аналитических

моделей- Машинное обучение



Обработка показаний датчиков в реальном времени

• Предотвращение аварий• Предотвращение поломок• Своевременное техн. обслуживание• Оптимизация маршрутов• Онлайн маркетинг

• Онлайн страхование Телематика

• Службы каршеринга• Предотвращение

мошенничества и др.

• демо-стенд SAS FORUM RUSSIA 2017



Глобальный производитель ТС ТРАНСПОРТ

Press Announcement

ЦЕЛЬ

Проактивное прохождение технического обслуживания

Предоставление новых услуг с высоким SLA

РЕЗУЛЬТАТЫ

Предсказание времени ТО

Обнаружение высоковероятных поломок ранее чем за 30 дней

Увеличение времени работы единиц техники на 30%

Ускорение диагностики неисправностей на 25%

Диагностика в пути

Инновационная координация между производителями и поставщиками

Снижение стоимости гарантийного обслуживания

Пересмотр текущих процессов

Каждый грузовик получил балл риска исходя из стоимости ТО, сложности поставки, параметров груза

Оптимизация прохождения обслуживания, выявлено что только 75% парка требует своевременное обновление ПО

“We looked at open-source

options, but decided we

needed a solution that was

both powerful and user-

friendly; that led us to SAS.

SAS cuts through data

complexities and produces

analytical insight that not

only improves our

business, but our

customers’ businesses as

well. When our customers succeed, we succeed.”

Gyasi K. Dapaa

Director of Data Science

Navistar International

http://www.sas.com/en_us/news/press-releases/2016/january/transportation-analytics-navistar.html



SAS Event Stream Processing

результат

анализа

Действия

SAS In-Memory

SAS®

Event Stream Processing Model

Непрерывный

запрос

Пуб

ли

ка

ци

я

По

дп

ис

ка

Поток событий

Обогащение

данныхПрименение

моделейФильтры и

паттерны



Готовые механизмы интеграции SAS ESP

ОТКРЫТЫЕ ПЛАТФОРМЫ

СИСТЕМЫ И ПРИЛОЖЕНИЯ

API ПУБЛИКАЦИИ И ПОДПИСКИ

RendezVous

СТАНДАРТЫ

FILE/SOCKET

XML / JSON

ODBC

JMS

MQTT

SYSLOG

DB LOG SNIFFERS

HTTP RESTFUL

SMTP

NETWORK SNIFFERS

WEB SERVICES

*



SAS Event Stream Processing Studio

Drag & drop моделированиеVisual, XML и C

Publish & Subscribe API (Java, C, Python)

Визуальный инструмент разработки

Позволяет быстро создавать и поддерживать правила обработки потока событий для своевременного и гибкого адаптивного действия

Полный набор компонентов для построения любого типа процесса

Простая интеграция аналитических моделей

Разворачивание существующих моделей с использованием встроенных языков: SAS® DS2, SAS® Datastep или Python кода

Поддержка динамического изменения логики обработки событий



Работа с координатами на потоковых данныхТрансформация «Geofence Window»

Позволяет в реальном времени определить:

• Момент пересечения границы/полигона

• Приближение к интересующему объекту

• Плотность объектов в области

• И др…Позволяет обновлять границы в реальном

времени

Позиционирование объекта на потоковых данных:

• В указанных границах

• Вблизи указанной точки



Выявление сложных событийТрансформация «Pattern Window»

“Выявить когда событие А следует за событием Б и не наступает событие В в 3-х минутном интервале времени”

E1 E2И

СЛЕДУЕТ

ЗА

E4 E5И

НЕ

E6

E3ИЛИ

5 МИН

1 ЧАССЛЕДУЕТ

ЗА


Потоковая аналитикаНовый подход к построению предиктивных моделей


Жизненный цикл потоковой аналитики

Поток данных – Понимание – Действие

DeployETL

Data Data Storage

Alerts - Reports Decisioning

Streaming Data Streaming Model Execution

Dep

loy

Enri

ch

Sto

re




ETL

Data Data Storage



Dep

loy

Sto

re

Enri

ch

Deploy




DeployETL

Data Data Storage



Dep

loy

Train

Sto

re

Enri

ch




DeployETL

Data Data Storage



Dep

loy

Train

Score

Sto

re

Enri

ch




DeployETL

Data Data Storage



Dep

loy

Train

Score

Sto

re

Enri

ch

Score




DeployETL

Data Data Storage



Dep

loy

Train

Train

Score

Sto

re

Enri

ch

Score




DeployETL

Data Data Storage



Dep

loy

Train

Train

Score

Sto

re

Enri

ch

Supervise

Score


Новые виды трансформаций потока

Поддержка машинного обучения и высокочастотной аналитики

request

data

model

data

scoreTrain Score

requestdata

scoreCalculate

request

model

modelModel Supervisor

request modelModel Reader

Алгоритмы потокового обученияStreaming Summary - Univariate StatisticsStreaming Pearson’s CorrelationStreaming Segmented CorrelationWeibull Distribution FittingShort Time Fourier TransformStreaming Text TokenizationStreaming K-MeansStreaming DBSCAN

Streaming Linear Regression*Streaming Support Vector Machine*Streaming Logistic Regression*Streaming Frequency Count*Streaming Fit Statistics*Streaming Receiver Operating Characteristic (ROC)*Streaming LIFT*Text Vectorization*

Random ForestGradient Boosting Tree *Factorization Machine*Support Vector Machine*Support Vector Data Description*



Управление проектамиSAS Event Stream Manager

Мониторинг и управление проектами SAS ESP

Мониторинг ресурсов

Планы развертывания и обслуживания элементов ESP кластера

Управление версиями

(разработка, тестирование и промышленная среда)



Пример производительности на биржевом потоке Broker Surveillance

ESPInstances

Event Rate (x 1,000 events per second)

Average CPU Percentage

Network throughput (MBps)

Maximum Average

1 527 50 109 95

2 1,000 50 206 173

4 1,930 43 398 305

7 3,182 46 651 592

Event Rate (x 1,000 events per second)

Latency (microseconds)

Maximum Minimum Average

300 3,746 895 1,947

450 5,890 952 2,338



use-case: маркетинг в режиме реального времени

Real Time Processing

SAS ESP Engine

Offers preparations

SAS Real-Time

Decision Manager

(offer preparation)

Input

Customers

activity

(streaming data)

customers segment,

MCC data, targets and limits

Campaign Data

(batch data)

sms

Hi, Alex! You left only 4

transactions and then you’ll get a cashback for all the next - 10%!

stimulated transactions activity

online customers aggregates

help to make right decisions



инновации в аналитике

SAS

Streaming

Analytics

Healthcare

Connected Car/

Transportation

Communications

Energy

Connected CustomerSmart Cities and Homes

Surveillance

Building

Management

Agriculture

Retail

ManufacturingInsurance



Спасибо!

SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api...

Documents

Transcript of SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api...