Control-M - compfort-international.rucompfort-international.ru/d/1012462/d/control-m_workload... ·...

45
Control-M CompFort International Russia официальный дистрибьютор BMC Software в России и странах СНГ Александр Осипов Менеджер проектов| 24.01.2018

Transcript of Control-M - compfort-international.rucompfort-international.ru/d/1012462/d/control-m_workload... ·...

Control-M

CompFort International Russiaофициальный дистрибьютор BMC Software в России и странах СНГ

Александр Осипов

Менеджер проектов| 24.01.2018

© Copyright 2016 BMC Software, Inc.3

Основные инструменты

Scheduling Systems• MF & DS tools• ERP tools• Big Data tools

• Web Services• Windows Scheduler, cron• Cloud Tools

Вспомогательные инструменты

• Connects DS and MF tool (CA Connect, TWS)• Robot Scheduler Enterprise (DS)• MF Automation Tool (OPS/MVS, AFOperator, etc)• DS Event Mgmt Tool• File Transfer Products (ConnectDirect, FTP) • X-platform triggering via dummy files• Customer User Front-Ends (Ad-hoc Job Submission)• Scripts / Programs (Error detection & dynamic job

submission)• Other Scheduler Functions to work with jobs

Объемы

Ежедневные• MF & DS• Cloud• Ad-Hoc

• File Triggers• Event Triggers• Big Data

Задаваемые• MF• DS• Hadoop

Традиционный график работ: Сложности

БизнесПользователи

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Разработчики

Аудиторы

DevOpsTeams

File TransferTeams

Big Data

Cloud PlatformTeams

DatabaseTeams

© Copyright 2016 BMC Software, Inc.4

Традиционный график работ: Сложности

БизнесПользователи

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Разработчики

Аудиторы

DevOpsTeams

File TransferTeams

Big Data

Cloud PlatformTeams

DatabaseTeams

Основные инструменты

Scheduling Systems• MF & DS tools• ERP tools• Big Data tools

• Web Services• Windows Scheduler, cron• Cloud Tools

Вспомогательные инструменты

• Connects DS and MF tool (CA Connect, TWS)• Robot Scheduler Enterprise (DS)• MF Automation Tool (OPS/MVS, AFOperator, etc)• DS Event Mgmt Tool• File Transfer Products (ConnectDirect, FTP) • X-platform triggering via dummy files• Customer User Front-Ends (Ad-hoc Job Submission)• Scripts / Programs (Error detection & dynamic job

submission)• Other Scheduler Functions to work with jobs

Объемы

Ежедневные• MF & DS• Cloud• Ad-Hoc

• File Triggers• Event Triggers• Big Data

Задаваемые• MF• DS• Hadoop

© Copyright 2016 BMC Software, Inc.5

Основные инструменты

Scheduling Systems• MF & DS tools• ERP tools• Big Data tools

• Web Services• Windows Scheduler, cron• Cloud Tools

Вспомогательные инструменты

• Connects DS and MF tool (CA Connect, TWS)• Robot Scheduler Enterprise (DS)• MF Automation Tool (OPS/MVS, AFOperator, etc)• DS Event Mgmt Tool• File Transfer Products (ConnectDirect, FTP) • X-platform triggering via dummy files• Customer User Front-Ends (Ad-hoc Job Submission)• Scripts / Programs (Error detection & dynamic job

submission)• Other Scheduler Functions to work with jobs

Объемы

Ежедневные• MF & DS• Cloud• Ad-Hoc

• File Triggers• Event Triggers• Big Data

Задаваемые• MF• DS• Hadoop

DevOpsTeams

File TransferTeams

Big Data

Традиционный график работ: Сложности

БизнесПользователи

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Разработчики

Аудиторы

Cloud PlatformTeams

DatabaseTeams

© Copyright 2016 BMC Software, Inc.6

Primary Tools

Scheduling Systems• MF & DS tools• ERP tools• Big Data Tools

• Web Services• Windows Scheduler, cron• Cloud Tools

Ancillary Tools

• Connects DS and MF tool (CA Connect, TWS)• Robot Scheduler Enterprise (DS)• MF Automation Tool (OPS/MVS, AFOperator, etc)• DS Event Mgmt Tool• File Transfer Products (ConnectDirect, FTP) • X-platform triggering via dummy files• Customer User Front-Ends (Ad-hoc Job Submission)• Scripts / Programs (Error detection & dynamic job

submission)• Other Scheduler Functions to work with jobs

Volumes

Daily Executions• MF & DS• Cloud• Ad-Hoc

• File Triggers• Event Triggers• Big Data

Defined Jobs• MF• DS• Hadoop

• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)

Control-M Workload Automation

BMC Control-M

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.7

✓ Расширенные возможности планирования

• Управление SLA• Облачные вычисления и виртуализация• Бизнес аналитика и интеграция данных• База данных и большие данные• Web Сервисы, Java, J2EE и обмен

сообщениями• Аудит и отчетность для Предприятия• Передача файлов• ERPs (SAP, Oracle, PeopleSoft)

Control-M Workload Automation

BMC Control-MПланировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.8

✓ Мониторинг

✓ История

✓ Прогнозирование

✓ Планирование

✓ Инфраструктура

✓ Self Service

Control-M Workload Automation

BMC Control-MПланировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.9

✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)

BMC Control-M

✓ Monitoring

✓ History

✓ Forecast

✓ Planning

✓ Infrastructure

✓ Self Service

Control-M Workload Automation

Мониторинг

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.10

✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)

BMC Control-M

✓ Monitoring

✓ History

✓ Forecast

✓ Planning

✓ Infrastructure

✓ Self Service

Control-M Workload Automation

История

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.11

✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)

BMC Control-M

✓ Monitoring

✓ History

✓ Forecast

✓ Planning

✓ Infrastructure

✓ Self Service

Control-M Workload Automation

Прогнозирование

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.12

✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)

BMC Control-M

✓ Monitoring

✓ History

✓ Forecast

✓ Planning

✓ Infrastructure

✓ Self Service

Control-M Workload Automation

Планирование

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.13

✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)

BMC Control-M

✓ Monitoring

✓ History

✓ Forecast

✓ Planning

✓ Infrastructure

✓ Self Service

Control-M Workload Automation

Инфраструктура

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.14

✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)

BMC Control-M

✓ Monitoring

✓ History

✓ Forecast

✓ Planning

✓ Infrastructure

✓ Self Service

Control-M Workload Automation

Самообслуживание

Планировщики

Администраторы

Операторы

ПоддержкаПриложений

Все роли!

© Copyright 2016 BMC Software, Inc.15

Ручное управление пакетным выполнением услугDataExtract

UpdEarnPolicy DataExtReport EquityProcess

EmpLoanStat WitholdAdj ExceptionDet

Phase2Extract ExcpHandler PrepExcpFile ExceptionReport

PrepPayFile PostException

SendADPFileНаша цель: 6:30

© Copyright 2016 BMC Software, Inc.16

Control-M Batch Service ManagementDataExtract

UpdEarnPolicy DataExtReport EquityProcess

EmpLoanStat WitholdAdj ExceptionDet

Phase2Extract ExcpHandler PrepExcpFile ExceptionReport

PrepPayFile PostException

SendADPFile Платежная система: Должны закончить к 6:30 AM

Наша цель: 6:30

✓ Определяет время “Должно быть закончено до”

✓ Обнаруживает критический путь

✓ Раннее оповещение о потенциальных задержках

✓ Генерация уведомлений с высоким воздействием

✓ Показывает воздействие в модели сервиса

© Copyright 2016 BMC Software, Inc.17

Включает передачу файлов в контексте Предприятия

Поддержка FTP/SFTP/FTPS и PGP

Поддержка удаленных машин

Доступ к файловым системам в режиме реального времени

Control-M Managed File Transfer

© Copyright 2016 BMC Software, Inc.18

Control-M Managed File Transfer

© Copyright 2016 BMC Software, Inc.19

Control-M Просмотр сервисов

Простота для Бизнес пользователей

Предоставляет Каталог Услуг– Бизнес пользователь управляет

своими объемами работ

– Ввод с использованием бизнес-терминологии

Мобильные устройства

Полный аудит и контроль

© Copyright 2016 BMC Software, Inc.20

BMC Control-M Self Service at UNUM

© Copyright 2016 BMC Software, Inc.21

Поток работ по созданию/Модификации

Планировщики

Разработка приложений

Разработчики

Промышленныесистемы

© Copyright 2014 BMC Software, Inc. 22

Поток работ по созданию/Модификации

Планировщики

Разработка приложений

Разработчики

Повторение, пока запрос не будет правильным / принятым

ПромышленныесистемыНеэффективность/неудовлетворенность

Код

© Copyright 2016 BMC Software, Inc.23

Drag picture to placeholder or click icon to add

Workload Change Manager

Web - интерфейс

Drag and drop job creation

Корпоративные стандарты

Автоматическое продвижение

24© Copyright 2016 BMC Software, Inc.

«В 2020 году, корпоративные политики «без облака»будут такой же редкостью, как сегодня политика «без интернета»

—Gartner, Inc. June 22, 2016

25© Copyright 2016 BMC Software, Inc.

95%Organizations using public /

private / hybrid cloud

Enterprises running applications on Azure

Enterprises running applications on AWS

Enterprises with 1000+ VMs in public cloud

13 17%

CLOUD ADOPTION AND TRENDSBased on RightScale’s 2016 State of the Cloud Report

50 56% 12 17%

26© Copyright 2016 BMC Software, Inc.

Control-M on AWS (BYOL)Control-M Agent as VM Extension on Azure

Полный комплект Control-M в один клик

Встроенный инструмент для подготовки продуктивной, тестовой или пробной (Sandbox) сред

CONTROL-M для AWS и AZURE

© Copyright 2016 BMC Software, Inc.27

Control-M в Облаке

Использование ресурсов

Планирование работ

Control-M в Облаке

Физическое,Виртуально облачноеВиртуализацияОблако

BMC BLADELOGIC

Панель мониторинга

© Copyright 2016 BMC Software, Inc.28

BIG DATA

© Copyright 2016 BMC Software, Inc.29

Лояльность пассажиров• Всесторонний взгляд на пассажира• 150+ показателей для каждого пассажира• Повышение потребительской ценности• Культивация высокой ценности клиентов

✓ Боинг 787 генерирует в среднем 500GB системных данных полета

✓ Airbus A380 оснащен аж 25,000 датчиками, фиксирующих 8,000+ данных в секунду

✓ Авиакомпании хотят использовать новые технологии, такие как Hadoop и сложные алгоритмы интеллектуального анализа данных чтобы обработать неструктурированные данные

Операции• Пакет отслеживания данных• Снабжение данных• Планирование данных

Захват данных с датчиков• Оптимизация обслуживания• Минимизация времени простоя• Прогнозирование погоды для оптимизации

топливных загрузок• Оптимизация траектории полета/ траектории

корректировки• Данные по закрылкам• Wingtips – улучшение расхода топлива• Системные данные

Данные двигателя – один маршрутный полет• GE реактивные двигатели около 5,000 данных в секунду

20 TB x 2 x 6 x 28,537 x 365Информация от двигателя в час

Двигатели Часы Коммерческих рейсовза день в США

Дней в году

= 2,499,841,200 TB

© Copyright 2016 BMC Software, Inc.30

Control-M для Hadoop

Hadoop Program parameters

HDFS commandscatchmodcopyfromlocalcopytolocalcpgetlsmkdirmvputrmrmr

SPARKJava / Scala ApplicationPython Script

© Copyright 2016 BMC Software, Inc.31

Applications… and More Applications

© Copyright 2016 BMC Software, Inc.32

Images can be added behind device

Инновации легко

Интегратор Приложений

Предоставление цифровых услуг

быстро и надежно

32

Images can be added behind device

Увеличение ценности

Images can be added behind device

The Power of Many

© Copyright 2016 BMC Software, Inc.33

Control-M для СУБД

ANY JDBC-Compliant

Driver

© Copyright 2016 BMC Software, Inc.34

UNIX_Script

AS400_process

Java_process

Win.bat

FTP

Win.bat

Web_Service

AS400_process

FTP

MF_process

ERP_process

ERP_process

DB_Backup

MF_process AS400_process

UNIX_Script

UNIX_Script

MapReduce

FTP

FTP

DB_Backup

Java_process

Java_process

SSIS

MapReduce

AS400_process

FTP

© Copyright 2016 BMC Software, Inc.35

Много работ генерирует много данных

UNIX_Script

AS400_process

Java_process

Win.bat

FTP

Win.bat

Web_Service

AS400_process

FTP

MF_process

ERP_process

ERP_process

DB_Backup

MF_process AS400_process

UNIX_Script

UNIX_Script

MapReduce

FTP

FTP

DB_Backup

Java_process

Java_process

SSIS

MapReduce

AS400_process

FTP

© Copyright 2016 BMC Software, Inc.36

Workload Архивирование

© Copyright 2016 BMC Software, Inc.37

Вы слышали о таком?

© Copyright 2016 BMC Software, Inc.38

Вы слышали о таком?

Я просто разработал это супер-крутое приложение и перевел его в производство

за 5 дней

© Copyright 2016 BMC Software, Inc.39

Крупный ретейлер в США

• Более быстрые циклы разработки и развертывания и лучшее сотрудничество между командами

• Подход, чтобы приспособиться к мобильной, цифровой бизнес-среде

• Фокусируется на более плотной координации между инженерами и штатом развертывания продукта вместе с agile подходомдля разработки и тестированияприложений

• Привлечение высшего ИТруководства к практическимворкшопам DevOps

© Copyright 2016 BMC Software, Inc.40

JenkinsPuppet

Ch

efA

nsib

leV

agrantSaltStack

Mav

en

Bam

bo

o

BMC RPMGit

subversion CVS

Gra

dle

Artifactory

Nexu

sCFEngine

ANT

DevOpsContinuous Integration D

ock

erAzure

Am

azon

We

bSe

rvices

Capistrano

Ku

bern

etesJUn

it

Go

HipChat

Jira

GruntContinuum

Gump

Co

ntin

uo

us D

elivery

Ro

cketM

esos

ForestWhisker

Continuous Deployment

© Copyright 2016 BMC Software, Inc.41

Agile Methodologies

46%

44%

40%

37%

30%

27%

22%

11%

Easier provisioning of Agents

Developer sandbox for Control-M

Developer API for creating jobs

Web Interface for developers

Integration with DevOps tools

Different pricing model

Developer API for configuration…

Other

Движется ли ваша разработка к Agile Методологиям?

n= 269

37%

43%

18%

Yes

Partially

No

Инициативы Control-M которые помогут снизить ‘Time to Market’

n= 391

New questions 2016. Excludes don’t know from base.

© Copyright 2016 BMC Software, Inc.42

Control-M Automation API

© Copyright 2016 BMC Software, Inc.43

Инструмент преобразования

© Copyright 2016 BMC Software, Inc.44

Enterprise View

Powerful, technology-opaque user interface

SLA Management

Rich date/time and event-based scheduling

Site-aware

Self service for all constituents

Automated promotion

Dynamic resource management

Core

Integrated data movement

ERPs

Relational Databases

Big Data

Backups

SOA technologies

All commercial platforms

Business Intelligence

ETL/Data Integration

Application Integration

Extensible for any application or technology with automation APIs

Community

Leverage all capabilities for any application

Abstract ALL workload automation with a single, consistent set of capabilities, management methodologies and best practices

Open Platform

Control-M: The Workload Automation Platform

© Copyright 2016 BMC Software, Inc.45