Антон Джораев

ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ

2

NVIDIAA LEARNING MACHINE

GPU подтолкнули рост рынка PC игр,

определили развитие современной

компьютерной графики и совершили

революцию в параллельных вычислениях

GPU и глубокие нейросети лежат в основе

современного ИИ – новой эры вычислений

4

1980 1990 2000 2010 2020

Производительность

вычислений на GPU

1.5X в год

1000X

by

2025

ВЫЧИСЛЕНИЯ НА GPU

Original data up to the year 2010 collected and plotted by M. Horowitz, F. Labonte, O. Shacham,

K. Olukotun, L. Hammond, and C. Batten New plot and data collected for 2010-2015 by K. Rupp

102

103

104

105

106

107

Однопоточная производительность

1.5X в год

1.1X в год

Приложения

Системы

Алгоритмы

CUDA

Архитектура

5

ВЫЧИСЛЕНИЯ НА GPUПрограммный код

+

GPU CPU5% of Code

Вычислительно требовательные функции

Оставшийся последовательный

CPU-код

6

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТИ ГЛУБОКОЕ ОБУЧЕНИЕ

NIPS (2012)

ImageNet Classification with Deep Convolutional Neural Networks

Alex KrizhevskyUniversity of Toronto

Ilya SutskeverUniversity of Toronto

Geoffrey e. HintonUniversity of Toronto

Deep Learning

7

ВПЕЧАТЛЯЮЩИЕ ДОСТИЖЕНИЯ ИИ

Игра в китайские шашки Игра в Doom Перенос художественных стилей

Генерация голоса

Аннотирование видео Обучение движениям Обучение хождению Управление авто

9

“где я запарковал свою машину?”

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ПОВСЮДУ

“найди такую же сумку как ту что я видел сейчас в магазине”

“какой фильм мне посмотреть следующим?”

10

Разрушает языковые барьеры

ИИ ВЛИЯЕТ НА НАШУ ЖИЗНЬ

Прогнозирует потенциально возможные заболевания

Помогает незрячим «видеть» окружающую их обстановку и

эмоции на лицах собеседников

11

Обеспечивает безопасность в местах скопления людей

ИИ СЛУЖИТ ЧЕЛОВЕКУ

Интеллектуальные сервисы и помощники

Различает растения и сорняки, экономя до 90% химикатов

12

Weather forecasting involves processing vast amounts of

data to derive predictions that can save lives and

protect property. Colorful Clouds is using GPU deep

learning to speed the processing of data by 30-50x. It’s

location-based reporting tool can forecast and

communicate weather and air-quality conditions with

high-accuracy in real-time.

AI-POWERED WEATHER FORECASTING

18

3000+

СЕГОДНЯ – ВРЕМЯ НАЧАТЬ ПРИМЕНЯТЬ ИИ

сегодня 2020

ИИ стартапы

85% $47B 20%

всех коммуникаций с клиентами будут осуществляться

ботами

расходы на внедрение ИИ

технологий

компаний буду иметь сотрудников для

управления нейросетями и

контроля их работы

19

21

DEEP LEARNING: НОВАЯ МОДЕЛЬ ВЫЧИСЛЕНИЙАлгоритмы учатся на примерах

Код,

написанный

экспертом

Традиционный подход

➢ Необходим эксперт➢ Требует времени➢ Риск ошибок➢ Не масштабируется на

другие задачи

Глубокая нейросеть

Глубокое обучение

✓ Обучение по данным✓ Масштабируемость✓ Ускорение на GPU

22

ПРИМЕНЕНИЕ ИИ В БИЗНЕСЕ

• Контроль критичных процессов/параметров

• Принятие решений/автоматизация рутинных действий/замена человека

• Предсказание событий

• Поиск/подбор/классификация

• Понимание естественного языка

• Генерация контента

Основные направления

23

INDUSTRIAL AI

Приложение ИИ к физическим

операциям на предприятии

Промышленный ИИ помогает

предприятию контролировать,

оптимизировать и управлять

операциями и системами с целю

увеличения эффективности и

производительности производства

26

ПРИМЕНЕНИЕ В ПРОМЫШЛЕННОСТИ

Безопасность и охрана труда

- контроль периметра

- контроль соблюдения зон

- ношение касок

Учет

- считывание штрих кодов, маркировки

27

ПРИМЕНЕНИЕ В ПРОМЫШЛЕННОСТИ

Оптимизация процессов

- контроль движения изделий

- фиксация очередей, переполнений, простоев

Контроль качества

- обнаружение дефектов (размеры, наличие деталей, наклеек, цвет, чистота)

- правильность обработки (соблюдение режимов, распознавание активностей)

29

ПРЕДСКАЗАНИЕ ОТКАЗОВ ГАЗОВЫХ ТУРБИН

Детектирование аномалий по температурному профилю на выходе из турбины

Заблаговременное предсказание отказов

Особенности: сложные системы, много переменных (как например тип машины, конфигурация, топливо, окружение, старение)

Accurate and Reliable Anomaly Detection for Gas Turbine Combustors: A Deep Learning Approach, W. Yan et al, General Electric Global Research Center

GE: детектирование аномалий

30

ПРЕДСКАЗАНИЕ ОТКАЗОВ ГАЗОВЫХ ТУРБИН

Deep learning превосходит любые ручные классификаторы

На 20-25% выше точность, с учетом лучшего детектирования и снижения ложных срабатываний

Результат: существенная экономия на простоях и ремонтах

GE: детектирование аномалий

* Accurate and Reliable Anomaly Detection for Gas Turbine Combustors: A Deep Learning Approach, W. Yan et al, General Electric Global Research Center** www.ge.com/digital/stories/power-plant-avoids-catastrophe-proactively-replacing-faulty-transition-piece

33

КОНТРОЛЬ КАЧЕСТВА

Отрасльэлектронное производство

Задачасборка компонентов, технология поверхностного монтажа печатных плат

ПроблемаКонтроль качества изделийБольшое количество ручного труда

Foxconn | Test Research, Inc. | NVIDIA

34

КОНТРОЛЬ КАЧЕСТВАFoxconn | Test Research, Inc. | NVIDIA

Референсый образецнет пропущенных компонентов

Образец с пропущенными компонентамиОдин или более компонентов отсутствуют

Локализация проблемы

36

СЛОЖНОСТИ ПРИ ВНЕДРЕНИИ ИИ-РЕШЕНИЙ

• ИИ требует серийности/массовости производства

• Сбор исходных данных для обучения (сбор, разметка, грязные данные)

• Интеграция с существующими системами

• Объяснимость принятых решений

• Сопротивление и саботаж со стороны сотрудников.

Крупнейшие холдинги уже имеют штатную единицу Chief Data Officer:

Росатом, Сбербанк, X5, МТС, Газпромнефть, Лукойл, Сибур, Норникель…

37

Низкая стоимость входа• затраты на оборудование минимальны, есть облака

• средства разработки доступны свободно

• свободно доступно много готовых инструментов для многих задач

Вакуум на рынке• ИИ применим практически во всех отраслях

• рынок ИИ-сервисов сейчас активно формируется

• кадровый вакуум

Неудовлетворенный интерес заказчиков• правительство, СМИ, запад говорят об Индустрии 4.0 и ИИ

СЕГОДНЯ ФОРМИРУЕТСЯ РЫНОК

38

РЕШЕНИЯ NVIDIA ДЛЯ DEEP LEARNING

39

DEEP LEARNING КОНТЕЙНЕРЫ (NGC)

https://www.nvidia.com/gpu-cloud

40

ГЛУБОКОЕ ОБУЧЕНИЕ НА ЛЮБЫХ ПЛАТФОРМАХ

43

NVIDIA TESLA V100

7.5 FP64 TFLOPS | 15 FP32 TFLOPS

NEW 120 Tensor TFLOPS

16GB HBM2 @ 900 GB/s

300 GB/s NVLink

Гигантский прорыв для искусственного интеллекта и HPC

44

Bigger and More Compute Intensive

NEURAL NETWORK COMPLEXITY IS EXPLODING

2013 2014 2015 2016 2017 2018

Speech(GOP * Bandwidth)

DeepSpeech

DeepSpeech 2

DeepSpeech 3

30X

2011 2012 2013 2014 2015 2016 2017

Image(GOP * Bandwidth)

ResNet-50

Inception-v2

Inception-v4

AlexNet

GoogleNet

350X

2014 2015 2016 2017 2018

Translation(GOP * Bandwidth)

MoE

OpenNMT

GNMT

10X

45

NVIDIA TESLA V100

Новые инструкции и форматы данных CUDA TensorOp для работы с матрицами 4x4

D[FP32] = A[FP16] * B[FP16] + C[FP32]

Оптимизированы для обучения и применения глубоких нейросетей

Новые Tensor Core ядра для ИИ

Activation Inputs Weights Inputs Output Results

Pascal Volta

46

РЕВОЛЮЦИОННАЯ ПРОИЗВОДИТЕЛЬНОСТЬ VOLTAОбучение нейросетей в 3 три раза быстрее

Over 80x DL Training Performance in 3 Years

1x K80cuDNN2

4x M40cuDNN3

8x P100cuDNN6

8x V100cuDNN7

0x

20x

40x

60x

80x

100x

Q1

15

Q3

15

Q2

17

Q2

16

Googlenet Training Performance(Speedup Vs K80)

Speedup v

s K80

85% Scale-Out EfficiencyScales to 64 GPUs with Microsoft

Cognitive Toolkit

0 5 10 15

64X V100

8X V100

8X P100

Multi-Node Training with NCCL2.0(ResNet-50)

ResNet50 Training for 90 Epochs with 1.28M images dataset | Caffe2 with NCCL 2.0

1 Hour

7.4 Hours

18 Hours

3X Reduction in Time to Train Over P100

0 10 20

1XV100

1XP100

2XCPU

LSTM Training(Neural Machine Translation)

Neural Machine Translation Training for 13 Epochs |German ->English, WMT15 subset | CPU = 2x Xeon E5 2699 V4

15 Days

18 Hours

6 Hours

47

NVIDIA DGX-1 НА БАЗЕ TESLA V100Мощнейший инструмент для исследования в области ИИ

960 Tensor TFLOPS | 8x Tesla V100 | NVLink Hybrid Cube

Заменяет 400 традиционных серверов на задачах ИИ

3U в стойке, 3.2 КВт

Интерконнект 4 IB EDR + Dual 10 GbE

49

NVIDIA DGX STATIONСуперкомпьютер для ИИ на

вашем столе

Персональный суперкомпьютердля исследователей и Data Scientists

Бесшумная настольная рабочая станция

Моментальное начало работы с программным стеком DGX

Простой перенос задач с рабочей станции в ЦОД или в облако

Прорывная производительность архитектуры Volta

49

ГЛУБОКОЕ ОБУЧЕНИЕ НА GPUНОВАЯ МОДЕЛЬ ВЫЧИСЛЕНИЙ

DGX-1 или Tesla

Обучение Инференс в ЦОД

Tesla и TensorRT

Локальный инференс

Jetson

53

NVIDIA TENSORRT

Developer.nvidia.com/tensorrt

Оптимизированный фреймворк для inference

TESLA V100

DRIVE PX 2

TESLA P4

JETSON TX2

NVIDIA DLA

TensorRT

57

ЗАЧЕМ НУЖЕН ЛОКАЛЬНЫЙ ИНФЕРЕНС?

ЗАДЕРЖКИКАНАЛ ДОСТУПНОСТЬ

1 млрд камер в мире к 2020

Десятки ПБ данных в день

30 кадров в секунду

Задержка 200мс

50% обжитых территорий

покрыты связью < 8мбит/сек

PRIVACY

Защита персональных данных

КОНФИДЕНЦИАЛЬНОСТЬ

58Max-Q operating mode (< 7.5 watts) delivers up to 2x energy efficiency vs. Jetson TX1 maximum performance Max- P operating mode (< 15 watts) delivers up to 2x performance vs. Jetson TX1 maximum performance

JETSON TX2

< 7.5 Вт энергопотребление модуля

CPU: 8 ядер ARM 64 бит

GPU: 256 ядер Pascal

2 TFlops FP16

JetPack SDK

Встраиваемый суперкомпьютер – для ИИ на конечных устройствах

59

JETSON XAVIER

JETSON TX2 JETSON XAVIER

GPU 256 Core Pascal 512 Core Volta

DL Accelerator - NVDLA x 2

Vision

Accelerator- VLA – 7 way VLIW Processor

CPU 6 core Denver and A57 CPUs 8 core Carmel CPUs

Memory8 GB 128 bit LPDDR4

58.4 GB/s

16 GB 256 bit LPDDR4x

137 GB/s

Storage 32 GB eMMC 32 GB eMMC

Video Encode2x 4K @30

HEVC

2x 4K @ 60 / 4x 4K @30

HEVC

Video Decode2x 4K @30

12 bit support

2x 8K @ 30 / 8x 4K @30

12 bit support

CameraUp to 6 cameras

CSI2 D-PHY 1.2 2.5Gbps/lane

Up to 8 cameras

CSI2 D-PHY 1.2 2.5 Gbps/lane

Mechanical50mm x 87mm

400 pin connector

100mm x 87mm

699 pin connector

New!

+2

x4

x2

x2

New!

New!

New!

62

МОЙ ПЕРВЫЙ ИИ ПРОЕКТ ЗА 2 ДНЯ

HTTPS://DEVELOPER.NVIDIA.COM/EMBEDDED/TWODAYSTOADEMO

64

DEEP LEARNING INSTITUTE

Миссия DLI : помощь исследователям в решении самых сложных задач с помощью ИИ.

Мы помогаем разработчикам, data scientist’ами инженерам осваивать deep learning, учим оптимизировать и применять нейросети, чтобы совершать прорывы в таких областях как медицина, робототехника, автомобильные автопилоты, бизнес и потребительские услуги

www.nvidia.ru/dli

65

DLI TEACHING KIT

‒ Основан на курсе Deep Learning by Yann LeCun’sat NYU

‒ Полный набор учебных материалов

‒ Лекции и презентации

‒ Лабораторные и примеры с решениями

‒ Тесты и экзаменационные вопросы

‒ GPU ресурсы

‒ Доступ к облачным ресурсам NVIDIA DLI Qwiklab для студентов

‒ До $125 Amazon Web Services (AWS) GPU instances для студентов и $200 для преподавателя в семестр

https://developer.nvidia.com/teaching-kits

Свободный доступ для преподавателей!

Курсы читаются в:

66

Лабораторные работыДесятки прикладных лабораторных работ по deep learning

Некоторые темы:• Object detection• Image classification • Image creation using Generative Adversarial Networks• Image segmentation • Signal processing • Medical image analysis • Medical image segmentation • Deep learning for genomics using DragoNN with Keras and Theano• Trading strategy for finance using LSTMs

67

ЦЕНТР КОМПЕТЕНЦИИ ПО ИИ В ЛЭТИ

Заместитель директора департамента науки

Гайворонский Дмитрий Вячеславович

dvg@etu.ru

68

www.nvidia.ru/inception

ПРОГРАММА

ПОДДЕРЖКИ AI-

СТАРТАПОВ

NVIDIA INCEPTION

69

ЭКСКЛЮЗИВНЫЕ ВОЗМОЖНОСТИ И ПОДДЕРЖКА

Инвестиции Маркетинговая

поддержкаТехническая

поддержка

ОбучениеСкидки на оборудование

73

ПОДАТЬ ЗАЯВКУ: www.nvidia.ru/inception

74

DEVELOPER.NVIDIA.COM

76

РЕСУРСЫ

GTC on Demand – полный архив презентаций с конференций GTC со слайдами и видео: http://on-demand-gtc.gputechconf.com/gtcnew/on-demand-gtc.php

NVIDIA Developer Portal – портал для разработчиков с инструментами, документацией, доступом к поддержке: https://developer.nvidia.com/

Deep learning Institute – он-лайн курсы по DL, лабораторные работы:www.nvidia.ru/dli

78

ОСНОВНЫЕ МЫСЛИ

1. ИИ востребован повсюду

2. Это большая свободная ниша для бизнеса и возможность хорошего трудоустройства

3. Стоимость освоения технологии на базовом уровне - низка

Антон Джораев, adzhoraev@nvidia.com

ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ