Deep learning (20170213)
-
Upload
ivaylo-popov -
Category
Technology
-
view
672 -
download
1
Transcript of Deep learning (20170213)
![Page 1: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/1.jpg)
Deep LearningIvaylo Popov
13/02/2017
![Page 2: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/2.jpg)
Защо дълбоки невронни мрежи?
● По-добри резултати от предишните методи:○ Изображения, говорима и писмена реч
○ Роботика, автономни автомобили, управление на системи
● Голям интерес в много индустрии: VW, Google, ...
● Подобен начин на работа с човешкия кортекс
● Artificial general intelligence (AGI)
● Нови технологии с динамично развитие
![Page 3: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/3.jpg)
С две думи за мен:
Високо-честотно търгуванеХедж фонд, Германия (2010-)
Роботика, научни изледванияDeepMind, Лондон (2015-)
![Page 4: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/4.jpg)
С две думи за DeepMind
DeepMind Research
● Reinforcement learning● Роботика и контрол● Памет, генеративни модели● Starcraft
DeepMind Applied
● Здравеопазване и за Google продукти
![Page 5: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/5.jpg)
Разпознаване на изображения
![Page 6: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/6.jpg)
Сегментация, оцветяване, ...
![Page 7: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/7.jpg)
Генериране на изображения
![Page 8: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/8.jpg)
Говорима реч: разпознаване и синтезиране
![Page 9: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/9.jpg)
Писмена реч: генериране, превод и диалогови системи
![Page 10: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/10.jpg)
Мултимодални: от изображение до заглавие
![Page 11: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/11.jpg)
Reinforcement learning: игри
DQN playing Atari Breakout AlphaGo playing vs. Lee Sedol
![Page 12: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/12.jpg)
Reinforcement learning: роботика и контрол
Хващане на обекти с роботизирана ръка (Google)
![Page 13: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/13.jpg)
Огромен интерес в ИТ и други индустрии
![Page 14: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/14.jpg)
Връзки с начина на работа на мозъка
Универсалност на мозъчната кора
Backpropagation в мозъка: G. Hinton, Y. Bengio, T. Lillicrap
Backpropagation - STDP(spike-time dependent plasticity, пластичност на синапсите)
Допамин - reinforcement сигнал
![Page 15: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/15.jpg)
Слоеве и филтри
Съответствие на зрителните слоеве с определени зони на мозъчната кора
Габор-филтри в невронни мрежи иневрони реагиращи на ориентация в мозъка
![Page 16: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/16.jpg)
История
1960’ Поредица от нелинейни операции; chain ruleKelley, 1960; Bryson, 1961; Bryson and Denham, 1961; Pontryagin et al., 1961; Dreyfus, 1962; Bryson and Ho, 1969
1980’ Популяриция на backpropagation за невронни мрежиRumelhart, D. E., Hinton, G. E., and Williams, R. J., 1986
1990’ Конволюционни мрежи и LSTM рекурентни невронни мрежиLeCun et al., 1989, 1990, 1998, Hochreiter and Schmidhuber, 1997
2000’ Deep learningПред-трениране на дълбоки мрежи със стек от RBM, Hinton and Salakhutdinov, 2006
![Page 17: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/17.jpg)
Режим на количеството данни
![Page 18: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/18.jpg)
Малко теория
● Типове машинно обучение
● Невронни мрежи
● Графове
● Трениране
![Page 19: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/19.jpg)
Типове машинно обучение
Тип машинно обучение Данни Целеви стойности
Supervised learning Фиксирани Зададени
Unsupervised learning Фиксирани Не са зададени
Reinforcement learning Динамични Reward
![Page 20: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/20.jpg)
Reinforcement learning
![Page 21: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/21.jpg)
Невронни мрежи - класически поглед
![Page 22: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/22.jpg)
Невронни мрежи - генерализация
Директен ацикличен граф (DAG) от
● Входни данни (зададени стойности)
● Диференцируеми операции
○ Матрично умножение
○ Нелинейни операции
○ Гейтинг (умножение точка по
точка)
○ Dropout, batch нормализация, ...
● Целева фунция (MSE, cross-entropy)
● Параметри (променливи)
![Page 23: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/23.jpg)
Платформи
![Page 24: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/24.jpg)
Трениране
1. Граф от деференцируеми операции
2. Backpropagation (chain rule) - обратно разпространение на грешката
Mетод за изразяване на градиента на съставна функция по отношение на аргумените
… целевата функция по отношение на параметрите
3. Stochastic gradient descent (SGD)
Итеративен алгоритъм за оптимизация (с мини-батчове)
4. Adam, Rmsprop
По-ефективни (+ статистики от първи и втори ред)
Всичко това получаваме наготово в TensorFlow
![Page 25: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/25.jpg)
Преизвикателства в тренирането
1. Локални минимуми
2. Седловининни точки
3. Overfitting
4. Изчезване на градиента (diminishing gradients)
5. Дългосрочна памет (също long term credit assignment)
![Page 26: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/26.jpg)
Седловинни точки
![Page 27: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/27.jpg)
Предизвикателства в тренирането
1. Локални минимуми
2. Седловининни точки
3. Overfitting
4. Изчезване на градиента (diminishing gradients)
5. Дългосрочна памет (също long term credit assignment)
![Page 28: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/28.jpg)
Overfitting
![Page 29: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/29.jpg)
Методи за регуляризация● Ранно спиране на тренирането
● Рекурентни и конволюционни слове
● Dropout
● Batch нормализация
● Добавяне на шум в данните
● Генереране на данни
● Използване на допълнителни данни
● Стохастични слоеве
Всички промени по архитектурата и тренирането - регуляризация или prior
![Page 30: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/30.jpg)
Регулярицация с валидация и ранно спиране
![Page 31: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/31.jpg)
*Слоеве - съвкупност от няколко операции
● Конволюционни (convolutional)
● Секвенционни / рекурентни (recurrent)
● Batch нормализация, dropout и много други
Специални слоеве и операции
![Page 32: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/32.jpg)
Конволюционни слоеве
![Page 33: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/33.jpg)
Секвенциални / рекурентни слоеве (recurrent)
![Page 34: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/34.jpg)
Примерни приложения● Residual networks
● Sequence-to-sequence модел за превод на текст
● Generative adversarial networks (GAN)
● PixelCNN
● WaveNet
● Tree search + policy / value мрежи (AlphaGo)
● Контрол с дискретни действия (DQN)
![Page 35: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/35.jpg)
Все по-дълбоки мрежи за изображения
![Page 36: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/36.jpg)
Residual мрежи за класификация
Deep Residual Learning for Image Recognition, He et al., 2015
![Page 37: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/37.jpg)
Sequence-to-sequence модел за превод
![Page 38: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/38.jpg)
Generative adversarial networks (GAN)
![Page 39: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/39.jpg)
Generative adversarial networks (GAN)
![Page 40: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/40.jpg)
PixelCNN - генериране на изображения
![Page 41: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/41.jpg)
PixelCNN - генериране на изображения
![Page 42: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/42.jpg)
WaveNet - генериране на говорима реч
![Page 43: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/43.jpg)
Контрол с дискретни действия (DQN)
● Конволюционна Q-мрежа
● Памет с предишен опит
● Q-reinforcement learning
● Target мрежи
![Page 44: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/44.jpg)
AlphaGo - policy/value мрежи
![Page 45: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/45.jpg)
Работен процес на научно изследване1. Начална версия на модел и метода за трениране - baseline
2. Малки и изолирани промени
3. Дефиниране на очакваните резултати
4. Експерименти (тестове)a. Бързи експерименти (малък брой вариации, <1 ден)
b. Широки експерименти (голям брой вариации, 1-30 дни)
5. Визуализиране и анализиране резултатите
6. Обясняване на резултатите и търсене на грешките навреме
7. Запазване и документиране на нови baselines
![Page 46: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/46.jpg)
Визуализиране на резултати с IPython
![Page 47: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/47.jpg)
Самообучение● Основи линейна алгебра и анализ
● Книги:a. Deep Learning, Goodfellow et al. 2016
b. Машинно обучение: C. Bishop, K. Murphy, Hastie and Tibshirani, и други
c. Reinforcement learning: R. Sutton
● Онлайн курсове и лекции:d. Machine learning course, Andrew Ng (Coursera)
e. Machine learning lectures, Nando de Freitas (University of Oxford)
f. Reinforcement learning lectures, David Silver (UCL)
![Page 48: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/48.jpg)
Самообучение - продължение...● Статии:
○ Следване на новостите в arxiv и google (автори, катедри, компании, ...)
○ Конференции
■ NIPS - Neural Information Processing Systems
■ ICML - International Conference on Machine Learning
■ ICLR - International Conference on Learning Representations
● Експериментиране с последни модели от статии (github)
● Kaggle - успешни решения и практики
![Page 49: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/49.jpg)
Хардуеър
● CPU - евтино и достатъчно бързи за non-CNN* ● GPU - изкючително бързи за CNN● Специализирани - напр. Google TPU
● Локална машина - бързи експерименти● Cloud - широки експерименти
![Page 50: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/50.jpg)
Настояще и бъдещеDeep learning вече революционира:
● Oбработка на изображения, видео, писмена и говорима реч● Автономно управление на автомобили и дронове● Автоматизация в маркетинг, продажби и доставки● Здравеопазване● Виртуални асистенти и чатботове● Автоматизация и роботика
![Page 51: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/51.jpg)
Автоматизация и роботика в Ocado Technology
Системи за контролРоботика
Маршрутизиращи системиМашинно обучение CRM и SCM
Симулатори
![Page 52: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/52.jpg)
Международни компании
shivonzilis.com
![Page 53: Deep learning (20170213)](https://reader031.fdocuments.in/reader031/viewer/2022030313/58ac18a61a28ab33178b6d0f/html5/thumbnails/53.jpg)
Thank you!
Ivaylo . popov @ hotmail . com
LinkedIn | Facebook