Облачные среды для Больших данных › sites › all › themes ›...
Transcript of Облачные среды для Больших данных › sites › all › themes ›...
![Page 1: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/1.jpg)
Облачные среды для Больших данных
с.н.с. Антоненко В.А.
Кафедра АСВК ф-т ВМК МГУ
Лаборатория Систем Управления Облачными Вычислениями
![Page 2: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/2.jpg)
Спектр подготовки специалистовНаиболее востребованные и дорогостоящие ИТ-специалисты в 2019 году:*
• Full-stack developers
• Help desk and desktop support specialists
• IoT specialists
• Network administrators
• Security professionals (information, data, network, systems)
• Systems administrators
• Business intelligence analyst
• Cloud architect
• Cloud systems engineer
• Data scientist
• Database developer
• Developer (web, software, mobile)
• DevOps engineer
* Technology’s 2019 IT salary report17.03.2020 http://cloudlab.cs.msu.ru/
![Page 3: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/3.jpg)
Моделированиекомпьютерных сетей
http://cloudlab.cs.msu.ru/
Учебные курсы: - Имитационное моделирование в исследовании и разработке
информационных систем- Компьютерные сети и телекоммуникации (дополнительные главы)- Основы технологии и современные сети Wi-Fi (часть 1)- Моделирование современных систем связи (часть 1)
17.03.2020
![Page 4: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/4.jpg)
Хосты
Сервера
Сетевое оборудование
http://cloudlab.cs.msu.ru/17.03.2020
![Page 5: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/5.jpg)
Хосты
Сервера
Сетевое оборудование
http://cloudlab.cs.msu.ru/17.03.2020
![Page 6: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/6.jpg)
MININET
![Page 7: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/7.jpg)
MININET
![Page 8: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/8.jpg)
Глобальная сеть
![Page 9: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/9.jpg)
Глобальная сеть
Более 2 200 000 000 пользователей Постоянно меняющаяся топология
Огромное количество сетевых протоколов
Различное сетевое оборудование
![Page 10: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/10.jpg)
Глобальная сеть
Более 2 200 000 000 пользователей Постоянно меняющаяся топология
Огромное количество сетевых протоколов
Различное сетевое оборудование
![Page 11: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/11.jpg)
Возможно ли исследоватьсетевую активность в столь
огромной сетис динамически изменяющейся
топологией?
![Page 12: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/12.jpg)
Возможно ли исследоватьсетевую активность в столь
огромной сетис динамически изменяющейся
топологией?
![Page 13: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/13.jpg)
Mininet Cluster Editionмасштабируемое решение
на основе механизмов легковесной виртуализации
ОС Linux
![Page 14: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/14.jpg)
Mininet Cluster Editionмасштабируемое решение
на основе механизмов легковесной виртуализации
ОС Linux
![Page 15: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/15.jpg)
Идея – моделировать структуру сети на кластерной архитектуре
![Page 16: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/16.jpg)
Идея – моделировать структуру сети на кластерной архитектуре
![Page 17: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/17.jpg)
![Page 18: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/18.jpg)
Расширение Mininet
Mininet
h210.0.0.2
h210.0.0.3
h310.0.0.4
s1 : OpenFlow Switch(OpenVswitch)
s1-eth0 s1-eth1 s1-eth2
h1-eth0 h2-eth0 h3-eth0
![Page 19: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/19.jpg)
Расширение Mininet
Mininet
h210.0.0.2
h210.0.0.3
h310.0.0.4
s1 : OpenFlow Switch(OpenVswitch)
s1-eth0 s1-eth1 s1-eth2
h1-eth0 h2-eth0 h3-eth0
eth0s1-eth3
![Page 20: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/20.jpg)
Расширение Mininet
Mininet
h210.0.0.2
h210.0.0.3
h310.0.0.4
s1 : OpenFlow Switch(OpenVswitch)
s1-eth0 s1-eth1 s1-eth2
h1-eth0 h2-eth0 h3-eth0
eth0s1-eth3
![Page 21: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/21.jpg)
Mininet
Mininet кластер
Mininet
Mininet Supervisor Console
Mininet
MininetMininetMininet
SSH SSH SSH SSH SSH SSH
![Page 22: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/22.jpg)
Mininet
Mininet кластер
Mininet
Mininet Supervisor Console
Mininet
MininetMininetMininet
SSH SSH SSH SSH SSH SSH
![Page 23: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/23.jpg)
Mininet ClusterУправление сетевыми потоками между узлами Mininet CE
Mininet Supervisor Console
RemoteController RemoteController RemoteController
Controller(POX)
RemoteController RemoteController RemoteController
![Page 24: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/24.jpg)
Структура кластера Mininet CE
Mininet CE
OS (Ubuntu 12.14)
Mininet
Python
Python-Scapy
СоздатьMininet CE
“sudo” пользователя(+ ssh key)
![Page 25: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/25.jpg)
Развертывание Mininet CE кластера
Mininet Supervisor Console Mininet script
Mininetnodescript
Mininetnodescript
Snifferscript
Generatorscript
Snifferscript
Generatorscript
Snifferscript
Generatorscript
Snifferscript
Generatorscript
Generatorscript
Generatorscript
Mininetnodescript
Mininetnodescript
Mininetnodescript
Mininetnodescript
Controller(POX)
Snifferscript
Snifferscript
![Page 26: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/26.jpg)
Controller(POX)
Процесс распространения червя в Mininet CE кластере
Mininet Supervisor ConsoleMalware Propagation Conductor
Malware Center
packetsniffer
packetgenerator
жертва
атакующий
1) Генерация IP жертвы 6) Обновление уровня заражения
2) Установка сниффера3) Установка генераторасетевых пакетов
4) Маршрутизация пакетов
5) Подтверждение передачи червя
7) Начать следующий шаг распространения
![Page 27: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/27.jpg)
Масштабы воспроизводимойсети Mininet CE на инфраструктуре ARCCN
MininetMininet
Mininet Supervisor Console
Mininet
MininetMininetMininet
SSH SSH SSH SSH SSH SSH
Количество процессов хостов на одном экземпляре Mininet: до 2000
Количество экземпляров Mininetна одном сервере: 15
Количество доступных серверов: 2
ИТОГО: ~ 30 тыс. узлов в графе сети
![Page 28: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/28.jpg)
0
1000
2000
3000
4000
5000
6000
7000
8000
1 3 5 7 9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
39
41
43
45
47
49
51
53
55
57
59
61
63
65
67
69
71
73
75
77
79
81
83
85
87
89
91
93
95
97
99
10
1
Current Try Total
Моделирование распространения червя Sasser
![Page 29: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/29.jpg)
0
1000
2000
3000
4000
5000
6000
7000
8000
1 3 5 7 9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
39
41
43
45
47
49
51
53
55
57
59
61
63
65
67
69
71
73
75
77
79
81
83
85
87
89
91
93
95
97
99
10
1
Current Try Total
Моделирование распространения червя Sasser
![Page 30: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/30.jpg)
0
50
100
150
200
250
300
350
400
450
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97 100
Скорость заражения червём Sasser
![Page 31: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/31.jpg)
0
50
100
150
200
250
300
350
400
450
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97 100
Скорость заражения червём Sasser
![Page 32: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/32.jpg)
0
50
100
150
200
250
300
350
400
450
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97 100
Скорость заражения червём Sasser
![Page 33: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/33.jpg)
Разработка систем оркестрацииоблачных приложений
http://cloudlab.cs.msu.ru/
Учебные курсы: - Архитектура современных компьютеров- Облачные вычисления и виртуализация информационных ресурсов
17.03.2020
![Page 34: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/34.jpg)
Pizza as a Service
http://cloudlab.cs.msu.ru/17.03.2020
![Page 35: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/35.jpg)
Pizza as a Service 2.0
http://cloudlab.cs.msu.ru/17.03.2020
![Page 36: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/36.jpg)
CPEконтролер
Функция 1Функция m
СервисCPE 1
Клиенты
Интернет
Портал самообслуживания
E-Commerce CORE
Функция nФункция 1
Сервис• Подписка на FE в shared | dedicated режимах
• Динамическое размещение FE модулей
FE 1
FE 2
FE 3
FE 4
CPE 2
http://cloudlab.cs.msu.ru/17.03.2020
![Page 37: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/37.jpg)
Оптимизация процесса доставки контента в CDN сетях
http://cloudlab.cs.msu.ru/
Учебные курсы: - Планирование вычислений в распределённых системах- Управление сетевыми ресурсами и качеством сервиса- Архитектура управляющих систем реального времени
17.03.2020
![Page 38: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/38.jpg)
Abstract CDN
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
http://cloudlab.cs.msu.ru/17.03.2020
![Page 39: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/39.jpg)
Scalable Video Coding
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
SHVC switch
SHVC switch
>
http://cloudlab.cs.msu.ru/17.03.2020
![Page 40: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/40.jpg)
CDN Element as a service
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
Transit
Transit
Transit
Transit
Transit
Orchestrator Orchestrator
SHVC switch
Cache
Cache Cache
SHVC switch
Cache
Cache
Cache
Transit
Cache
SHVC switch
Cache
http://cloudlab.cs.msu.ru/17.03.2020
![Page 41: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/41.jpg)
5G. Сети следующего поколения
http://cloudlab.cs.msu.ru/
Учебные курсы: - Компьютерные сети и телекоммуникации (дополнительные главы)- Технологии сотовой связи- (Спецкурс) по сетям 5-го поколения
17.03.2020
![Page 42: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/42.jpg)
Обсуждение 5G
• Текущие проекты• Runos
• C2
• Opensource (github)• srcLTE
• srcUE
• srcENB
• srsEPC
• nextEPC• MME, SGW,
• PGW, HSS, PCRF
C2
Runos
NextEPC
srcUE srcENB
NextEPC
C-RAN17.03.2020 http://cloudlab.cs.msu.ru/
![Page 43: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/43.jpg)
Инфраструктура
C2Runos NextEPC srcENB
E2E Orchestrator
Сетевые пласты
Предполагаемые программный стек
17.03.2020 http://cloudlab.cs.msu.ru/
![Page 44: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/44.jpg)
C-RAN
Инфраструктура
C2Runos NextEPCsrcENB
E2E Orchestrator
Сетевые пласты
Предполагаемые программный стек
17.03.2020 http://cloudlab.cs.msu.ru/
![Page 45: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/45.jpg)
C-RAN
Инфраструктура
C2RunosAUSF
srcENB
E2E Orchestrator
Сетевые пласты
Предполагаемые программный стек
UDM
PCF AF
17.03.2020 http://cloudlab.cs.msu.ru/
![Page 46: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/46.jpg)
Scalable horizontal architecture and algorithms for stateful
middle Service of public cloud
![Page 47: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/47.jpg)
Reference view
Instance 1 Instance n
. . .
packets
ARCCN 47
![Page 48: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/48.jpg)
Requirements of Scaling
• Multiple instances work like a single instance, no matter how many and where they are
• High performance • High throughput
• Low latency
ARCCN 48
![Page 49: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/49.jpg)
Traditional Model: Local state
Instance 1 Instance n
. . .
packets
• NF states are in local memory
No sharing support Incorrect behavior when scale-out
ARCCN 49
![Page 50: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/50.jpg)
Remote State
Instance 1 Instance n
. . .
packets
• All state management is offloaded to remote storage
Losing throughput Inflating packet latency
ARCCN 50
![Page 51: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/51.jpg)
Local+Remote Model
Instance 1 Instance n
. . .
packets
export, import, merge state
State controller
Centralized controller keeps state locality and consistency+
Proactively prepare state before it is accessed ”Stop the World” Problem=>
Latency problem
ARCCN 51
![Page 52: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/52.jpg)
Distributed Shared Space
Instance 1 Instance n
. . .
packets
Locally distributed
Any NF can access to any state
State sharing
No system-wide pausing during scaling events
ARCCN 52
![Page 53: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/53.jpg)
Object for NF State Abstraction
• Object encapsulation enables easy state management
Data
Operations
Interfaces
ARCCN 53
![Page 54: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/54.jpg)
Optimization Strategies for NF State
• Partitionable vs Non-partitionable
• Read-heavy vs Write-heavy• Caching
• Non-blocking updates Merging local replicas
ARCCN 54
![Page 55: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/55.jpg)
Shared Object Space Architecture
NF App(For example DVPS)
Key space
Object space
Instance A Instance B
get(key1)
hash(key1)
where(key1)
Obj1 create new object or access existing object
ARCCN 55
![Page 56: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/56.jpg)
Scaling Requires Space Reorganizing
NF App(For example DVPS)
Key space
Object space
Instance A Instance B
get(key1)
hash(key1) hash_v2(key1)
where(key1)
Obj1 Changing locality of state
Instance C
New hash function for key distribution
ARCCN 56
![Page 57: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/57.jpg)
State Migration
NF App(For example DVPS)
Key space
Object space
Instance A Instance B
get(key1)
hash(key1) hash_v2(key1)
where(key1)
Obj1 Changing locality of state
Instance C
Key ownership is also transferred for new hash
Obj1
ARCCN 57
![Page 58: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/58.jpg)
Implemetation
• Compiler• Generates object wrappers
• Runtime• To share state among NF instance
• Applications• Lib to describe state in NF apps
ARCCN 58
![Page 59: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/59.jpg)
Scale out example
ARCCN
Inst 1 Inst n
. . .
packets
Inst 1 Inst n
. . .
packets
Inst n+1
Scale out
Inst 1 Inst n
. . .
packets
Inst n+1
Context migration
Switch +
SDN controller
Switch +
SDN controller
Switch +
SDN controller
59
![Page 60: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/60.jpg)
WARP: WAN Connection Bandwidth Monitoring and Prediction
60
![Page 61: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/61.jpg)
Distributed NFV platform example
61
WAN Manager
WAN
VIM1 VIM2
Virtual Infrastructure Domain 1
Virtual Infrastructure Domain 2
VNF1proxy
VNF2Anti-DDoS
user Internet25 Mbps
![Page 62: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/62.jpg)
Distributed NFV platform example
62
WAN Manager
WAN
VIM1
10 Gbps
10 Gbps
10 Gbps
VIM2
? Gbps
bandwidth
time
10 Gbps
10 Gbps
10 Gbps
![Page 63: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/63.jpg)
Key idea
We can use WAN connection as a predictable resource by monitoring its state and using obtained
measurements to predict it
63
![Page 64: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/64.jpg)
Full bandwidth
64
• Full bandwidth = consumed + available bandwidth• Full bandwidth – 𝑣𝑖𝑟𝑡𝑢𝑎𝑙 𝑙𝑖𝑛𝑘𝑠 𝑏𝑎𝑛𝑑𝑤𝑖𝑑𝑡ℎ = available for allocation
allocatemore virtual links
migrate existing links
>0 <0
Consumed bandwidth
Available bandwidth
ban
dw
idth
time
![Page 65: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/65.jpg)
Monitoring
We need to monitor full bandwidth• without affecting existing data flows (user traffic should be safe)
• without consuming all available bandwidth (it is not rational and expensive)
• with constant period (to react to unpredicted bandwidth decrease)
65
![Page 66: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/66.jpg)
WARP Monitoring
66
Available bandwidth monitoring (Yaz)
Client vm + server vm
Consumed bandwidth monitoring (SDN controller)
SDN switch as a VIM gateway
![Page 67: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/67.jpg)
Prediction
ban
dw
idth
timeprediction timenowhistory (samples)
𝑡𝑠 𝑡𝑠
67
α
Prediction (𝑏𝑤𝑒𝑠𝑡) should be• α-safe (real bandwidth ≥ 𝑏𝑤𝑒𝑠𝑡 in α*100% measurements, e.g. 0.95-safe)• accurate (lower prediction entails higher resource
underutilization)
𝑏𝑤𝑒𝑠𝑡
![Page 68: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/68.jpg)
Prediction
68
ban
dw
idth
timeprediction timenowhistory (samples)
𝑡𝑠 𝑡𝑠
𝑏𝑤𝑒𝑠𝑡
𝑏𝑤𝑒𝑠𝑡= 0 is the safest estimation, the real bandwidth is never less than 0!
safeaccurate
![Page 69: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/69.jpg)
Примеры тем курсовых работ
• Разработка системы первичной настройки клиентских устройств для доступа к облачным сервисам
• Разработка и реализация системы холодного старта функции для бессерверных вычислений
• Разработка и реализация системы управления сетевыми туннелями для транспортной программно-конфигурируемой сети
• Разработка алгоритма распределения трафика для SD-WAN решения
• Разработка архитектуры облачной инфраструктуры для Интернета вещей на базе виртуализации сетевых функций
• Разработка и реализация системы управления виртуальными сетевыми функциями в облачной платформе
17.03.2020 http://cloudlab.cs.msu.ru/
![Page 70: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/70.jpg)
Примеры тем дипломных работ
• Разработка метода автоматического масштабирования для системы прототипирования компьютерных сетей
• Разработка системы управления Интернета вещей на базе облачной инфраструктуры
• Разработка и реализация системы контроля версий виртуальных сетевых функций в облачной платформе
• Разработка системы надежного и масштабируемого виртуального сетевого сервиса в облачной среде
• Разработка системы контейнерной виртуализации для построения моделей компьютерных сетей
• Разработка системы описания сценария прогона в унифицированной среде проведения экспериментов GRANIT
17.03.2020 http://cloudlab.cs.msu.ru/
![Page 71: Облачные среды для Больших данных › sites › all › themes › ...Облачные среды для Больших данных с.н.с. Антоненко](https://reader036.fdocuments.in/reader036/viewer/2022081407/5f24b9b27ac7cd0bd370c2f8/html5/thumbnails/71.jpg)
Вопросы ?
Контакты
• Антоненко Виталий Александрович• [email protected]
17.03.2020 http://cloudlab.cs.msu.ru/