A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine...
Transcript of A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine...
A Survey Of Data Center Network Virtualization ����� ������, ����� �����, ����� ��������, ����� �������, �� ��!" �#$"���!�, �� %�� ������
�������� - ���!&���'��(�����&!�!��������(�)���*��*�!&�#������)+��,��������"��-� .'�!"&���' (Data centers :DCs) ��;���(#��(����������<�������,�������������� ����-,&���' �� ��=*�����-�>��"���?(���@�����=+�#����(*��*�!=����=*�,������)�?�&A�!��������)+�� �+A� �������������(#, cloud computing ,A�!)��J#��(������)+����,������K�*��)������#�������!��� multi-farious (*�A�! ����-,&���', )K���N����K � # �� , �,��" �� ��" , � ���O# ) ,� �) �#��� � #��( K � ��; � ����P�!����.'�!"&���' ��( �� �!'A !� # &��)���*!?�*!�A ���( ����������<����( ���������������)+���*A���J ��,����"=�������,��������,�(K�&�# Qos, �����@��, ��� �������(����������$�)������<�!�R�#������� ��� .'�!"&���'�)�?�&A�!���?�� ��#��;���������������P�*���(��;��!'A .'�!"&���'���?��)?���(#��(���#=*��*-��S# ��� �������(����A� ��)���!?�*!�A� �������(K� ���,&���T�� =+�����!���������!+�"���&SJ���=+���##������������<�� =�,�)�����J����K������)�?�&A�!.'�!"&���'���?����(��;��!'A ��#=�&N���J =*���!����!�����!,���!,#�����"��!" ����<����!�S#*��&��������)"#���� �!��?(�#���� �!=����)���+�J=*��*-��S#.��!<����!��#��?(�����P�*����(!���,�������,,.'�!"&���' �������� : �������� ������� ��, ��������������� ���, ������� ���� ���
1. !"��� � ���� ��� ��!"������� ���#����$%� �&�$�'(������)*$�)����)+�"�,����)���%�#�����-.�/�+% � !$%� $0� $ ����$ �(1�2 �3���� �+������2�#��4���� �����#(3' 5��*6��")�&�3����7���%��5�++���$1�����#(3' (���220������8�-���#(3' �1 � Amazon, Google, Facebook and Yahoo! ��(1�������� ���+���2�#��4�, $��3���� ��, ������ %�K����#(3' +��� ���������#��) Cloud Computing ���(3���������)K��(3�������(�������� �������Q�.0���2-!� ! ��$ � 3���� 7R�)��Q��-��--!��&�$�' ��(��-$*�*�!������-���)�0��3��� (����$
�R)5 �% �(���220���������� �� !$%� �&�$�' 5 �������� ��)������� ���)� �#�������+�S���- �-!�$%� *#���5��%������� ��(1� Dedicated server (�������5�++���$1�� !K�-&�(3����-&�)����)�7�X�%��� !�����-.�/�+5����-0�(����#&�����)����) /�3��)2�� !�-$*�*�!�7�X�%����� ���1 %5����'3�#�)�� �%�#� �1 � VMware[4], Xen[5] 7R�)�$����)$� +�%����3�R�)�$����)�� ��� !�$����)$� +�%������ ����#�3���$����) �-$*�*�!�!"�� ���5������-.�/�+��)�$����)-!�-&�)��� % ����#� �+���������0)�����-.�/�+��)5�++���$1��5���a�)������*2 ! � �)���4� �7�X�%����� ����$����) �#!%� �+!)+� ����2&���#-!��� -�" )3 #2���������� ������� ��(���220��� *#�b+��� �)��)�$���� �������� ���)$)���� TCP/PC 5���#� K���+.�-!����#�R"�-!� !���2&���##�)�!"
1. T�A������!���������<������K�#�� : -0�%���!" Cloud Application �1 � Search Engines 5�� Web services !���2&���#�����)���-&�)�����$���� � (����5�� latency 5�� throughput � �)���4� �-$*�*�!�$���� �-0�%���!" �� ���(3�������-!�#!-!��0#�- �-!�2�-&��#�*#� �� ���5������-.�/�+���-&�)���#� 2R)��Q������)��-!�2�$�#���j��R)$0j/�+��)�������&�3���5�++���$1���3� ��!"�#�
2. ��)������(!#���(�&SJ� : ������� ���$���� �5���#� � �� ���2&���#���5��$%� ��)���5��5��#�%�#.�(�5 ��5�++���$1���#� � )K�(3��$���� ����*2 !2��/�(��#�) ��R"� �1 � ������%����-&�)�� 5�� ���*2 ! Denial of Service (DoS)[6]
3. ������,���#������)+��T�A)A�!�� : -0�%���!"5�++���$1���&�3����)$������(3' (1�*��*$���b+����)5 ��5�++���$1��5�� address spaces[7] �����5�++���$1���3� ��!"���)�/�+5%#��� 5��������� �� ��Q��0����$��&�$�'�����)2�� ��2� !$%� 0 )��(�����������!��*��*$��5��10#$&����)��)5�++���$1��
4. K����)���!?�*!�A���� ����� : (��/�+5%#��� ��)������� ��-!�-�")�7�X�%���5���$���� � !���(1�)��3��*��5�� � % �%5�++���$1����)2�#����)$��������$������+���$%� 3���3��
��)20# 0 )3 � �1 � ���-&�)�� load balancing, ���%��$���3����K�#+��#5������a�)���$%� ���#/� � �)���4� �������� �$���� �������� ��5���#� � !$%� �#30 ��&�3���K���1 ��+���2�#����)$��������3� ���"�(�������� ��
5. T�A���,�������������)�?�&A�!=*�A : �����)2��������� ��5���#� � !$%� �#30 �-&�(3�� �� ������#�%����� (3 �R"� ��#� ��Q�K�(3���-!�2����!��5��)������� ��5���#� �1 � �����+���# network protocol 3���� !�������$���� �5��(3 (�����%-&�(3������-.�/�+(�����)-0��#�)
2�����2&���#����!" ���2�����)��%�2�-!���!�%���)����$���� �������� ���� ���#�)�!" ����#4�5��$����0�)��%�2�-!�K �� � ��)$�����!��-!��������� -!��&�$�' �0#-��1!"(3��34��R))��%�2�(����$
3��)2���-�&�2� !3�%���#�) ����!" $&���+-�5��$&�2&���#$%� -!���!�%���) (� %�-!� 2) ��#����Q������0��������(� %�-!� 3) -!���!�%���)5�����!��-!�2�� 0) �) �)r (� %�-!� 4) 5�� (� %�-!� 5) 2��� �%�R))��%�2�-!�2�-&�(����$5���0#-����Q������0��-$%� �!"(� %�-!� 6)
2. �$��%&'��� (�� %��!"���2��&�����$&���+-�-!���!�%���)����$���� �������� ���� ���-!����2�(1�(��-$%� �!" ���)-!� I (1�5�#)��������8� �-!�(1���#�-$%�
Acronym Description
DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack AS Aggregation Switch CR Core Router InP Infrastructure Provider SP Service Provider IaaS Infrastructure-as-a-Service
���)-!� 1 5�#)���8� �-!�(1�(��-$%�
,. -.��/012�.3
������� ��(data center: DC) ������#�% �$����)�7�X�%��� �%2�#��4�5���0���j��$���� � �1 � �%�-�, ����-����� 5�����$���� ����2 ��XXa� ��������$%� ���� ������� ���$���� � $�� *$�)����)+�"�,������������-!�(1�(�������� �� 5����Q��%���2�*-*+*�!�$���� � �0���j����-��")/�%�-� 5��(1�*��*$�� �1 � �!�-�����45����+! ����!"���2��&����*$�)����)-��%��-!�(1�(�������� ��5��*$�)����)����-!�K��%�2����������%�
���-!� 1 *$�)����)������� ���$���� �5���#�
���-!� 1 5�#)*$�)����)-��%����)�$���� �������� �� [9] (�*$�)����)�!" Top-of-Rack(ToR) 2�����(���������R)5 ��������(3��1��� ����)�7�X�%���-!��#�� ���5�4$-0��% 5 �� aggregation switch(AS) (�1�"���) aggregation (��)$��")���)�R)������2�������) � )5 2����������R)3��������(Tor) �������R) core layer �%�-� ToR -0��%2��# ����)�%�-�1�"� aggregation �+���(3�� ���#$%� 7"&�7��� � %� core layer (3�$%� ���#/�(�����# ���3% �) aggregation switch 5�� core routers(CR) �# ����)����-�����4 *#�b+����j!��)*$�)����)5���#� -!���Q�*$�)����)(������� 2 7R�)(1�(��%�-������� 2 �- ���"�
*$�)����)$���(Clos topology)��Q�*$�)����)-!�����)�R"�2��3����"�����)�%�-�[10] �%�-�5 ���%(���"����# �����%�-�-0��%(���"�����#�� -!�(3�����-�)-!��%��)5��3���3���R"� ���-!� 2 5�#)�%� �)��)�� ��"�����)*$�)����)$���
Fat-tree topology ��Q� Clos topology 5��+���8-!�2�#�� (�*$�)����) tree-like 7R�)5�#)(����-!� 3 *#*$�)����)����)�R"�2���$+���(k-port) 7R�)5 ���%2�-&�)��(���������)(aggregation 5�� edge) ��)�%�-� k/2
5 ���%�-� K/2 !3�R�)+����# �����$+�#(k pods) *#+���-!� i ��) core �%�-�(#r -!��1��� ���� pod I #�)��"�+�����#��(�1�"� aggregation ��)5 ���%�-� pod -!��# ��� ��� k/2 5 ���%�-���2(edge switch) 2��# �*#�)��� k/2 5 ��+���-!��#�)��) K/2 ��)�%�-���2��Q�����# ���� k/2 +������%�-��% [2]
*-*+*�!#����� !$0j���8j�-!�����)�R"�� �)�3 ��� ����$���� �������� �� � �)���4� *-*+*�!������� ��� 2&���#*$�)����)(�� %��!" �%� �)�1 � BCube[13] ��Q��������� �$���� �������� ����*$�)����)�6�����$��(hyper-cube) ���)-!�� ���(2 ��$���� ���3�%�.!������!��-!�*$�)����)�$���� �������� ���$���� �-!���!�%���)(� [14]
���-!� 2 *$�)����)$���(Clos topology)
���-!� 3 5�#) Fat-tree topology
0. -.��/012�.3%4�52�
������� ���� �����Q�������� ��-!���Q���)� %�3���-�")3 #��)6���#5%�� �1 � �7�X�%��� ���-����� �%�-� 5�� ���1��� � �� (����5���� ���2��) *#���6���#5%��-�)��/�+��Q����2&���)
���(1�7�X�5%��3����X|�� 5%����!��6������%�7���-!�5� )5��0���j��#�3���3��5����Q������ ���� �1 � �%� �)�$����)-�)��/�+(�7�X�%���) K ��5��2&���)*#(1��6������%�7����+�������)�$����)�� ���(VMs) -!� !�������)�% ��4�$%� 20 �)r �1 � 3� %��� %�K����) 3� %$%� 2&� +�"�-!�2�#��4� 5��-&�)��(��������������5��5�++���$1��-!�5� �)����#� ������� ���� ��� ��Q�����%��% -��+����� ��� �)r �1 � VMs, virtual switch, 5�� virtual router 7R�)����1��� �K ��-�) virtual link (��j�-!� VDC $�� ������� ��-�)��/�+7R�)��Q��-$��$���������0)-��+����� ���, VDC ��Q�$ �$)-!���)������� ���� ���7R�)������2��-��+���������� ��-�)��/�+ �$���� ��� ���(VN) ��Q�����% -��+����$���� ��� ����#�5� Virtual nodes (end-hosts, switches, routers) 5�� virtual links #�)��"� VN ��Q�� %�3�R�)��) VDC 5����#����)�$���� ��� �����Q�3�R�)(���#��1�"���)�$���� � (1�"�5�++���$1���R)1�"� physical) 2�����-!� 4 5�#)�R) VDCs 2&��%� ���� ���(1�)��K ��������� ���� ���
���-!� 4 ������� ���� ���
�. Business Model
(�� %��!" ���2��� �%�R)� %�������3�����)�/�+5%#��� ��)������� ���� ���
*#�b+��� �)5����)$%� 5� �)��3% �)���5���$���� �5���� �������5���$���� ��� �����Q���� !� %�� % 3��$� *#�b+��� �)��)(��#!���% � !5$ ��)$� $�� �����+!���(ISPs) 5��K��(1�(end-users) 7R�)/�3��)�#�����(3�5��}�����+!5���#� �����Q���)� �) $�� K��(3�������*$�)����)+�"�,��(InP) 5�� K��(3�������(SP) SPs2�� InPs �+�� *�����&�3����%���� �$���� �7R�)5� )�}(����������0)%�.!����$���� � �1 � *+*$�� ������(SP) 2���}��)�2����)5���)��4�*$�)����)-�)��/�+��) InP
(�����-��)������� ���� �����"� InP ��Q����8�-�2����)5��2�#���*$�)����)-�)��/�+��)������� �� InP �1 �-��+����� ����+���(3�������5�� ����+� K���1 �5 ����2�����)������� ���� �������*$�)����)-�)��/�+��)�2����)*#(1� InP �+������������0)��)������5��5�++���$1��(3�K��(1�(����$ #�)��"�3�� SPs �� ���������0)5�++���$1���#� ���% �*$�)����)-�)��/�+��)������� ��
3. :��$�;<�"=>%,=>�$012: �$���� �������� ���� �����Q����)-!��� (�1 %)���� �� 5��)��%�2�� �����4%r �!"(3�$%� �&�$�'% �2�(1�)��X�)��1��+�"�,���#�� �)��5���� ����+�� �� � %��3��#�(����$��)-��+����$���� �������� ��5 ��� %� ���5������ ) ���� ��5�����5������-.�/�+�$���� � #�)��"����2R) 0 )����#4�-!���(2(��-$%� �!"#�)�!" ���5������ ) ���� ���������&�3�#�}-!�(1�(����� ) ���� ����3% �)*3�#�� ��� ������������5��#�%�#.�5��%�.!���(1�5��#�%�#.�� % ���*#5������-.�/�+�$���� �5�����(1�-��+����� % ���(��$���� � ���R"� � �&�#��
�-$��$ Multipath (1��&�3������2����2��2���3% �)����-�)-!� �)���(��&�#�����-&�)�� load-balancing 5�� fault-tolerance �R)� �)��"� !$0j���8j�-!�(3�K���5-�-!�$0� $ �� ��� !�������)������� ���� ��� �1 � $%� ���#/� *��5�� (1�)��) � 2�#���) � ��0���8�+��))�� 5�� fault-tolerance #�)��"������ �%������!#�+�� �� ��!�%���$0j���8j�-!�-��-���!�%���)��%�2�
(����$#����!" ������2��.���*#��)����R)���8j�-!����(3�$%� ��(2(��-$%� �!" �}����&�3�#���5������ ) ��+���� ) �5+4$��4*#(1���������)$������� 2��+���������5��+�������� FIB ��)������2��$� MAC Address �+�������+��� � ������#����#���(2��!�%������� ) �5+4$��4 ������0����(1�5��#�%�#.�� % ��� 7R�)��22�(1��0* )$���� ��$%�$0 $%� 5���#[6] !���(1�(� shim layer ���#5+4$��4-�")3 #-!����� �5�����2���7�X�%��� 5 ���0* )$���� ��-!���)����������� )5�� !���(1� rate-limiter -�)���������[27] $����0 ���5� )�&�3���#�5����2��2� TCP, 2&���#�����+���$%�$0 UDP , 5��5� )�������)�&�3���������0��*���+�� �� �1 � ���2�#�������3�5���2��2), -�)�����-!�(1�$�����2�#$�% �!�-�)$������ shim layer #���� �) UDP �-$��$3�R�)-!�2����������K�5��#�%�#.�$��(1� rate-limiters [7],[15],[16],[26] *#�b+��� �)��) rate-limiters �% �� (��6������%�7�����)5 ���$����) !�-��-(���������)% �-0��$����)�� ���2�� !���5� )5��#�%�#.�-!� �������� ���-&�)����)����%������#��K��(1�(��!�0�7��6������%�7���(Linux hypervisor: dom 0) 7R�)2����� Open vSwitch (-&�)�����6������%�7���) �+����#� ����5 ���&�#�� ������������5��#�%�#.�(� GateKeeper ��Q����2&���#�������(1�(��!�0�7� hierchical token bucket(HTB) ���)���-&�)��(��7��6������%�7���(*#� � 0) (� end-host CloudNaaS ���� Open vSwitch 7R�)5 �% �� !�����-!�1�#�2� �� ���(1�2&���#�����#� ���������0)���2&���#����*#5� )(3�*6���0#-������)$%� ��Q����#� *#3�!���!�)����&���)5��#�%�#.�(��%�-��- �-!�������� ���� ���2�#����X� �%���$�+���$%� 5� (2(������� 5 ���%�-�� �����% �$%� �� ���(�����1��� *)
(����)-!� 2 ���2�2&�5�� surveyed projects 2��� �%�R)$0j���8j��3� ���"�5�������R)$0j���8j�-!���2 ! ���% �3�R�)$0j���8j� -!�-&��$����)3 �5�#)�R)$0j���8j�-!� !(�5 Proposal
���-!�
Prop
osal
Refe
renc
es
Forw
ardi
ng
Sche
me
Band
widt
h
Traditional DC [4], [5], [19] � SPAIN [20] Diverter [21] � NetLord [22] � VICTOR [23] � VL2 [24] �
PortLand [25] � Oktopus [16] �
SecondNet [15] � �
Seawall [6] Gatekeeper [26] �
NetShare [27] SEC2 [28] �
CloundNaaS [7] � �
���)-!� 2 5�#)���2&�5�� surveyed projects
Forwording schema
[19],[21],[22],[23],[24],
[25],[15],[28],[7]
���-!� 10 ���5� )��0 ������� ��� $0j���8j�
Feature
Band
widt
h G
uara
ntee
Mult
ipath
ing
Relat
ive b
andw
idth
shar
ing
� � � � � � � � � � � �
surveyed projects
1. Traditional data center (DC)
*#-��%�����2&���)��)�������� ������� ��(���220��� �������K��&���42�����2&���) $���$��)��0 ��) virtual server VLANs 7R�)������� ���#���������#&��������*#(1� commodity switch !$%� �� �1 � VMware [4], Xen [5] �&�3�# address space ��)
���2&���#3���-!��&�$�'��)�������� ������� ��(�-��%��$��$%� �� ���(�����������")5 ���-!� switch � �� ������5���+������2�#��� 2&��%�-!����#2�� traffic *#�b+��� �)��) #�����) FIBs (Forwarding Information�� ����+�� ���#��)���)���� ) �� �) �� ���2���!" �")5 VLANs ���(1��+������5�5���3% �)K���1 � 2&��%���)K���1 ��#����2&���#�%�-!� 4096 7R�)��Q�2&��%���) 802.1q [19] 2. Diverter ������0����5� )�1�)������)�$���� � �&�3�������&��%$%� ��#%�-!�#!�% ���)5�++���$1��5��$%� ��)�����)������(����)5%#��� ������� �� Diverter[21] ��Q�%�.!���-�)7�X�5%��-!������R)�$���� ��� ����+����$���� ����$%� -!�� �% �� ��)�&�3�#$ �
Data Center Network Virtualization
Bandwidth Guarantee
[16],[15],[26],[7]
Multipating
[19],[22],
[24],[25],[27
. Traditional data center (DC) *#-��%�����2&���)��)�������� ������� ��(�
��220��� �������K��&���42�����2&���) server *#5 ��K���1 �2�virtual server 5�����2&�5����3% �)K���1 �K ��
7R�)������� ���#�����������5��-!���!�) �-!��� ���commodity switch 5���-$*�*�! hypervisor -!�VMware [4], Xen [5] ���2���!"K���1 ��)�� ���
��) layer 2 5�� layer 3 �#�#�%���) ���2&���#3���-!��&�$�'��)�������� ������� ��(�
-��%��$��$%� �� ���(�����������")5 ���-!� commodity � �� ������5���+������2�#��� VMs 2&��%� �� 5��
*#�b+��� �)��) switch ��) !���#�5�(�FIBs (Forwarding Information Base)�&�3���-0�r VM -!�
�� ����+�� ���#��)���)���� ) �� �) �� ���2���!" �")5 ���(1��+������5�5���3% �)K���1 � 2&��%���)K���1 ��#����
7R�)��Q�2&��%���) VLANs -!���0'�*# ��,��
������0����5� )�1�)������)�$���� � IP ��Q����)-!��&�$�'�&�3�������&��%$%� ��#%�-!�#!�% ���)5�++���$1��5��$%� ��)�����)������(����)5%#��� multi-tenant ���#(3' �1 �
��Q�%�.!���-�)7�X�5%��-!������R)�$���� ����$%� -!�� �% �� ��)�&�3�#$ � switches
27]
Relative Bandwidth
Sharing
[6],[27]
3��� routers Diverter ���(1�(�7�X�5%��* #�� (��!�% � VNET) -!�����#�")-0��$����) � ��� VM � ) Ethernet frame VNET 2�5-�-!� MAC Address ��-�)5�����-�) *# Address -!��$����)-!�*6����-�)5����� VMs � �&�#�� 3��)2����"� Switches 2�-&����� ) �5+4$��4-!�(1� MAC Address ��)�$����) VNET (1�������0)�0 ���) ARP protocol �+���$��3��$����)*6��*#�b+�� VM Diverter ��)���(3�-0� VM !���5����������3��-!����0 IP address ��)K���1 ��% -�") subnet 5��-!��� �$����)�� ���(��220���(1� 10 .tenant.su bnet.v m) #�)��"�2R)� !���1������)-!��� ��)K���1 � VNET -&����3�����-�)��3% �) subnets *#��!� MAC Address (3 �!�$��") 7R�)(3�/�+�� ����+������ ���%� *#��0�5��% Diverter �$���� ��� ��������� 3 -!���0'�(3�K���1 �-0����� ���$%�$0 IP subnet 5�� VMs Address ��)���)�#� ���2&���#3���(� proposal �!"$��� �� ������������ Qos �#� 3. NetLord �+�����Q�����+�� ���#� K��(3���������)���(3�������*$�)����)+�"�,�� (IaaS) !$%� ��(2(����(1����*1��(�-��+���� �)�4 ���5�� 3�R�)(�-�)�����-!� !�����-.�/�+ ��-!��0#-!�2�����0��a�3 �$������+�� 2&��%���)K�� �1 �(����51�� *$�)����) NetLord ��Q��������� -!� 0 ) ���-!�2�+�� ���������������)���1���K���1 �(�������� �� 7R�)�������� �� ��� ��)-!��� +�"�-!���)K���1 � L2 5�� L3 -!�7R�)��0'�(3�K���1 ����5��5��������0)+�"�-!�K��(1�5��5�++���$1���#�� $%� ��)���
���-!� 5 5�#)�������� NetLord
5�%$%� $�#3���r��) NetLord 5�#)(����/�+-!� 5 $�����3 �30� 5+4$��4 K���1 � L2 5��� )���) fabric employing L2+L3 encapsulation *#header packet ��) L2 2��2��2) MAC address ��)��-�)5�����-�)��) VM ��-�) NetLord Agent (3��&���(1����5 ��server2��)-!�$%�$0 VM-�")3 #��server *#�b+��� %�-!�-&���� encapsulate packet L2 *#����+�� header L2 5�� L3 #�)��� �%��-�)5�����-�)-!��� ��) L2 -&�����&�3�# MAC address ��)����������������) server
hosting 5����-�) VM � �&�#�� ��-�)+���8 IP address 5�#)ID MAC address ��)+�"�-!�K���1 � 7R�)1 %(3�K���1 �(1�+�"�-!�-!�3���3����) L2 #������-�) IP address 2��2��2) port ��)�������������)/�����+���� ) �packet���) server ���-�) 5�� ID ��) hosting K���1 � 5�� VM ���-�) packet 2�� ) �K ���$���� ��������)��� ���+������switch ����R)+�"�,����) L2 fabric K ������-�)-!������*# VLAN algorithm��) SPAIN [20] (*$�)����)-!��������������0� VLAN (����$��Ethernet-!� !��� switch ���) multipathing -!��K5+� ) ���� ) � packet ���2�� switch ���)server ���-�)2��R"�������$��3� L3 ��)port-!���������)��� 5�� NLA -&����� ) � packet �� server ���-�)���) VM ���-�)*#(1� ID ��)K���1 � +�"�-!� MAC address 5��-!��� ���-�)��) L2 ��)VM(� packet -!���� encapsulate �+���������0� virtual routing NetLord (1��$����) ��(���� routing �#� -!�1��� Diverter [21] (����������0� SPAIN multipathing 5����4���� ������")$ ���)K���1 � *# NetLord (1�3��r,����� �� NetLord �����8,��% � ����%�1�������0����� ) �IP+�"�,�� 5 � (1 ���-0�r Commercial Off-the-Shelf (COTS) switch [33] ����&�������!�%��� encapsulation 3 ��R) packet size -!� ���R"� 7R�)��Q�����+�� ���#���5��������2��% ���2���!" NetLord (1� SPAIN (����� ) � multipath operating ��+�"�,��-!�� �#���Q� scalable (�-!��0#5 �% ��������� ����K5+� ���5�5�(���3% �)K���1 �2�� ������0���������!bandwidth 4. VICTOR
K���1 � Cloud !$%� ��)���-!�2��� service ��� ������� �� �+������8�� #0����*3�#��3% �)3������ ������� �� 3����+��������-.�/�+(3�����7�X�%��� � �)���4� K��(1� Cloud ��)���$%� �%#��4%5�� !�����-.�/�+��)������5����� �� %�.!���3�R�)-!�(3�K�5� K���1 �5��K��(1� Cloud $�����*�����) VMs �+���3�!���!�)���30#1�)����)������ VMs $%���4�$ � IP address �#!%����%���3% �)���*��� 5 �% �2�� �#���Q����)-!�-��-��&�3������*�����3% �)�$���� � IP �#!%��� (3�*����$���� �-!�5� �)���� (1 ) � VICTOR (Virtually Clustered Open Router) [23] ��Q��������� -!�������0����*������ �$���� ���) VMs 1 %(3����*����� �����4� IP address �#� �#�
5�%$�#3����&�$�'��) VICTOR 5�#)(����-!� 6 $���������) Forwarding Elements (FE) (L3 devices) -!�(3���������Q� virtual line card ��� Multiple virtual ports ��) single virtual router FEs 2����2�K ���$���� �3��r�$���� �7R�)2�1 %������0����*�����) VMs 5����� 3��r�$���� � � %� control plane 2��#�������������0� *#3�R�)3���3��r�%$%�$0 � %����) (CC) 5�� VM 2���Q� (1�)�����7���X�%���-!��1��� �����+!)3�R�)�����) FE *# CC 2�#�5����)*$�)����)-!����0����1��� ���3% �) FEs 5�����)-!��� ����1��� �-!��&�3�#(���3% �) VM 5�� FE -!���Q� server hosting -!� VM (1��1��� � 5�� CC 2�$&��%j����-�) routing 2��5 �� FE ���) VMs 5��-&�������2���� ����3% �) FEs 7R�)+R�)+����) routing �3� ��!"(����(1�� ) � packet ���2&���#3���r��) VICTOR $��2&���Q���) !���������0� FIBs ��Q����#(3' -!��&����� ��'3�(������)��) scalability -!���!�%���)��� Fes
���-!� 6 �������� VIRTOR
5. VL2 VL2 [24] ��Q��������� �$���� �������� ��-!� !20# 0 )3 �-!�2� !$%� �#30 �(�#������2�#���-��+��� server-�")3 #(� VL2 ��Q�K���1 �(7R�)(���������!"���2���!�% ���Q� "service") �#�-&����51��*#� $&��R)�R) single addressing space ��)&�53� )2��)7R�)3 ��R)server(#r�� ����&�3�#5� K���1 �(#�4�#� VL2 2��R"�������-!�� !� �1�� ��������(� Clos topology (#�2�����-!� 2) -!�(3�$%� ��#%���)��� routing 5��$%� �#30 � packet 2����� ) �*#(1� IP address ��)����/- $�� location-specific addresses (LAs) 5�� application-specificad-dresses (AAs) *#(1��%�-1�5���7���X�%���� �&�#�� VL2 ���������#���-��!�&�3������-&� AA-to-LA mapping � ��� ) packet server VL2 2�-&���� encapsulate packet #�% LA address ��) ToR switch ���-�) *# switch 2�� �#�����R) AA addressing
�")5 � ) � packet *#(1� LAs �- ���"� -!� ToR switch ���-�) packet 2���� decapsulated 5��� )���) AA server ���-�) ������5�� VL2 ���� VLB and ECMP -!�2���traffic �+���(1����*1��2��- � ���)����-�)-!�3���3�� ���5���3% �) addressing spaces ��) switch 5�� server 1 %�+�� $%� �#30 ���) VL2 �")5 ToR switch � �� ���� ) ���� ��2&��%� ����) server ���2���!" �����#��$-��!��) VL2 �)2&���#$%� ��)����&�3���������)����) ARP 5�� DHCP -!���Q� source -��%����) broadcast traffic (� data centers 5�� VLB ��� ECMP �)��0'�(3� !��������-!��)�%3��)2��-!��$���� ��� �3�% ���2&���#3�R�)��) VL2 $����#��������! bandwidth -!�5� �����3% �)server 7R�)��Q����)2&���Q��&�3���3��r application ����&������!"�)$� � �)-!�*-*+*�! (Clos) +�"�,��5�� ��)���(3��%�-1�(1� OSPF, ECMP 5�� IP-in-IP encapsulation 7R�)�� ���2&���#���(1�)���#� 6. PortLand ��� !$%� �� ���(���������1��� VM !�����-.�/�+(����*��� VM 5�����2�#���-!�) � ��Q����8j�-!��&�$�'��) data center (���220���5�� �r�� -!��� PortLand [25] ��'3�-�")3 #-!� !�&�3��� multi-rooted fat-tree topology (���-!� 3) *#�b+��� �)��) �������� �&�����������) L2 routing-!�(1�$0j� �����)*$�)����) PortLand ������0�X�)��1�� plug-and-pay �&�3��� L2 -!�1 %�#$%� 0 )��� �) !����&�$�'��)�$���� � data center 5�%$�#3�����) PortLand $�����(1�-!��� �&�#��1�"� Pseudo MAC (PMAC) ��) VMs �&�3��� L2 routing *#�b+��� �)��) aPMAC !���5����) pod.position.port.vmid -!� pod ��Q�3 ���� pod ��)���switch, port $��3 ���� port ��)�%�1�host���-�)-!� !����1��� � 5�� vmid ��Q� ID ��) VM (1�)����host���-�) fabric manager (process ������$����)�b+��) ��Q�K�����K�#1��(����1 %#�% ARP resolution, multicast, and fault tolerance ���)���� ) �(����(1� k-port switch -!�5 �� switch ���2&���#�)O(k) records �����)2��$0j� �����)topology 5�� multi-rooted fat-tree �����)switch �+������� server hosting -!� !����1��� ���) VM ���map actual MAC (AMAC) ��) VM ���) PMAC &�53� )��) switch (� topology ��2 !���
�")$ �#�%���)��)K��#�5�����3�����Q�5����*� ��K �� Location Discovery Protocol (LDP) -!�����$0j� �����)*$�)����)+�"�,�� 5 �% � PortLand 2� !���*1�� 5 �4 !���2&���#��)������(�#����������� �1 � !$%� ��)��� multi-rooted fat-tree topology -&�(3� PortLand (1�� �#�����$���� � topology data center ����r ���5���� ARP -!����)��*# single server -!�-&�(3�����)�������� -!� !$%� ��!�) ����*2 !�� fabric manager 5���!�������$�� 5 �� edge switch $%� !� �)��� $�R�)3�R�)��) port -!��1��� ���� server
���-!� 7 5�#)�������� SEC2
7. SEC2 �+���(3�5� (2% �����&� �(1�� �)�%��)�%�)��)cloud computing �� data center 7R�)��Q����)-!��&�$�'-!�2�(3�������5� K���1 �*# !��������)$%� ���#/� *#�b+��� �)��)3�R�)(���'3�#���$%� ���#/�-!��&�$�' 5���Q��$���� ��� ���-0 �-(3����K���1 �-!�5� �)��� 5 �% ����(1� VLANs ��22���Q�-�)���-!� !���/�+�&�3��� ������0��$���� �-!�5����(�data center �4�) !�!�3�����2&���#��) VLANs ������-!�3�R�) 2&��%���)�0#��) VLANs $�� 4K �+������#+�"�-!���) VLAN ID ������-!���) ���$%�$0 �K��(1���)�*��$%� ���#/���Q����)-!�-��-� ������-!��� ��� !3 ���� VLANs ��Q�2&��%� ��(��$���� � data center ��2� �(3����#$%� 7��7���(����2�#����$���� �5��$ �(1�2 �-!� �+�� �R"�(����$%�$0 Secure Elastic Cloud Computing (SEC2) [28] !��a�3 �-!�2�5����'3������+� �)�3� ��!"*#���5����� ) �packet5�����$%�$0 ��������R) SEC2 ��Q��������� �$���� � data center -!�(1��-$��$ network virtualization �+���(3����������8�$%� ���#/�-!��#30 �
�� cloud computing #�)-!�5�#)(����-!� 7 Network virtualization �#�������������0�K �� Forwarding Elements (FEs) and a Central Controller (CC) FEs $�� Ethernet switches -!��&�$�'-!� !$%� �� ���-!�2�$%�$0 ������2�� CC -!���4�-!��� ��� mapping 5�� policy databases FEs 5�#)���-&� address mapping, ����%2��� policy and �����)$��(1�, 5������ ) � packet �������� �$���� � !��)��#�� $�� one core domain 5�� multiple edge domains incorporating physical hosts *# edge domain 2��#���� ��3 � eid -!�� 7"&�$ ���� 5���1��� ����) core domain *#3�R�)3��� FEs 2&��%� �� ���$��5 �� subnet 2� ! cnet ID -!� !$ �� 7"&� -!� VM �� ������0�#�*# (cnet id, IP) �+���5����$��-!�5� �)/�(����5 ��*#� � SEC2 (1� VLAN -!� !����� 2&���#(� edge domain �#!%��� 2R)1 %�#���2&���#��)2&��%����$��-!��� ����#�������������0������)2�����#��) VLAN ID 3�����$�� !��������R)5����.��j��+��� VM 2�-&�(3� FE ��)$��-0�r packet /����K �� firewall and NAT middleboxes � ��-!�2��R)�$���� �� %��% ���#!��) SEC2 $��� 2&���Q���)�b+���������3����%�-1�-!���� -�")�$���� � data center ���2���!" SEC2 �)������0����*��� VM [23] 5�� VPC (Virtual Private Cloud) service 7R�)(�5 ���$���� �� %��%��)K��(1�(� cloud !����1��� ���� on-site network K �� Virtual Private �$���� � (VPN) [34] 3�R�)(����2&���#��) SEC2 $��3�R�) edge domain � �� ���������0� VLANs K���1 �-!�5� �)���-!� ���% � 4K ���2���!"�")5 FEs �+�� MAC header � ��� VM ���-�)� �#��� (�edge domain -&�(3� SEC2 ��)����%�-1�-!�������0��X� ���#(3' 8. SPAIN (���220��� spanning tree protocol (STP) (1��&�3��� Ethernet LANs ���#(3' -!�2�� !�����-.�/�+(����������0��$���� � data center -!�-��� ��+���� �#�(1����*1��2��$%� 3���3������-�)-!��&�����*#�$���� � data center � )K�(����2&���# bandwidth ��Q���)� %�5��$%� � ��1������-!��&� Smart Path Assignment In Networks (SPAIN) [20] (1� VLAN ������0����$��-!� !�� ��) Ethernet switch -!�2�(3��K5+� multipathing *#+���� SPAIN $&��%j����-�)�$�������3% �)$� ��) edge switch 5�� pre-configures VLANs �+������0����-�)�3� ��!" end-host agent -!�����#�")��-0�r host 2����2����5���� ����-�)5��
VLANs �+���������0) load balancing 5��3�!���!�)$%� �� �3�% *# egent �� ��� ���!�����(1� VLANs ��) flow ���2���!" agent �)�%2+�����-�)-!��� �3�%5�� re-routes packet ���r$%� �� �3�%*#(1�����-�)-!�5� �) (��j�-!� SPAIN (3� multipathing 5��������0) load balancing 5�� fault-tolerance ����&������!" !����#4���!�%��� scalability *#�b+��5 �% ���"���algorithm (����$&��%j����-�)-!�����*# SPAIN 2�#&���������b+��� ��� topology �$���� � ������5�� 3��� !������!��5��)� �) !����&�$�' *$�)����) !���$&��%j� �)��)�&�3��� topology -!�$%� ����7��7��� ���2��!" SPAIN ��)��4� switch 3��������+���-0�r���-�)5�� VLAN $������)$%� �##�� ���R"������)���� ) � switch � ����-!����-!� Ethernet +�"�,��-&� (����$ 2&��%� path 2����2&���# 2&��%���) VLANs -!���0'�*# 802.1q standard (4096) [19] �0#-�� ���#�5����8����) mapping ��3% �) flow 5�� VLANs 3 ��R)$ �(1�2 �-!��+�� �R"�(�5 �� end-host
9. Oktopus 5 �% �K��(3�������*$�)����)(3�K�� �1 ��#�� $%� ��)���-��+��� �)rK �����2�#��� VM (� data center �4�)� ������0���������!$%� �� �����-��+����$���� �5� K���1 � $%� � �)�����3% �)����#���(25���������0��a�3 �*#�&����� ��'3� �)r ��"�5�� $�� $%� 5����%���)�����-.�/�+��)�$���� �� �(3����#�����-.�/�+��)*��5�� � 5� ���(�������� ��-&�(3����2�#��������-.�/�+��)*��5�� � � $�� �
�� ���$�#�#������-.�/�+��)�$���� �-&�(3����K��5��$%� +R)+�(2��)���$���#�) �&����� �����'��!���#� [16] Oktopus $�����#&�������� ��)-�")��)�$���� ��� ��� 5���� .�� (virtual cluster and virtual oversubscribed cluster) �+���$%�$0 ��������3% �)��������!�����-.�/�+��)���$��5� K���1 � $%�$0 ��$� 5�����#� Oktopus � �+!)�+�� �����-.�/�+ application 5 �)(3�$%� �#30 �-!� ���% �5� K��(3�������*$�)����) 5��1 %(3�K���1 �(����3�� #0���3% �) application $%� �� �����)5����$�-!���� virtual cluster 5�#)(����/�+-!� 8 K��(3������� ! VM -!��1��� ���� single non-oversubscribed virtual switch ���2� 0 )�� application �&�3������ ��2&��%� �� �1 � MapReduce -!� !���8j�-��%-�")3 #*#���5����)traffic (����-!� 8 virtual oversubscribed cluster 2&���) cluster -!��1��� ����K ��-�) virtual root switch -!����(1�)��-!��3 ��� ������5������������-!� ! K�� � 1 � � � � � � � �� � � ��� ) -!� � �Q � � � . � � 5 � � � � #� � 2 � � oversubscription ��)�$���� ��� ����� ��+�"�,����)���5��������������)*��5�� K���1 �-!� !5K�2�����(1�(� VDC (�1 � user-facing web-applications, data intensive applications) Oktopus (1� greedy algorithm �+������2�#���-��+�����) VDC ���2&���#3�����) Oktopus $��2�-&�)���#��b+������$���� �topology5�� tree-like physical #�)��"� $&��� $��2�-&�� �)���+������(1� abstractions of Oktopus �&�3��� topologies ����r
���-!� 9 5�#)�������� SecondNet
10. SecondNet SecondNet [15] 0 )�������)��������! bandwitdth ��3% �) VMs (�3��rK���1 ���) virtualized data center ���2���!"���
$&��%j5�����2�#��4� �) !��'1!�&�3���$%� ��)���bandwidth � ���(1� VDC �)$�������3�����)�������� SecondNet 5�#) (����-!� 9 -!��%2�#��� SecondNet -!�����) VDCs �� � -���7�-!��&�3�#������)����) bandwidth ��3% �)$� ��) VMs *# SecondNet �&�3�#service +�"�,���%� 3 5�� $�� �&�#��$%� �&�$�'5����) (type 0) 5��-!�#!�% � best-effort service -!�(3���������!�&�3��� bandwidth �+��� hops5��3����0#-����)����-�)(type1) 5�� best-effort service (type2) SecondNet (1��������5 )*$�)����)���� ) �-!���!�% � port-switching source routing (PSSR) -!�� ) � packet *#(1� 3 ����+���-!��&�3�#�%�� %)3���5-� MAC address *# PSSR 2�������0)scalability ��) data plane ��Q� path -!� !���$&��%j-!�*3�#��-�) (�-�)�!" switch ��� ) � � #� ! � � �� #�� � (2� ) � (#r ��� #�R" � SecondNet �����$%� �&���42#��� high scalability *#�����$���������� ����!�%��� ���2�) bandwidth 2�� switch ���) server hypervisor ���2���!" SecondNet �)(3�-��+���� �) VM 5�� bandwidth !����+�� �R"�5���#�� �$ 3��� �����2�� VDCs (�#�������$������� SecondNet �)�� ���2�#���$%� K�#+��#5���#������2��%��)-��+��� 5�� PSSR �� ������0��(1���� Multiprotocol Label Switching (MPLS) [36] -!�-&�(3��&�������(1��#�) ��R"� (�#������2&���#-!��&�$�'��) SecondNet $�������-.�/�+���-&�)�� ��2�R"��� ���*$�)����)-�)��/�+��)�$���� � 5�� SecondNet � +�2��j����8j����������)������ r-!��� ��� !$%� �&�$�' �K���1 ��1 � latency 11. Gatekeeper
Rodrigueset al. [26] �#� �)��-!���'3���)�$���� ����5������-.�/�+����&�3�#$%� ��)���-!���!�%���) 5����*�*$�)���(3 ���)$%� ��)����3� ���"�1��� Gatekeeper *#(���������!"����% �%�.!5����'3��&�3������5������-.�/�+��)�$���� �$%�2��� ����������#(�5) ��)2&��%� VMs #������$�#���j�(�5) ��)�����-.�/�+�$���� � #���+����� -!���Q������ �K���1 � 5��$%� �#30 ���)��������!�����-.�/�+
Gatekeeper 0 )�������)#��������������� bandwidth ��3% �) banwidth (� multiple-tenant data center 5���������0���(1� banwidth ��#����) ��5�#)�R)���(1�-!�� $ � !�����-.�/�+��) link bandwidth � ���$%� 20�+!)+�5������ �(1�)���#�
Gatekeeper address 2��&�3�#���� ������&�3���5 ��$� VM 5��+��� �����-!��� ����")5 (��j�-!� ���(2% �link capacities2����(1�� �) !�����-.�/�+*#K���1 �
Gatekeeper 2�����)logical switches-!� !����1��� ���3% �)������ VMs ���)K��(1��#!%��� *# virtualNIC (vNIC) ��)5 �� VM 2��%2��� traffic-!����� �*#(1�10#��)�%��� 5����)��$%� 5���#��) vNIC ��)K��� )-!�����2������-!��&�3�#�%� 5������-!��&�3�#*#K��� )2�(1���� ��$%�$0 traffic rate �+����#��#��$%� 5���#
Gatekeeper 2�� �#�+�2��j��%1!"%�#�����-.�/�+���� r �1 � latency ���2���!" Gatekeeper �)�� (����+�S��$0j� �������r�1 � �������)5���#�� ��5����������2&���# �)r 12. CloudNaaS CloudNaaS [7] ��Q��������� virtual network -!� !����������0������-.�/�+�&�3����������(1�5�����2�#����)$���5��application (� cloud *#�b+���������� -!��K5+� 10#��) primitives -!��3 ��� ���$%� ��)�����)���(1�)��-��%���% �R) application -!��b+���2��2), middlebox traversal, network broadcasting,VM grouping, and ���2�) bandwidth
CloudNaaS �R"��� ������� ) � OpenFlow �+���(3�����0%��0����)$� (�1 � middlebox traversal) #�)�� �%���)�� ���������0)5�++���$1��(� CloudNaaS �% �R)3��r ��"��� ��"�5��K��(1����-�)���0$%� ��)����$���� �-!�$%�$0 Cloud (1� primitives �&�3�#*#�*��/�8��$���� � CloudNaaS�R"��� ������� ) � OpenFlow �+���(3�����0%��0����)$� (�1 � middlebox traversal) #�)�� �%���)��. ���(1�)��*��5�� (� CloudNaaS �% �R)3����"���. $��")5��K��(1����-�)���0$%� ��)����$���� �-!�$%�$0 Cloud(1� primitives �&�3�#*#�*��/�8��$���� �. 3��)2��$%� ��)����$���� � !���5����Q�� -���7�����������, $%�$0 Cloud�&�3�#&�53� )��) VMS 5������)�}�$���� ���#��-!��� ����#�")�%�-1� ��220��� CloudNaaS (1�5����'3����5����bin-packing�&�3������%�) VMS -!�2������� ���+�2��j�(�����������-��)����: ���2���!" CloudNaaS (3�3���-$��$-!�2��#2&��%���)�����-!�2&���Q�(�����������7R�)�% �R)
(1) $%� +�� (1�����-�)�#!%�&�3������2��2�-!�#!-!��0#
(2) ���(1�����-�)���2��2�-!���� 2&���# �&�3��� QoS �R"��� ���2&��%���)$������2��2�-!��&�3�#� ����/-��)-of-Service �� (ToS)
(3) �&�3�#-!��� �#����+���%�) VMs �� #���3��)edge swith�#!%���5��(1����%5-��&�3���������% � ) IP
���2���!"�)������0���� CloudNaaS ������������&�3���$%� �� �3�%(����2�#���5��������!��5��)(�����&�3�#�*����)�$���� �*# reprovisioning VDCs. ��220��� CloudNaaS 2�#&��������(1��%�-1� OpenFlow -!�(1��&�3������� ) �;*6����"��0#��|#(1��$���� � stack vSwitch �&�3������� ) �5����#$���)��� OpenFlow ��220��� CloudNaaS 2�#&��������(1��%�-1� OpenFlow -!�(1��&�3������� ) �;*6����"��0#��|#(1��$���� � stack vSwitch �&�3������� ) �5����#$���)��� OpenFlow
��� 2&���# 3�R�)��) CloudNaaS $����� 2&���# ���2��2����)����-�)�����2�&����� $%� 5���#5�� / 3������(1�)���$���� ���#��. 3� trade-off -!�#!��3% �)$%� �#30 �5���$���� ����(1��)$)��Q���'3�-!�-��-��&�3��� CloudNaaS 13. Seawall
[6] Seawall ��Q�*$�)���2�#���5��#�%�#.�-!�1 %(3�. K��(3�������*$�)����)+�"�,���+����&�3�#%�.!5��#�%�#.�2�-!�(1�� % ���(��$���� �������� ��-!� !3��K���1 �. $%� $�#��) Seawall $������&�3�#�"&�3������)3� %)���$���� ��������)���2��2� (�1 � VMS, ����%����),5��2�#���5��#�%�#.�� �"&�3����3� ��!"(�-�)��#� %�. Seawall (1��0* )$�-!�$%�$0 $%� 5���#��3% �)$� ��)�$���� �3� %)���+�����)$��(1��*��5��#�%�#.�� % ���. shim layer #&����������Q� NDIS (Network Interface Specification Driver)�%���)5+4$��4��Q�K�����K�#1�� intercepting 5+4���45����������K��� )-!�� )5+4$��4 Seawall ��)$��5�5��#�%�#.���3% �)K��-!�5� �)���5���a�)���� (3�K���1 �����)$����2��������*/$-��+����$���� �-�")3 # ���2���!"��)���(3� Seawall -�)�$����)��/�+2���4���� ��������- ���"��&�3����)$�����)�%��)7R�)1 %�+�� $%� �� ���(������)��� ���2���!",��)���(3� Seawall��Q��$����)��/�+���8���� ��������- ���"��&�3������-�!"��)���), 7R�)1 %�+�� ������ ���2�� Seawall is agnostic�&�3���*��*$�������� )-!�(1�*#K���1 �, 2&��%�flow-!�(1�*#�)$���5��5��2&��%���)������-�!"� )���� (�-0���j! Seawall 5� )5��#�%�#.�5�����
5�� ��#� %���)$��.��)���% ���"�, Seawall 1 %(3��"&�3���-!�2�5����5���#�� ���+�����)���������!��5��)(�$%� ��)�����)K���1 �.5 �% � Seawall � �#��� -!�$%� �� �3�%� �)1�#�2��4$����������%��������$���� �5���#�� ���)������-&�(3� ���#$%� K�#+��#.
��5�� Seawall ��Q�$��" )5��-!�#&���������b+��(� Windows7 5�� Hyper-V. ��)���% ���"�*#����2�����$%�$0 ���������!�. ��� �2���Q����#�-!� Seawall 2��� ������������5��%�#.��&���425� ����&�3���2&��%�3� %)��-!��+�� �R"� 14. NetShare
NetShare [27]��� ����'3���)2�#���5��#�%�#(��$���� ���� ���� ���2��)���������������� ����+�4�-!�� ��) !������!��5��)(# r (��%�-1�3���������� NetShare (1�����1��� *)���2�#���5��#�%�#.��&�3���K�� �1 �(�-�)��#� %�5�������$%� �&���42��)�&�3������(3�������*$�)����)+�"�,�� (� NetShare ������� ���$���� ��1��� *)� % �����3% �)���������(1�)��3�����0 �)$��� ���% �����1�� � �5 ��3 � #�%%�.!�!" , one service/application/��0 � �� ���hog5��#�%�.-!� !�����|#����1��� � ���R"�. NetShare �� ���#&���������#�(��� %�.!-!���Q����#�:���2�#�����0 , ���$%�$0 ��� �j����, 5�����2�#���2��� %����) NetShare (1�2�#�����0 (����2�#�������3� TCP 2�#�����0 K��(1�� $�%�+���(3����2�#���5��#�%�#.���Q���� �)0�.�� (����(3�������-!�5� �)���5��2�#&�����K �� Deficit Round Robin (DDR) [37]. ���$%�$0 ��� �j Rate 2����(1�(����$%�$0 ���2��2�-!�����)*#53� ) UDP 5��3�!���!�)���(1�5��#�%�. ��������5�� !���(1�)��K �� shim layer #���� �) UDP -!�5 ��*6��. shim layer$%�$0 �������� )*#���%��$���3����2��2�%�#-!�#������5�������������� )� -!�2�(1� ���R"� �*��-��%���1 ����2�#���5��#�%�#.�-!�� �#�(1��b+�����5�*$�)���2�#���5��#�%�#(1�� %����). NetShare ����*��*$������-�)-!�2�2�#������$%� �� �3�%5��multipath ��Q����#�#�%���(1� ECMP. scalability ��) NetShare scalability ��) NetShare��2��Q���'3��+���$�%2���) !����&�3�#$ �-!�+����%�1�5 ���&�3���5 �������� /application ���2���!" NetShare ����$0j���8j��b+����)�%�1� ���� ��� )�� �(1� ������ �7R� ) 2�1 %�# deployability ��) ��
���2���!" NetShare !%��0����)$��+�������0$%� ��Q�.�� (����2�#���5��#�%�#.�5��2R)� �#�(3����������(# r ���5��#�%�#.�-!�5� ���-!�2�(3�������.
4. ,�G%&G=�!%"=�! (��j�-!�����&��%2� ��3����!"� %�����������%�2�-!�*##�# �
5��$0j� ����# ���)+%����(�� %��!"���!��-!���������3� ��!"(1�10#��)�%1!"%�#�1�)$0j/�+ *#�b+��� �)��)������� ���������*#(1���j�� 5 � �) ����!" : scalability, fault-tolerance, deployability, QoS support, 5�� load-balancing. scalability 5�� fault-tolerance !$%� �&�$�'�����)���5���&�3���������� ��-!���������#�%�7���X�%���5��-��+����$���� �2&��%� ��5��$�#% �2�������0�2&��%���)*��5�� ���0�����#(3' -!�K���1 �.
(�%���!"������� �� ��2�(1�10#���$���7���X�%���5��6���#5%���$���� � , deployability ��Q���'3��&�$�'-!���!�%���%�.!���-!����!��*$�)����)+�"�,����Q����)-!�2&���Q��&�3������#&��������*#�b+��� �)��)�������� . QoS ��Q���)%���!�%���K���1 �-!��+�� �R"�5����Q����)�&�$�'-!���Q�$%� �&���42��)�������� ������� ���� ���2��). (�-!��0# loadbalancing ��Q�%��0����)$�-!��&�$�'��)K������������$���� ��&�3���%��%��� 2��2�5��$%� 5���#(�����#������� ���$���� � �����0�K���)������!��-!���)���(����) III-VI. 5 �����)���!��-!��������-!��b+���2��2)(1���j����)$0j���8j��b+�� (�3�%��� � ����!"���2�(3��/�������� ��! #��)������ � ��K���)5 ����) � ��� %1!" %� #�����-.�/�+��)���-&�)��
Proposal References ����� �������
Traditional
DC
[4],
[5],
[19]
- ./0123304556/782/95:;19
- �� ����&�3�# address space ��) layer 2 5�� layer 3 �#�#�%���)
- <.;=1.12>3304558?@73ABC012 VMs AD1EFE.10<CG
- ./012AD10BCAD1EFEHIG8J;1<FG6/7 4096
Diverter [21] - ������0����5� )�1�)������)�$���� � IP - � �� ������������ Qos NetLord [22] - ��0'�(3�K���1 ����5��5��������0)+�"�-!�K��(1�5��
5�++���$1���#�� $%� ��)��� - � ������0���������! bandwidth
VICTOR [23] - 1 %(3����*����� �����4� IP address �#� �#� - 2&���Q���) !���������0� FIBs ��Q����#(3' -!��&����� ��'3�(������)��) scalability -!���!�%���)��� Fes
VL2 [24] - !$%� �#30 �(�#������2�#���-��+��� - ��#��������! bandwidth -!�5� �����3% �)server PortLand [25] - !$%� �� ���(���������1��� VM !
�����-.�/�+(����*��� VM 5�����2�#���-!�) � - 1 %�#$%� 0 )����)�$���� � data center
- !$%� ��)��� multi-rooted fat-tree topology
Oktopus [16] - �����!�����-.�/�+��)���$��5� K���1 � $%�$0 ��$� 5�����#� - �)(3�$%� �#30 �-!� ���% �5� K��(3�������*$�)����) 5��1 %(3�K���1 �(����3�� #0���3% �) application
- � ������0���������!$%� �� �����-��+����$���� �5� K���1 � - $%� 5����%���)�����-.�/�+��)�$���� �� �(3����#�����-.�/�+��)*��5�� � 5� ���(�������� �� - -&�)���#��b+������$���� �topology5�� tree-like physical
SecondNe
t
[15] - �����! bandwitdth ��3% �) VMs (�3��rK���1 ���) virtualized data center
- �����-.�/�+���-&�)�� ��2�R"��� ���*$�)����)-�)��/�+��)�$���� �
- ���$&��%j5�����2�#��4� �) !��'1!�&�3���$%� ��)���bandwidth � ���(1� VDC
- � +�2��j����8j����������)������ r-!��� ��� !$%� �&�$�' �K���1 ��1 � latency
Seawall [6] - (1��0* )$�-!�$%�$0 $%� 5���#��3% �)$� ��)�$���� �3� %)���+�����)$��(1��*��5��#�%�#.�� % ��� - �a�)���� (3�K���1 �����)$����2��������*/$-��+����$���� � (3��"&�3���-!�2�5����5���#�� ���+�����)���������!��5��)(�$%� ��)�����)K���1 �
- �����%��������$���� �5���#�� ���)������-&�(3����#$%� K�#+��#
Gatekeep
er
[26] - ��������� bandwidth ��3% �) banwidth (� multiple-tenant data center
- � �#�+�2��j��%1!"%�#�����-.�/�+���� r �1 � latency
NetShare [27] - �+�������0$%� ��Q�.�� (����2�#���5��#�%�#.� - ����$0j���8j��b+����)�%�1��������)���(1��������7R�)2�1 %�# deployability
- � �#�(3����������(# r ���5��#�%�#.�-!�5� ���-!�2�(3�������.
SEC2 [28] - (3����������8�$%� ���#/�-!��#30 ��� cloud computing
- edge domain � �� ���������0� VLANs K���1 �-!�5� �)���-!� ���% � 4K
CloundNa
aS
[7] - ������0������-.�/�+�&�3����������(1�5�����2�#����)$���5��application (� cloud
- 2&���# ���2��2����)����-�)�����2�&����� $%� 5���#5�� / 3������(1�)���$���� ���#��
���)-!� 3 5�#)�R)���#!�����!��)���� ��5 ������/-A. Scalability
�����$%� �&���42� �)��)���$%� �#30 �(�������� ���� �����)(1�+�"�-!�-!��� -!�������0�K���1 �2&��%� ��5�� VMS ��)+%�������2���!" �")5 ��220��� commodity �%�-1� �� !���#3� %$%� 2&�-!�2&���# ����Q����)2&���Q�-!�2�-&�(3�2&��%���) forwarding states (��%�1�5 ����"��+���(3����#$%� �#30 �
Prop
osal
Scal
abilit
y
Fault
- to
leran
ce
Depl
oyab
ility
QoS
Load
balan
cing
Traditional DC Low No High No No Diverter High Yes High No No NetLand High No Low No Yes VICTOR Low Yes Low No No VL2 High Yes Low No Yes
PortLand High Yes Low No Yes SecondNet High Yes High Yes No
SEC2 Low No Low No No CloudNaaS Low Yes Low Yes No ���)-!� 4 5�#)���!��-!�$0j/�+��)*$�)����)���� ) �
Prop
osal
Scal
abilit
y
Fault
- to
leran
ce
Depl
oyab
ility
QoS
Load
balan
cing
Traditional DC Low No High No No SPAIN Low Yes High No Yes NetLord High No Low No Yes VL2 High Yes Low No Yes
PortLand High Yes Low No Yes Traditional DC Low No High No No
SPAIN Low Yes High No Yes NetLord High No Low No Yes VL2 High Yes Low No Yes
���)-!� 5 5�#)������!��-!�$0j/�+��!�%��� multipathing
Prop
osal
Scala
bility
Fault
- to
leran
ce
Deplo
yabil
ity
QoS
Load
balan
cing
Oktopus High Yes High Yes No SecondNet High Yes High Yes No Gatekeeper High Yes High Yes No CloudNaaS Low Yes Low Yes No
���)-!� 6 5�#)������!��-!�$0j/�+������������Bandwidth
Prop
osal
Scala
bility
Fault
- to
leran
ce
Depl
oyab
ility
QoS
Load
balan
cing
Seawall High Yes High No No NetShare Low Yes Low No Yes
���)-!� 6 5�#)������!��-!�$0j/�+ Bandwidth -!�(1�� % ��� ���) Vll5�#)2&��%��%�����)�0#��)K���1 �, VMs �K���1 �
5�����#��)���)���� ) ��%�����)�0#��)K���1 �5�� VMS � %�(3' �R"��� ���2&��%���-!�(1�(�������0K���1 �5�� VMS2&��%���) VMS �K���1 ��R"��� ���+�"�-!�-!��� -!�������0�*# IPv4 7R�)�� ����#���� ���(1� IPv6-�")�!"�R"��� ������� ) �*$�)� �)���#��)���)���� ) ��R"��� ���2&��%���) VMS, physical machines, switches or pods.(�-�)������2&��%���) VMS ��)�% �2&��%��$����)-�)��/�+7R�)(�-�)�������.... ��)�% �2&��%��%�-1����2���!"����)��)���34�% �VICTOR and Portland � �� ���������0�3��K���1 �
- � ���)�������� -!��&��%2(��������!" ,Second-Net,Seawall,Gatekeeper����0$%� �#30 ���)*#������8������-!� end-hosts (�1 � hypervisors) ���% �(��%�-1�. NetLord 5�� VL2 ����0 scalability ��)K ��encapsulation packet ���8���������� ) ��b+���&�3����%�-1�(��$���� �. diverter �)�� ����������#�#��+������)���� ) ���)�%�-1�-!� !�� �b+��MAC addresses ��)*3�#-�)��/�+ (� (1 ��) VMS). �)������ , SPAIN, VICTOR, and CloudNaaS 2��������#�#�����)�+���+%������)�������&��0)���8���)����� � VM (���� switching/forwarding element. 5 �% �����+�� �����-.�/�+(3� CloudNaaS �&�3������������0) scalability ��)� �)�1 �����+��
�����-.� ���2&���#����-�)$%� 3���3��-!(3�������(��$���� �5���������� �����-.�/�+*#�% ��)%�.!���
(����$,CloudNaaS ����&� �(1��� (���220���(1� OpenFlow, 5�� OpenFlow ��Q�-!����2����� !��'3������) scalability (�������� �����#(3' �����)2�����(1��%$%�$0 � %����). SEC2 � �#��������#�+���addressing schema 2&���#2&��%�K���1 �5��7����4 -!�������0�(��$���� �. NetShare ����� %����)2�#���5��#�%�#.�7R�)-&�(3� ����-!�2�%�#�&�3���������� �����#(3' . B. Fault-tolerance
(�����-��)������� ���� ���2��), fault-tolerance $���$�0 ���2�#���$%� �� �3�%��)�)$�������(��������� �� (�1 � �%�-1�5������1��� *)) 5�������$%�$0 (�1 �����$��3�)���+�% �� %�(3' ��)�������� -!�5�4)5�� )���$%� �� �3�%(�� %��������������� ��. ��%� �)�1 � SecondNet (1�spanning tree���-�#��''�j1 �)-!�2��%2���$%� �� �3�%5����"���%�.!���2�#���(����2�#������+%����. �%5-�SPAIN �� ���������3% �) VLANs (�������#�R"���)$%� �� �3�%, NetLord ����SPAIN �&�3��� fault-tolerance 5�� VL2 5�� NetShare +R�)+�����-�)*��*$�� (OSPF). Diverter, VICTOR, and SEC2 (1�*$�)����)+�"�,������ ) �+�"�,���&�3���������$��$%� �� �3�%. 5K�#�)�� �%��Q� Oktopus 5��CloudNaaS-!�2��$%� �� �3�% *#$&��%j���2�#���5��#�%�#(3 �&�3����$���� �-!��#����K����-�. 5K�����% -�") Seawall 5��Gatekeeper �� �������(3��������$%� �� �3�%*#���$&��%j���2�#���������)5 �� flow.
���$%�$0 � %������������(�������� ���������� �$���� ��% �R)�������$��3�� %����)�&�3������5����'3�$&����)-!��� (NetLord, VICTOR, VL2, Portland, SEC2), �-$*�*�!���2�#�������3���)� %����) ((1� CloudNaaS OpenFlow), tree spanning ��''�j (SecondNet) 5��*��*$������&�3�#����-�) (NetShare 5�� VL2).$%� �� �3�%��)���$%�$0 ������3� ��!"1�"�� %�-!��� ����&����� ���-&�)����)��)� %�3���-�")3 #������� ��5��K�(�������$%� �� ���(�����%2���$%� �� �3�%(���� �������.
$%� �� �3�%��)���$%�$0 ������3� ��!"� )K����-� �$%� �� �3�%(��������� -!� !�����$%�$0 � spanning
tree*��*$�� -!��R"��� ����%��-!�*��*$��(1�(���� ����2�3��)2�� !������!��5��)*$�)����).
��������%(�*��*$��+�"�,�� spanning tree protocol�1 �Rapid Spanning Tree Protocol (RSTP)�� ����#�%��������2� $%� �� �3�%-!�$������ STP (���j!��)����&�3�#����-�)*��*$���1 � OSPF ��)$&��%j����-�)(3 7R�)��2(1��%���%���%5���R"��� ������#��)�$���� �5������&�3�#$ �*��*$����220���.� �)���4� #�)-!�5�#) [24], �%��������2������) OSPF (����% �3�R�)%���-!) � �#���Q���22�-!���)3�� (�5�� real �$���� ���� ������ OpenFlow (1�*# CloudNaas !+�"�,���� ��� %����)�%$%�$0 -!��&�3�#+����� ��) OpenFlow (1�*# CloudNaas !+�"�,���� ��� %����)�%$%�$0 -!� �&�3�#+����� ��) OpenFlow � �%�-1�K ��10#��)�}5��������-&�-!���!�%���). ������5��� %����)$%�$0 ��) OpenFlow ���� ���� )$%� �� �3�%5���+�� �����-.�/�+ bottlenectks. [39] HyperFlow ��Q����������a�3 �(����(3�� %����) logically 5 ��/�+���2��%$%�$0 OpenFlow. (� HyperFlow � ���$%� �� �3�%-!����#�R"�(�3�R�)�%$%�$0 , �%�-1�-!���!�%���)����%$%�$0 $%� �� �3�%2�reconfigured �+��������������%$%�$0 ����(3��� ���(1��#�
�������2����$��3��� ���(1�(�����#K����-��1�)����)$%� �� �3�%(��������$��3�-!��� �&�3����%� �)�1 � VL2 �������� 5���&�(1����2&���)5����)������7���X�%��� (RSM) �$����)-!�2�(1����2&���)5���#���-��!����7R�)1 %(3�$%� � ��1������-!� !K� ������-.�/�+ C. Deployability
2��#�)�� �%���)����Q�, deployability ��Q����8j��&�$�'��)�����$���� �(# r ��)�������� ��� �� virtualization. (�������!��-!���)�����0��%�(����) III-VI, ������� �� deployability ��)�������� -!���)����������� �� ���(1�)��K ���%�-1����$��-!� !����������!��7�X5%��. �� ������ r , deployability �&�3 ��R)�������� -!���)����0���j�-!� !$0j� ���-!�� �� ���(1��#�(��%�-1�-0�$��") (�1 ����� ) ����������0� L3 �b+��*��*$��)
�����0�������!#������!��-!���)�����!�%��� deployability (����)-!� VIII 7R�)�.���$0j���8j�-!�2&���Q�-!�2���)#&��������(� hypervisors ((��$����)-�)��/�+) edge
�%�-1�5���%�-1�3���. Commodity switches� %�(3' � ) �������0� L2 5���-$*�*�! VLAN (��j�-!�Commodity hypervisors ����)�+!) isolated VA � ) ��$! ����0�}�&�3������� )5+4���4*#�)$����������!��2��+������������+��������. FIB 1 %(3���� map -!��� MAC ���+����%�1�� �������#���(2��!�%������5+4$��4 forwarding.Ms ���)�)5�#)(3��34�7R�)*$�)�����) !�7���X�%�����Q��������)���2�#���.-�")�!"�R"��� ������5������7���X�%����!"�� ��� !X�)��1��-!�5� �)����1 ����2�#���-!��� Portland,VL2), ���2�#���K���1 �(NetLord 5�� VL2), ����-�)���$&��%j (VICTOR5�� SEC2), 5�����2�#���-��+��� (SecondNet) �����)��0% �(��j�-!���)����&��%2�������� (SPAIN, Diverter, and Seawall) ��)���!���b+��(�hypervisor � %�(3' ��)����&��%2�������� ��)(1�$0j� �����)6���#5%�� *#�b+��� �)��)$0j� ����3� ��!"�% MACin-MAC (SEC2) encapsulation, L3 forwarding (VL2, Net-Lord), DRR (NetShare), �$���� ��������#���-��! (NetLord, VL2, Portland, VICTOR, SEC2) 5��6���#5%��*��5�� (CloudNaaS) -!�� ) �(����������0�commodity�%�-1� #�)��"����#&���������������� �3� ���"��� ����+�� $ �(1�2 ��% ��)�$���� � � �)���4� ���6���#5%��%�%�S�����5������ ���� �)�%��)��)6���#5%��*��5�� ��� �#���%��% ��-$*�*�!�3� ��!"2������Q�&�53� )+�"�,��(����$���(���
�0#-�������)���2�+�#�R)���2�#������ ���������) !5�%*�� -!�2�(1��0���j����$��-!� !��$����5�����!���#�� �)) �#� �0���j��!"� �� ���(1��#��� � �� !$%� �#30 �� �+!)+� ��%� �)�1 �(���j!��)������� ��5��#�")�#� �%�-1�commodity ��)��4�MAC addresses ��) VMs*6��. ���2��2�)��'3� scalability �+����%�-1�commodity ��2� !2&��%� 2&���# ��)-��+��� (�1 ����#��)���) FIB) [22]. � �)���4� *$�)� �)-!�����(����� ) � NetLord ��!�commodity �%�-1�(����2�#��4�-!��� MAC �b+��edge switches. 2&��%���)�%�1���� ������% �2&��%���) VMS (�������� ��� �) ��1 %�+�� $%� �#30 �. The number of switches being much smaller than the number of VMs in a data center drastically improves scalability. (��������� -�")5��.�� #�5�� NetLord ���$��
�%�-1�-!� (1� 5 *$�)� �)� ) �-&�(3�$%� 5� �)2R) !��'3� scalability no (� NetLord. D. QoS Support
QoS (��$���� ��� ���2������$%� �&���42*#���2�#������������5��#�%�#.��&�3���5 ������1��� *)�� ���Oktopus, SecondNet, Gatekeeper 5�� CloudNaaS (3�������������5��#�%�.2�#����&�3���5 ���$���� ��� ���. (��j�, Seawall 5�� NetShare (3������� weighted fair-sharing -!�0�.�� ��)5��#�%�#.���3% �)K���1 �� �)���4� +%����� (3������������� ��!� %������2� #���5��#� %� #% � � � 30���� -!� � �����-.�/�+. (��j�-!�� %�-!��3����������� � �#�3������!�%�������#4� QoS ����1���% � ����Q����#�-!�2�������0� QoS (��������� �3� ��!"*#�����)�% +%�������$�-!����������5��#�%�.������0� (�1 ����(1� �����Oktopus ��Q� NetLord) E. Load-balancing
*3�#� #0���Q�$0j���8j�-!�+R)����)$��&�3�������#�$���� ��j�-!����������0)$%� 5���#-��+����$���� �5�������-.�/�+��)*��5�� .��3% �)�������� -!��&��%2(��������!", SPAIN and NetLord(7R�)����SPAIN �����$%� �&���42�����)load-balancing*#������2����2��2�3��spanning trees. �+���(3�����0 load balancing 5����3����R) multipathing, Portland and VL2 +R�)+� ECMP 5�� VLB.�0#-�� Diverter, VICTOR, and SEC2 ��Q�3���-!��� ���5��-!�� 1�#�2��� load-balancing. F. Summary
�� � ���! � �-! ���) � ��-!� 5 � � )�� �-!� �& � � ����������� ��|#�K����&��%23��3�%���. 3�R�) � !-�)���-!�#!�&�3���-0���'3� -!�$%�2������-!��� (�$���-� �������)��� ���$���� �. �!" ��Q�3��� �����)2���������� ��)5 ���������� +�� -!�2� 0 ) ������-!����8j��b+����) virtualization ������� ��. (��j� ����1���% � ����Q����#�-!�2��% $0j� ���-!��&�$�'��)� %���)�������� -!� (1����*1��2��K����*1����)�. ��%� �)�1 � ����Q����#��% VICTOR 5�� Oktopus (��������(1��%���1 %�������� ��-!� !5��#�%�#.��j�-!����(3����������������0�-!� !�����-.�/�+�&�3��� VM *���. ������-!���), ���3��������� -!�#!-!��0# (3�������% ���) ��)(1�$%� ����(2� �)�� �#��%�)2��$%� ��)���#��������-.�/�+
��)���(1�)��-!������� (�������� ��. #�)��"�����#4�-!��� �%�R)(�� %��!" ��)(1�$%� +�� � )���� ���%�2�(�����--!�5� �)�����)cloud�/�+5%#��� .
5. :��$�;<�L�2���M (�� %��!"���2�3������)� %���)-��-�)-!��&�$�'�&�3���
�&��%2(����$��!�%������ ���$���� ��� ���2��)���� A. Virtualized Edge Data Centers
-!��0#��)����R�8�-!� !�� 2��R)�j��!"������ �������$���� � virtualization �#� 0 )����(�������� �����#(3' -!� !3��+���$����) 5 �% ���� ��-!� !���#(3' economy-of-scale5�� !���2�#�����)�����)2��.�� 1��� %����)��)+%����, +%���� !��� 2&���# *#.�� 1����)+%����� ��� �� ��R)������*6��") . *#�b+��� �)��)��22�-�)���8,��������% �2� !�+!)� �!�$���)��� �����#(3' ����)�����R"�(�����-!�-!����� �����)5�����#&�����)��$ �(1�2 � (�1 �+��))��) �&� [40]��Q�K�(3�������� ���3� ��!"��22��� 3 �)���2��K��(1�� )K�(3���-0�����������-!���)�R"�5��$0j/�+���(3���������2 !sub-optimal(�5) ��) delay, jitter and throughput
5�)���#��(22�������)���!"�������� ��0#�1 � Mist [41] EdgeCloud [42] ����� *$���� �� [43], ���� nanodata [44] �#�������3����R"��+���������0��������)�������#��4���)��� ���&�3������(3�������*6��")-!��$���� �edge (�1 ���������R)�$���� �)-!��� ���2�#���������(������K��(1�.
(��--$%� �!"���(1� edge data centers ��Q�$&���+-��b+���&�3������)�R)������� ���$���� ����#��4�-!��")���$���� � edge.�j�-!����%�#$ �(1�2 ����K����#&��������� �3 ���������� �����#(3' edge data center ����K����*1��-!��&�$�'���!��-!����������� �������� [43]:
(1) +%������ ����&����� Qos -!�#!�% ��&�3���$%� � �1����)��� ��(delay-sensitive) !K� ������-.�/�+���-&�)����)5�++��1��� �1 � %�#!*���! ��),�� �������,*-���+-�5��������10 -�)�%4�
(2) +%������ ����#$ �(1�2 ��$���� �����������*#����#���2��2���� ����-�)(����(3��������$���� �
(3) ��-0�(��������)��) edge data centers 2��&��% �� �� � � -! ��� � �� � � � 2 �� �� � � �� � � � � � � � �����# ( 3' (�$%� ��Q�2��)����������*-�$ ��$ -!� !�� 2&��%� ��5������-�����4K��(3������� (ISP) ��#!-!�2����#����)+%����-!� !�� *$�)����)+�"�,���+���(3��������+�� ��$ �*#(1�edge datacenters [45] #�)��"�2R)$�#% �(����$ cloud 2���Q�*$�)����)+�"�,��5��3��1�"�-!� edge data centers 2����� ������� ��������(����(3�������-!� !$0j/�+��)5��(3��������������-!� !��-0��&�
$������������� �����#(3' , virtualization ��Q����)2&���Q�(�������� ��-!�-��� ��&�3��� VDCs ������0�2��3��K���1 �*# !%��0����)$�-!�3���3��5�������-.�/�+���-&�)����a�3 ����2�#���� �)���4� virtualizing edge data centers �) !����#4�3�� -!� !$%� -��-�(�)��%�2�(3 :
-�&�3���K��(3�������� �)(#� �)3�R�)��'3�+�"�,��$��%�.!���-!�#!-!��0#-!�5� )*$�)����)+�"�,����������������3% �)����5�� EDGE�+���(3�����0 tradeoff #!-!��0#��3% �)�����-.�/�+5����-0����#&�����)��? ��'3��!"��Q�-!����2�����-��%��% ���Q���'3�-!����#�R"����&�53� )������[46] 3�%�.!���5����'3��!"��Q����)2&���Q��&�3���K��(3�������-!�2�(1���� ��edge�������� ����������� ��'3��!"���51��3��r� �)$��������'3�-!����#�R"�5��2&���)5��#�")�#� ��)&�53� )� �)���4� %�.!���-!� !�� �)� �#��R�8���j!5���#�� ��-!��)������$%� ��)���5������ (��$�-��+����1 �5���$���� ��)������) �� ������!��5��)�#���#�%��(���j!�!"3������")$ �&�53� )2���)���!��5��), ���4�)��Q����)-!�2&���Q�-!�2���)+�2��j�$ �(1�2 ���)�������*$�)����)(�1 � *��� VM) (����5������+�� �����-.�/�+
-%�.!���2�#���� �) !�����-.�/�+������+�"�-!�(�3��������� ��? -!�2� !2&��%� ����)���������� ������%2���5��-��+���(����$%�$0 #�)�� �%*$�)����)+�"�,�����#(3' !$%� -��-�5����2 !$ �(1�2 �� �) !���&�$�' ����#overhead ���2�#�����Q�����#4�3�����)����%2���
����1���% �-!��� ���$%� -��-�(����%�2����)��2����)�&�$�' �$%� �&���42��)5��3����"�*$�)����)+�"�,��$��%#�. B. Virtual data center embedding
�� �����)��� VDCs 2&��%� �� �R"��� ������-&�5 ��|�) virtual resources� �) !�����-.�/�+-�)��/�+3�R�).�!"��'3�$�����2���!�% ���)5��5���#���������)��)���%�2�(�����-��)�$���� �[48] virtualization - [51]. �������� ������� ���1 � Second-Net 5�� Oktopus [16] heuristics �)������ �#�����-!�2���� ��#�% NP-hardness ��)��'3������).� �)���4� !��'3����� r 3����������!�%���������5��������� ���� ���������R-R embedding.
• (�����-!���� �� virtualized !-��+�������r ����3���2���7���X�%���-�)��/�+-!��� ��� virtualized 7R�)�% �R)������� �%�1� �0���j���4���� �� 5���������8�$%� ���#/� -!� !�� �%�(1�5����'3������)�&�3���������� ���#� 0 )�����b+��(��������0�����) VM -!�#!-!��0#�+��������) $%� ��)���5��#�%�#.�5�������� %�K� ����1���% � �������-R �����)�&�3��� VDCs $%�+�2��j�$%� ��)����&�3���-��+������� r #�%
• $%� ��)�����)-��+����&�3������(1�)��������� ���� ������!��1 %)�%��7R�)3 �$%� % ������) VDCs -!���2 !������!��5��) (�������5���������-R (3 VDC -!�$&��R)�R)$ �(1�2 � �������*$�)����)��) VMS (�1 � ��-0����*���) 5�� virtua topologies �)$)��Q���'3�(����%�2�
• ��� �j���(1�+��))����Q���'3�(3' (�������� ���")5 ��"���'1!�&�3���2&��%���� ��-!��&�$�'��-0����#&�����)������ *#% �� ��)�� Carey [52] ��)-!��&����)��$0� $��)���)5%#��� (EPA) ������� ��������*/$��� �j 3% ��)���(1��XXa�-�")3 #��)�3��,(��� 2001 ���2���!"���(1�+��))��*#��� �j��)�7���X�%���������� ����Q���� �j 2% ��)���5��XXa���)*�� -!���#$���)��� [53] �0���j�$� +�%������)-��%�� 5000 ���)X0 � %�������� ��7R�)�% �R)*���7��7����0���j��XXa��7���X�%���� %��������7���X�%������� r -!���4�5����������0���j���"������) 52% ��)���(1�+��))���% DC; �������2 �������#�%������2��&���2��) UPS (53� )2 ��X�&���)), ����$%� ����, 5�) 5���%�1���$�����*/$ 48% Greenberg et al. [54] ��)�������$���� ���)��� ��(1� 10-20% ��)+��))���% ������5��������� ���� ��� "Green" -!���)�������-R -!�(1���Q���'1!��� �j���(1�+��))��2�1 %K��#�5�����(�����#��-0� 5����#$���)���$%� ��)%�#������)5%#��� (3 *#�b+�� �$���� ��� ���1 %(�
����#(1�+��))��K ������#2&��%�-�)��/�+�������/�%�1�-!�2&���Q���)(1�)�� *#�% �� ���-��+���(�2&��%�����)��)��/�+2&��%� �� � �)���4� 5 �$%� +�� � ��0#(�������5���$���� �������� ��+��))��-���% � [55], �������.R �����)�� � !�#�+�2��j���-0���)+��))�� $%� -��-�3���(�����#���(1�+��))����Q�%�.!���-!�2�� % ����+�� �����-.�/�+&�53� )��) VMS 5�� VNS �+���������3�#+��))��
• fault-tolerance ��Q��!�3�R�)��'3��&�$�'(�������� ���� ���2��) $%� �� �3�%��)����1��� *)-�)��/�+�� ���� �(3����#���30#1�)�� VDCs 3���%-!�(1� link �+���-!�2��#�����-.�/�+��)*��5�� �����)2��$%� �� �3�% ��Q����)2&���Q��&�3���K���1 �-!�2�3� embeddings -!�-�$%� K�#+��#��))��-!� !�� ���$���� ���)�������� ���2��) [56] 3 ��R)��"���-!����� ����(�-��-�)�!"
• (�-!��0#��'3���)�����) VDC �)-&�(3����#$&��� (����3���� ��-!��3 ��������/�+�&�3��������) topologies VDC
• (�-!��0#K���1 ���)$���2��)���-!�2�����(1� VDCs ��� ������� ��2��/� �/�$3���!" -&�(3����#��'3���)�����) VDCs ��� *#� ����3��(�3������-!�+���)-!� !�����-.�/�+*#� ��)��!���$%� ��Q�����-���)5 ��K��(3�������*$�)����)+�"�,��2������Q���'3�-!�-��-� !K�)��� ��0#�1 � Polyvine [57] 3 ��R)$%� +�� -!����� ���&�3������5����'3��!"
• 5 �% ��������� ������� ��-!��&������#������� ���$���� �-!�5� �)����1 � topologies, Fat-Tree 5�� Clos, ��2�� 1�# �2��&�3���*-*+*�!-!� �3 ��-!��0#�&�3��������) VDC ��%� �)�1 � ���#������)��% �*$�)��������$%� �&���42(������) SecondNet �7���X�%�����)5�����(1����*1���$���� ��&�3��� BCube [15] ���% ����(1����*1���&�3���*-*+*�!5�� fat-tree #�)��"�����1���% � ����Q����)-!��&�$�'(����%��$���3�K����-���)�����) VDC ��!�%���������5����)�$���� ���� ��-�)��/�+-!����� topologies C. Programmability
*��5�� �$���� �2� !5�)2�)(2 �2��$%� �������-!�2��+�� $%� �#30 �5���%���� 2�����2&�5�����-&�)����)�$���� ��+����&��%$%� ��#%���� *#���5���&���)��*$��(3 5���������� *#���0�+!)*��5�� �$���� ��� ���
�&�3�#��Q�$%� �� ���(������!�(1��3����)�0$$�-!��� ���0���j��$���� � (�1 � �������) -�")(����$%�$0 ����� 5��������� �� *��5�� �$���� �-!��#����� �����4%r�!" (3�$%� ��(2(���� ���0(����%�2�� % ��� *#�b+��� �)��)5�%$�#��)�$���� �7�X5%��-!��&�3�#�%� (SDN) !%��0����)$��+���(3�) �(� API �&�3��������!�*��5�� �$���� ����$%�$0 ����� ���*1����)*��5�� �$���� �2���-$��$ virtualization � $&��R)�R)����-���+�2��j� (�1 � �$���� � ISP 3��� DC) �%� �)�1 � �����!��3��-!��&�3�#��)� ���*3�#�� ���� �+!)5 !K����-� �*3�#�� ������ �r��)�$���� � ( Isolation) 5 � ) � � �(3� ���#���30#1�)��(�+�"�K�%-�)��/�+7R�)��Q������)%�-!��&�$�' �&�3�������&�*��5�� �$���� � (�����-��)������� ���� ���2��), *��5�� �$���� �(3���Q���������X7 5��5�� %��&�3������5�-�)��/�+��) topologies 2�� virtual topologies 1 %(3�2��#�������2�#���5��+�S�� (��j�-!� ����#� �34�5��%���������)�������� 2&��%� ��-!��&��%2(� Paper�!"2������-$*�*�!�����!�*��5�� �$���� ��1 � Openflow � �)���4� (�����-��)������� ���� ���2��) multitenant, *��5�� �$���� �2��R"��� ���2&��%���)$%� -��-����%�2�:
• ��220���������� ����������������� �$���� ��+!) 5 1 %(3����$%�$0 2 1�"� 5�� 3 1�"�*��*$���!" !������-!����5�����(1�)����)1�"��#!%��� 2 1�"�5�� 3 1�"�*��*$�� (�1 � IPv4 5�� Ethernet) *#K���1 �-�")3 #(3� APIs ��)*��5�� �&�3��� virtualization (�-!�1�"�-!�5� �)�����)�$���� � stack 7R�)2��+�� $%� �#30 �� �) !���&�$�'������ ���$���� �����
• (��j�-!��-$*�*�!�$���� �*��5�� !���2�#���-!� !$%� �#30 ���)���(3��1 � 5��K��(3�������*$�)����)+�"�,��-!�+%�����)��|#*���� �&�3���K���1 �-!���Q������ �*$�)����)+�"�,��-�)-!�K�# ���(3�������*$�)����)+�"�,��2&���Q���)�&�3�#%�.!�+���(3������R)5��%�.!���$%�$0 ���R"�-!�2� ��3 �(3�K���1 ��+���(3�K���1 ��#������#��-!�� �+�(2��)$%� �#30 �(�5) ��)�����!�*��5�� ��)�0���j��$���� �-!� ���(2(�$%� ���#/�5��������8�$%� ���#/�(������ � % �����)K���1 �3��
K������2 !�$���� �-!�� �#� ��,�� API �&�3��������!�*��5�� -!���Q���� ��-.�� -��-����%�2�-!�� ���(2$����� -&�$%� ����(2K����-���)�������)�����$���� �������� ��2��
�0���j�-!� �)1��#������6���#5%��-!�5� �)�����#�� APIs 5���&� heterogeneity !-�")���#!5�������! �����!-!��&�$�'$�� $ �(1�2 �������3���&�*#��������X7-!�5� �)��� (��j�-!����#!�4$�� !��)$0j� ���-!� ��Q� vendor-specific ��2��Q�-!���)���(���)�������j�
��220��� OpenFlow [58] 5��1�"� virtualization ��) FlowVisor [59] ��Q��-$*�*�!-!�#!-!��0#-!��&������ �)1�#�2��+���(3�����0�����!�*��5�� (��$���� ���� ������ OpenFlow ��Q� abstraction layer -!�1 %(3�K��(1��� ����&�3�#+����� ��)�%�-1��$���� �*#(1�$� *+����+���8-!���!�% ��%$%�$0 FlowVisor [59] $�� ���������2&���)�� ����$���� �-!�1 %(3�3���%$%�$0 (controller 3�R�)�1 � �) $%�$0 �%�1� OpenFlow � % ����#�� ��0#$%� +�� ��)���%�2� !���#&������������(1� OpenFlow (���� �������$���� � [39], [60], [61] ���2&���#��) OpenFlow � �)(#� �)3�R�)��Q�������!#$%� �� ��� (���220��� OpenFlow adopts !�������� 5�������% -!��%$%�$0 �#!%���K�#1��(����2�#���-�")3 #�%�1�-!��#���|#(1�)�� OpenFlow (��$���� � �")5 �$���� �������� �����#(3' *#-��%��-&�3���-!�������5�+��� ���� OpenFlow 7R�)��2��Q���'3�$��%#��)�����-.�/�+���-&�)���#� *#�b+��� �)��) DevoFlow [61] -!�$%�$0 �b+�� ���% �� %� ���)���5� 5�� [39] HyperFlow (1����2��%$%�$0 -!� ! 0 �)�1�)����5��$��%)2� (�-&���)�#!%��� scalability ��) FlowVisor �4�)��Q������)-!���)�%2��� ���(3�2&��%� ����)K���1 �-!���!�%���)�������� (�������� ���� ���2��) -�)-!���Q����#��&�3������������0) scalability FlowVisor $�� ����&�3�#2&��%�-!��3 ��� 5��&�53� )��)����5�7� FlowVisor (�*��5�� �$���� �������� �� *#(�-!��0#5+�X��� *��5�� ���� r (�1 � �$���� �-!�(1�)���%5-� ����� 5���$��� MIB) �4��2�#����������� ��(�����-��)�$���� ���� ���� ���2��)
D. Network performance guarantees
��� �����$��(�-0�%���!"2���������Q�2&��%� �� ���)*��5�� ���0��-!� !$%� ��)���#��������-.�/�+-!�3���3�� �%� �)�1 � K��(1�3�� �(1�)���1 ��%4��7���X�%��� 5���%��2��)*��5�� (�1 � �� ��� ), ��2���)5�)�����������&�(��j�(1�)����� ��2&��%� �� �1 �)�� MapReduce ���������� throughput �$���� ���) (�����-�!" ��Q���'3�-!�-��-�������5���$���� �������� ��-!��#30 � �)�#30 ��&�3������������0�%��0����)$�
�����-.�/�+�$���� �-!�3���3�� ��� �� virtualization �����$���� �-!� !$%� �� ���(�������1��$%� -��-��3� ��!"*#���3���$���� �������� �������� �$���� �����3���%-!��� ���2�#��! �#�� �)������+���(3�����0%��0����)$�-!���)��������-.�/�+���-&�)�� ��%� �)�1 � �������� -!��&�������Q�2&��%� �� �1 �SecondNet 5�� Oktopus ����-!��#��&�����(����2�#���5��#�%�#.����������(3����5 ��������� ���� ���
5 ���(3����������������5��#�%�.-!���� )%#2��&����� ���(1����*1��-!��&����K�� �1 �� (1����*1��� �)�4 -!�5��#�%�#.����2�#�������r, 2� !�"&�3���-!�0�.�� 7R�)�� ���� % ���5����'3� �1 � Seawall 5�� !$%� �� ���(����(1�-��+�����) 5 +%����� �#�(3�������������-��+���5 ��������� ���� ��� !$%� ��#5�)��3% �)����+�� ���(1� �$���� � 5�����(3������������������-.�/�+��)�$���� ���Q� ������5��*$�)���2�#���5��#�%�#.�-!�#!��)���5����3% �)-�")��)%��0����)$�-!��&�$�'(���'3����%�2� $�� 5����� ���/�+�� ���2��) � �)�� -&�)��-!� !�� ���$���� �5���� ������������� ���#���� ��Q�3�������2�#���5��#�%�#-��&�3�����%����$�#���j� throughputs ��'3�$%� � �1��(����(3���������)�)$)��Q���'3���|#��Q� ��� �+!) 5 ��)2�#���5��#�%�#5� 5 �) !�������$%�$0 �������-!� !�����-.�/�+ �%� �)�1 � S3 [62] ��Q�����$%�$0 ���5�-!� 0 )3%�)-!�2�� ���5��&�3�#�%�� 3�R�)(�$%� -��-�*#�b+��� �)��)(��/�+5%#��� ��)������� ��$�� TCP incast 0���'3� [63], -!� �+��� �����)5+$��42��-0�3 0��%!������"�2&��%� ���� ����������#��X�X���(��$���� ��%�1� ��Q�K�(����3� %)�%����)�$���� ��&�$�'�+�� �R"� ����1���% � ���5����'3�(# r -!� !���3� %)�%�� guarantees (��$���� �������� ����) !$%� �� �����)���2�#��� TCP incast 0� ����1���% ���'3�(3����3� %)�%�����������(��/�+5%#��� multi-tenant �#��)��)����%��+�� �� E. Data center management
(������������ �� virtualized K��(3�������*$�)����)+�"�,��-!� !3���-!�(����2�#���-��+���-�)��/�+��)������� ��(��j�-!�K��(3�������2�#����� ���-��+��� (�1 �$� +�%���� ��4���� �� �$��� � � I/O) ���� %����)������� ���� �����)� ���#!-!��&�$�'��)������� ��-!� virtualized $�� -��+���-�)��/�+2����2�#��� *#K��(3�������*$�)����)+�"�,���#!% �!"2�1 %(3�K��(3�������
*$�)����)+�"�,��-!�2� ! 0 �)5���4 ��)����2R)�&��%$%� ��#%�(����2�#���-��+���-!� !�����-.�/�+5�����2�#�����)$%� �� �3�% � �)���4� �)$) !$%� -��-�3��� �)-!���) addressed (�������� ���� ���2��) �#�5� :
• ����%2�����Q�)��-!�-��-������)2��2&��%����#(3' ��)-��+���(�������� �����K�� %�.!�%2���2��� %����)�#����2�����������5��$%� �#30 �-!��&� ����%2����3��j� [64] 5�� gossipping [65] !20# 0 )3 �-!�2����1����� 2&���# �3� ��!"*#�����|#(1�*7��1�������%2���������2�5�� !�����-.�/�+�&�3����/�+5%#��� ���#(3' ��'3��&�$�'$����� �#$ ���K����-���)���2�#���2��2��������-.�/�+��)�$���� � (��%���#!%���, ���3�-�)���-!��������#�#��&�3�������% ��� ������%2���-!���!�%���)*#� -&���$%� 5 �&���Q�$%� -��-�-!�2���)2�#���*#����%2����$����) ��-!����5�� ��&�3���������� �� �0#-��(3� 0 �)-!��&�3�#��)5��5��&�3���K��(3���������)5 ���0$$�5������&�3�#� % �����3% �)��������%2�����)K��(3�������*$�)����)+�"�,��5��K��(3��������)��)�&��%2 ���
• ���2�#���+��))��� �) !�����-.�/�+��Q����)�&�$�'�&�3�������#��-0����#&�����)����)������� �� 3�R�)(�$%� -��-�3���-!� ! ����(1�+��))��-!�#!-!��0#$��������5����#� %�+��))���������� ������� �����(1�+��))��-!�2�����&�3�#*#���(1��7���X�%���5���$���� � [55], [66] ElasticTree [55], �%� �) $%� +�� �+���(3��#�+��))��� %� *#���2 ��X(3�����|#�%�1�5������1��� *)5���#�� �� (�5) �!"��� �� virtualization �����$���� ��)�� ����&����� ����#���(1�+��))��5 �% �����% �$���� � (�1 �K ��������$���� ��� ���2��) [67]) � �)���4� ����#��� �j���(1�+��))���� ��� �(���$��#�����-.�/�+ VDC #�)��"� 2R) ���5����#� %�+��))����� �������������� factoring (��$���� ��� ���5��3�� #0�-!�#!��3% �)���(1�+��))��5�������-.�/�+���-&�)�� VDC $&��� ���%�2�-!�� ���(2
• ����%2���5�����2�#�����)$%� �� �3�%��Q�$%� ��)�����"�+�"�,��(#r ��)�������� ������� ���+���$%� �� �3�%��)-��+���-�)��/�+-!���22� !K� �3��K��(3������� �������� -!� !�� � %�(3' +R�)�� �3�% reactive handing %�.! ���
��!���!�3�����)+%����$����������)�%�������27R�)�� ���� )K����-�(��1�)�������-.�/�+��)*��5�� 2���Q����#!-!����2�#��������+� �)$%�(1�(����8j��1�)�0� 7R�)�������-&���������#��)$%� �� �3�% 5�����-&�� ��-!�2����#�R"� (�-�)���������2�#���$%� K�#�1�)�0�2� ��2� ���(2*#%�.!�����)$%� 7"&�7����1 ����2�#��! ����-�)�&��� 5��(3�$%� � ��1��������)*#� ��)��!$ �(1�2 � ����������Q���'3�-!�� ���(2�&�3�������&��%2(����$ F. Security
������8�$%� ���#/��#��������#4�-!��&�$�'��)�������� �$���� �(#r ��'3�$��-!� �(�����-��)������� ���� ���2��)�����)2������� +��.�-!�7��7�����3% �)K���1 �5��K��(3�������*$�)����)+�"�,��5��(�3 � K���1 ���) 5 �% � virtualization ��)�7���X�%���5���$���� �������� ���� ������8�$%� ���#/�-!� !$%� -��-� �1 � ���2&���#������%�3���)��� �����#&��)�� ��)1 �)#������)5�����*2 !7R�)���%������-.�/�+��)�-$*�*�! virtualization (�-0�%���!"7R�)�)$)3 �)���-!�2��������* *#�b+��� �)��)1 �)*3% �)r(��-$*�*�! virtualization �7���X�%����1 � VMware [68], Xen [69] 5�� PC Microsoft �� ���5���7���X�%����� ��� [70] �#���������|#�K 7R�) 1 �)*3% -!�$������ !5�%*�� -!�2����#�R"�(��)$���������)�$���� �*��5�� �1 ���� #�)��"�� �+!) 5 -&��-$��$ virtualization �$���� �����a�)���� (3�������������2�����*2 !5��/�$0�$� -!� !�� ����$���� �-�)��/�+5���� ��� 5 � )�& � ���� � ��1 �) *3% #� ��$%� ���#/�(3 �%� �)�1 � *2 ! VM ��2�&����� ���*2 ! hypervisor VM *6���7���X�%�����/�+ Vm ���� r � �*2 !*6�� ���7���X�%�����"� 5��(�-!� �0# �$���� ��� ���-�")3 #-!�(1�� % ���-!��7���X�%��� [71] ���2��1 �)*3% $%� ���#/�-!���!�%���)����������-��-$*�*�! virtualization !$%� 2&���Q�-!�2�(3�*$�)����)+�"�,������%2���5������%2���$���+����%2�����2��� -!���Q������2��K���1 �5��K��(3�������*$�)����)+�"�,�� ��2���!�% � ������� ���$���� �5��+����8j�-!�5� �)�% ����2��2�(��$���� ���)��� ��#�")�#� [72] #�)��"�����-!��3 ��� ��22���)�%2���$%� K�#�����)�$���� �(��$���� ���� ���� ���2��) auditability (�������� ���� ���2��)$%�2�� % �����3% �)K���1 �5��K��(3�������*$�)����)+�"�,��(�����a�)���+����� -!���Q������2��-�")��)��� � �)���4� ��2� !$ �(1�2 �-!���!�%���)������*$�)����)
+�"�,��#�)�� �%*#�b+��� �)��)(�������� �����#(3' (� [73] K����!�5�#)(3��34�% � ����Q�$%� -��-�(�����%2����������%4�(��/�+5%#��� $� +�%����� �*#� ��)-%!$%� �0�5�)�R"������-.�/�+��)*��5�� ���$�#% ���'3�-!�2���%����)���!�� ����������2��� ��)�$���� �(� VDC �)$) !)��-!�2���)-&�(�������5������-!��������#�#�5�� !�����-.�/�+�&�3�������%2���5������%2���������� ���� ���2��) �0#-�� (������������ �� multi-tenant K���1 �������2����)$�$%� ���#/�(���#�� �)r 5���&��+�� �� $%� 7��7�����)���2�#����*��5������������8�$%� ���#/�-!�5� �)��� ���2���!"����� � % ���5����� !����� +��.���)�������8�$%� ���#/�3��$�#% �(�������� �� multitenant ��Q���'3�-!��)� �#�������5���� �%� �)�1 �$%� ��#5�)��3% �)�X��%����5������0��0������%22������*����)K��(3�������*$�)����)+�"�,��5��K��(3�������2���) !����%2+�5��5�����#� [74] G. Pricing
����&�3�#��$� $����'3��&�$�'(�3���/�+5%#��� ��)������� ��� �+!)5 �+��� !K�*#�) ����#���)K��(3�������*$�)����)+�"�,�� 5 �)�+��� ��(3�5�)2�)(2�&�3���K���1 �-!�2����+��(�-�)-!��&����� K���+.�-!���)����1 ����(1�-��+�����)�0#5�� �����-.�/�+��)*��5�� [1].*#-��%��+�#*$�)�����$�������5��-!�#!$%�2���Q�-�")��)� �)��Q�.�� 5�� !�����-.�/�+ $%� ��Q�.�� 3 �$%� % �#!�3 ������-!�$%�2���(���$�-!��3 ������ �����-.�/�+��$���)#!2��&����� K���+.�-!� !�����-.�/�+ (�1 ����2��$� �0�-��5���0��)$�). -0�%���!"���(3�������*$�)����)+�"�,����''�% �2�(3�-��+���-!�2��1 �(����8j�$%� ��)���5��K���1 ���!���4�����5��%�#.��&�3��� VM 5��(1�)���$���� �. 5 �2� !����&�3�#5K�-!�) � 5 �)$)-0���-� ��2�������+� �) 2��$ ���) VMS 5���$���� ��&�3���K���1 ��#!%�� ���+R�)+�����7R�)���5����� �%� �)�1 ������-.�/�+��)�$���� ���2��� ����#�%�����-&�)����))��-!�K���1 �-&�(3���-0�(����(1�)���+�� �R"� VM [75]. virtualization ������� ���$���� ��� ���5������'3��!"*#2�#���5��#�%�#.��+�������������&�3���5 �� VM [16] �&�3���������� ���� ����������1��� �-!�#!-!��0#$%� �� ���, �������� ��0#��)����&�3�#��$�-��+���-!�*##�# � (DRP) [75] #��3 ���2���Q�-�)���-!� !5�%*�� -!�2��&�2�#���+R�)+���3% �) VM 5��(1�)���$���� �
�����!���!�-!���) (���220������ ������&�3�#��$�*$�)�������-!�+%����� (3����)2�)(2�&�3���K���1 ��+���(3�����0K�� -!���)���.*#�b+��� �)��)+%����� �#� (1) ���0�����7�"���)-��+���� ��� !$%� ��)����� (���#���&�5�� (2) ���������� $%� ��)��� �������� ((��j�-!�(3�$%� �&�$�'������(1�)��-!��&�$�') � ��� !$%� ��)����� (���#����).%�.!���5����'3�-!� !5�%*�� -!�2�5������'3��!"$�����(1����5������&�3�#��$�(���#-!�����$�����#�%-��+���-!���$��R"�5���#�)� �0��)$�5���0�-�� (� 0 �)�!"���(3������� Amazon EC2 �1 �20#5�#)�R)$%� +�� �1�)+�j�1�$��")5��� �)�4 -!� ���#-!�����$�����#�%����&�3�#��$�*$�)���. ������ Amazon EC2 �1 �20#5�#)�R)$%� +�� �1�)+�j�1�$��")5��� �)�4 -!� ���#-!�����$�����#�%����&�3�#��$�*$�)���.�-$��$-!�$���������2���!"�)�� ����&� �(1��&�3����$���� ���� ���� ���2��)����-!���$�-��+����&�3���1�"���!�������-!�5� �)��� (���������5��#�%�. �1 � besteffort) 5� �)���� $%� ��)���-��+���� �)���4 � ������5�������#-!�����$�����#�%*$�)���2�#���-��+���-!�2�#���-��+���3��1��# (�1 � VM 5�� bandwidth) -!� !���$"&�������$0j/�+���(3�������-!�5� �)����)$)��Q���'3�-!�-��-� (��j�-!�����/�����+���(3�3 �)����#������� 0 )������-!�����&�3�#��$�-��+���/�(�������� ����j!����&�3�#��$�-��+���� ����������� ���)��Q�$%� -��-�� �)3�R�) .*#�b+��� �)��)� ���K���1 � !$%� ����)$�2�����(1�������� ���� ������ ������� ��3�� r !$%� 2&���Q���)+�S������� �+!) 5 2�1 %(3�K���1 ��#���(2-!��3 ��� ��)�����) VDCs K ���$���� �3�� 5 �)�+���(3�K��(3�������-�")K�� �1 �5��*$�)����)+�"�,���+�������2�2� ���) $0j/�+���(3�������5�����5������&�3�#��$�.-!� !�� -&�)���1 � V-Mart [76] 3 ��R)$%� +�� $��")5��(�-��-�)�!".
6.4GO&
������� ���#������Q�*$�)����)+�"�,��-!� !�����-.�/�+�&�3������2�#��4���� ��5��+�"�-!����(1�)���$���� ����#(3' . � �)���4� ��� ��5��#�")�#� ��)�������� �$���� ������ �3 ���&�3������$K���1 �3���/�+������� ��. virtualization ��Q��-$*�*�!-!� !5�%*�� (�������5��������� ���������#�#�
5�� deployable �#�� �)) �#�-!� !$%� �#30 ������)$%� ��)�����)���(1�)����)K���1 �(��j�-!��#$ �(1�2 �#���*$�)����)+�"�,�����2�#���������0)$%� �#30 �5���#���(1�+��))�� (��-$%� �!"����&��%2�����(�������� ��%�2��$���� ��� ���2��).����#�+�#�R)5K����-!��&�����2�� 0 �)-!�5� �)������%�2�����5�%*�� �#����#�) ����!"� ��� !������5���������� �3� ��!".���2���!"����) !������0��)� %���)-��-�)���%�2�-!��&�$�'(���� �� virtualization �����$���� �5��%�.!���-!� !���/�+. 5 �% ��������(���220���������0) scalability (3������&�3���� #0�/������$"&�������(3�5��#�%�#.� !��'3�-!�-��-�5��-!��)� �#��&��%2$%� �&�$�' . ������5���$���� �� ���--!�-��� �(3���������������-.�/�+-!���� )%#���j�5��2&���)-�).0���25������&�3�#��$�-!� !�����-.�/�+������8�$%� ���#/��+���(3� ���(25�� !*��5�� -!�������0���� ��*$�)����)+�"�,��3��b��5��3���/� 3��������#&���������")�&���)� -!� !$%� �#30 �5������1��� ����2�#�����3% �)K���1 �5��K��(3�������5�����+�S���$����) ��-!� !�����-.�/�+ ���2�#������ ��-!� virtualized ����2�5���&�-!��&�$�'�&�3������%�2�(����$
%2,4�G21�:2�:
[1] Amazon Elastic Compute Cloud (Amazon EC2). http://aws.amazon.com/ec2/. [2] D. Carr, �How Google Works,� July 2006. [3] J. Dean and S. Ghemawat, �MapReduce: Simplified Data Processing on Large Clusters,� in Proc. USENIX OSDI, December 2004. [4] WMware. http://www.vmware.com. [5] Xen. http://xen.org. [6] A. Shieh, S. Kandulaz, A. Greenberg, C. Kim, and B. Saha, �Sharing the Data Center Network,� in Proc. USENIX NSDI, March 2011. [7] T. Benson, A. Akella, A. Shaikh, and S. Sahu, �CloudNaaS: A Cloud Networking Platform for Enterprise Applications,� in Proc. ACMSOCC, June 2011. [8] M. Chowdhury and R. Boutaba, �A Survey of Network Virtualization,� Computer Networks, vol. 54, no. 5, pp. 862�876, 2010.
[9] �Data Center: Load Balancing Data Center Services SRND,� 2004. [10] W. Dally and B. Towles, Principles and Practices of Interconnection Networks. Morgan Kaufmann Publishers Inc., 2004. [11] C. Leiserson, �Fat-Trees: Universal Networks for Hardware-Efficient Supercomputing,� IEEE Trans. Comput., vol. 34, no. 10, pp. 892�901, 1985. [12] M. Al-Fares, A. Loukissas, and A. Vahdat, �A Scalable, Commodity Data Center Network Architecture,� in Proc. ACM SIGCOMM, August 2008. [13] C. Guo, G. Lu, D. Li, H. Wu, X. Zhang, Y. Shi, C. Tian, Y. Zhang, and S. Lu, �BCube: A High Performance, Server- centric Network Architecture for Modular Data Centers,� in Proc. ACM SIGCOMM,August 2009. [14] L. Popa, S. Ratnasamy, G. Iannaccone, A. Krishnamurthy, and I. Stoica, �A Cost Comparison of Datacenter Network Architectures,� in Proc. ACM CoNext, November 2010. [15] C. Guo, G. Lu, H. Wang, S. Yang, C. Kong, P. Sun, W. Wu, and Y. Zhang, �SecondNet: A Data Center Network Virtualization Architec-ture with Bandwidth Guarantees,� in Proc. ACM CoNEXT, December 2010. [16] H. Ballani, P. Costa, T. Karagiannis, and A. Rowstron, �Towards Predictable Datacenter Networks,� in Proc. ACM SIGCOMM, August 2011. [17] N. Spring, R. Mahajan, D. Wetherall, and T. Anderson, �Measuring ISP Topologies with Rocketfuel,� IEEE/ACM Trans. Netw., vol. 12, no. 1, pp. 2�16, 2004. [18] Q. Zhang, M. F. Zhani, Q. Zhu, S. Zhang, R. Boutaba, and J. Hellerstein, �Dynamic Energy-Aware Capacity Provisioning for Cloud Computing Environments,� in Proc. IEEE/ACM International Conference on Auto-nomic Computing (ICAC), September 2012. [19] �IEEE Standard for Local and Metropolitan Area Networks � Virtual Bridged Local Area Networks,� IEEE Std 802.1Q-2005, May 2006.
[20] J. Mudigonda, P. Yalagandula, M. Al-Fares, and J. Mogul, �SPAIN:COTS Data-Center Ethernet for Multipathing over Arbitrary Topologies,� in Proc. ACM USENIX NSDI, April 2010. [21] A. Edwards, F. A, and A. Lain, �Diverter: A New Approach to Networking Within Virtualized Infrastructures,� in Proc. ACM WREN, August 2009. [22] J. Mudigonda, P. Yalagandula, B. Stiekes, and Y. Pouffary, �NetLord: A Scalable Multi-Tenant Network Architecture for Virtualized Datacen-ters,� in Proc. ACM SIGCOMM, August 2011. [23] F. Hao, T. Lakshman, S. Mukherjee, and H. Song, �Enhancing Dynamic Cloud-based Services using Network Virtualization,� in Proc. ACM VISA, August 2009. [24] A. Greenberg, J. Hamilton, N. Jain, S. Kandula, C. Kim, P. Lahiri, D. Maltz, P. Patel, and S. Sengupta, �VL2: A Scalable and Flexible Data Center Network,� in Proc. ACM SIGCOMM, August 2009. [25] R. Mysore, A. Pamboris, N. Farrington, N. Huang, P. Miri, S. Rad-hakrishnan, V. Subramanya, and A. Vahdat, �PortLand: A Scalable Fault-Tolerant Layer 2 Data Center Network Fabric,� in Proc. ACM SIGCOMM, August 2009. [26] H. Rodrigues, J. R. Santos, Y. Turner, P. Soares, and D. Guedes, �Gate-keeper: Supporting Bandwidth Guarantees for Multi-tenant Datacenter Networks,� in Proc. WIOV, June 2011. [27] T. Lam, S. Radhakrishnan, A. Vahdat, and G. Varghese, �NetShare: Virtualizing Data Center Networks across Services,� Technical Report CS2010-0957, May 2010. [28] F. Hao, T. Lakshman, S. Mukherjee, and H. Song, �Secure Cloud Computing with a Virtualized Network Infrastructure,� in Proc.USENIX HotCloud, June 2010. [29] C. Hopps, �Analysis of an Equal-Cost Multi-Path Algorithm,� IETF RFC 2992, November 2000. [30] R. Zhang-Shen and N. McKeown, �Designing a Predictable Internet Backbone Network,� in Proc. ACM HotNets, November 2004.
[31] , �Designing a Predictable Internet Backbone with Valiant Load-Balancing,� in Proc. IWQoS, June 2005. [32] N. Leavitt, �Is Cloud Computing Really Ready for Prime Time?� Computer, vol. 42, no. 1, pp. 15�20, January 2009. [34] E. Rosen and Y. Rekhter, �BGP/MPLS IP Virtual Private Networks (VPNs),� IETF RFC 4364, February 2006. [35] R. Perlman, �An Algorithm for Distributed Computation of a Spanning Tree in an Extended LAN,� ACM Computer Communication Review, vol. 15, no. 4, pp. 44�53, September 1985. [36] E. Rosen, A. Viswanathan, and R. Callon, �Multiprotocol Label Switch-ing Architecture,� IETF RFC 3031, January 2001. [37] M. Shreedhar and G. Varghese, �Efficient Fair Queuing Using Deficit Round-Robin,� IEEE/ACM Trans. Netw., vol. 4, no. 3, pp. 375�385, 1996. [38] �IEEE Std 802.1D-2004, IEEE Standard for Local and Metropolitan Area Networks, Media Access Control (MAC) Bridges.� 2004. [39] A. Tootoonchian and Y. Ganjalir, �HyperFlow: a Distributed Control Plane for OpenFlow,� in Proc. NSDI INM/WREN, April 2010. [40] ́ I. Goiri, K. Le, J. Guitart, J. Torres, and R. Bianchini, �Intelligent Placement of Datacenters for Internet Services,� in Proc. IEEE ICDCS, June 2011. [41] B. Ahlgren, P. Aranda, P. Chemouil, S. Oueslati, L. Correia, H. Karl, M. S¨ollner, and A. Welin, �Content, Connectivity, and Cloud: Ingre-dients for the Network of the Future,� IEEE Commun. Mag., vol. 49, no. 7, pp. 62� 70, July 2011. [42] S. Islam and J.-C. Gregoire, �Network Edge Intelligence for the Emerg-ing Next-Generation Internet,� Future Internet, vol. 2, no. 4, pp. 603� 623, December 2010. [43] k. Church, A. Greenberg, and J. Hamilton, �On Delivering Embarrass-ingly Distributed Cloud Services,� in Proc.ACMHotNets, October 2008.
[44] V. Valancius, N. Laoutaris, C. Diot, P. Rodriguez, and L. Massouli´e, �Greening the Internet with Nano Data Centers,� in Proc. ACM CoNEXT, December 2009. [45] M. B. Mobley, T. Stuart, and Y. Andrew, �Next- Generation Managed Services: A Window of Opportunity for Service Providers,� CISCO Technical Report, 2009. [46] D. Oppenheimer, B. Chun, D. Patterson, A. Snoeren, and A. Vahdat, �Service Placement in a Shared Wide-Area Platform,� in Proc. USENIXn ATEC, June 2006. [47] L. Qiu, V. Padmanabhan, and G. Voelker, �On the Placement of Web Server Replicas,� in Proc. IEEE INFOCOM, April 2001. [48] M. Yu, Y. Yi, J. Rexford, and M. Chiang, �Rethinking Virtual Network Embedding: Substrate Support for Path Splitting and Migration,� ACM Computer Communication Review, vol. 38, no. 2, pp. 17�29, April 2008. [49] M. Chowdhury, M. Rahman, and R. Boutaba, �Virtual Network Embed-ding with Coordinated Node and Link Mapping,� in Proc. INFOCOM, April 2009. [50] M. R. Rahman, I. Aib, and R. Boutaba, �Survivable Virtual Network Embedding,� in Proc. IFIP Networking, May 2010. [51] N. F. Butt, N. M. M. K. Chowdhury, and R. Boutaba, �Topology-Awareness and Reoptimization Mechanism for Virtual Network Em-bedding,� in Proc. IFIP Networking, May 2010. [52] Energy Efficiency and Sustainability of Data Centers. http://www.sigmetrics.org/sigmetrics2011/greenmetrics/ Carey GreenMetricsKeynote060711.pdf. [53] Energy Logic: Reducing Data Center Energy Consumption by Creating Savings that Cascade Across Systems. [54] A. Greenberg, J. Hamilton, D. Maltz, and P. Patel, �The Cost of a Cloud: Research Problems in Data Center Networks,� ACM Computer Communication Review, vol. 39, no. 1, pp. 68�73, 2009.
[55] B. Heller, S. Seetharaman, P. Mahadevan, Y. Yiakoumis, P. Sharma, S. Banerjee, and N. McKeown, �ElasticTree: Saving Energy in Data Center Networks,� in Proc. USENIX NSDI, April 2010. [56] M. Rahman, I. Aib, and R. Boutaba, �Survivable Virtual Network Embedding,� NETWORKING 2010, pp. 40�52, 2010. [57] M. Chowdhury and R. Boutaba, �PolyViNE,� in Proc. ACM VISA, August 2010. [58] N. McKeown, T. Anderson, H. Balakrishnan, G. Parulkar, L. Peterson, J. Rexford, S. Shenker, and J. Turner, �OpenFlow: Enabling Innovation in Campus Networks,� ACM Computer Communication Review, vol. 38, no. 2, pp. 69�74, April 2008. [59] R. Sherwood, G. Gibb, K.-K. Yap, G. Appenzeller, M. Casado, N. McK-eown, and G. Parulkar, �Can the Production Network Be the Test-bed?� in Proc. USENIX OSDI, October 2010. [60] A. Tavakoli, M. Casado, T. Koponen, and S. Shenker, �Applying NOX to the Datacenter,� in Proc. ACM HotNets, August 2009. [61] A. Curtis, J. Mogul, J. Tourrilhes, P. Yalagandula, P. Sharma, and S. Banerjeer, �DevoFlow: Scaling Flow Management for High-Performance Network,� in Proc. ACM SIGCOMM, August 2011. [62] C. Wilson, H. Ballani, T. Karagiannis, and A. Rowstron, �Better never than Late: Meeting Deadlines in Datacenter Networks,� in Proc. ACM SIGCOMM, August 2011. [63] H. Wu, Z. Feng, C. Guo, and Y. Zhang, �ICTCP: Incast Congestion Control for TCP,� in Proc. ACM CoNEXT, November 2010. [64] K. Xu and F. Wang, �Cooperative Monitoring for Internet Data Centers,� in Proc. IEEE IPCCC, December 2008. [65] F. Wuhib, M. Dam, R. Stadler, and A. Clemm, �Robust Monitoring of Network-wide Aggregates through Gossiping,� IEEE Trans. Network Service Management, vol. 6, no. 2, pp. 95�109, 2009.
[66] H.Yuan,C.C.J.Kuo,andI.Ahmad,�EnergyEfficiency in Data Centers and Cloud-based Multimedia Services: An Overview and Future Directions,� in Proc. IGCC, August 2010. [67] Y. Wang, E. Keller, B. Biskeborn, J. van der Merwe, and J. Rex-ford, �Virtual Routers on the Move: Live Router Migration as a Network-Management Primitive,� ACM Computer Communication Re-view, vol. 38, pp. 231�242, August 2008. [68] VMWare vulnerability. http://securitytracker.com/alerts/2008/Feb/1019493.html. [69] Xen vulnerability. http://secunia.com/advisories/26986. [70] Virtual PC vulnerability. http://technet.microsoft.com/en- us/security/bulletin/MS07-049. [71] J. Szefer, E. Keller, R. Lee, and J. Rexford, �Eliminating the Hypervisor Attack Surface for a More Secure Cloud,� in Proc. ACM CSS, October 2011. [72] T. Benson, A. Anand, A. Akella, and M. Zhang, �Understanding Data Center Traffic Characteristics,� ACM SIGCOMM Computer Communi-cation Review, vol. 40, no. 1, pp. 92�99, 2010. [73] A. Chukavkin and G. Peterson, �Logging in the Age of Web Services,� IEEE Security and Privacy, vol. 7, no. 3, pp. 82�85, June 2009. [74] E. Al-Shaer, H. Hamed, R. Boutaba, and M. Hasan, �Confict Classifi-cation and Analysis of Distributed Firewall Policies,� IEEEJ. Sel. Areas Commun., vol. 23, no. 10, pp. 2069�2084, 2005. [75] H. Ballani, P. Costa, T. Karagiannis, and A. Rowstron, �The Price Is Right: Towards Location-Independent Costs in Datacenters,� 2011. [76] F.-E. Zaheer, J. Xiao, and R. Boutaba, �Multi-Provider Service Nego-tiation and Contracting in Network Virtualization,� in Proc. IEEE/IFIP NOMS, April 2010.