A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine...

25
A Survey Of Data Center Network Virtualization , , , , , - (Data centers :DCs) , cloud computing multi-farious (, , , ) Qos, , : , , 1. Amazon, Google, Facebook and Yahoo! , , Cloud Computing Dedicated server VMware[4], Xen[5] TCP/PC 1. : Cloud Application Search Engines Web services latency throughput 2. : Denial of Service (DoS)[6] 3. : address spaces[7] 4. :

Transcript of A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine...

Page 1: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

A Survey Of Data Center Network Virtualization ����� ������, ����� �����, ����� ��������, ����� �������, �� ��!" �#$"���!�, �� %�� ������

�������� - ���!&���'��(�����&!�!��������(�)���*��*�!&�#������)+��,��������"��-� .'�!"&���' (Data centers :DCs) ��;���(#��(����������<�������,�������������� ����-,&���' �� ��=*�����-�>��"���?(���@�����=+�#����(*��*�!=����=*�,������)�?�&A�!��������)+�� �+A� �������������(#, cloud computing ,A�!)��J#��(������)+����,������K�*��)������#�������!��� multi-farious (*�A�! ����-,&���', )K���N����K � # �� , �,��" �� ��" , � ���O# ) ,� �) �#��� � #��( K � ��; � ����P�!����.'�!"&���' ��( �� �!'A !� # &��)���*!?�*!�A ���( ����������<����( ���������������)+���*A���J ��,����"=�������,��������,�(K�&�# Qos, �����@��, ��� �������(����������$�)������<�!�R�#������� ��� .'�!"&���'�)�?�&A�!���?�� ��#��;���������������P�*���(��;��!'A .'�!"&���'���?��)?���(#��(���#=*��*-��S# ��� �������(����A� ��)���!?�*!�A� �������(K� ���,&���T�� =+�����!���������!+�"���&SJ���=+���##������������<�� =�,�)�����J����K������)�?�&A�!.'�!"&���'���?����(��;��!'A ��#=�&N���J =*���!����!�����!,���!,#�����"��!" ����<����!�S#*��&��������)"#���� �!��?(�#���� �!=����)���+�J=*��*-��S#.��!<����!��#��?(�����P�*����(!���,�������,,.'�!"&���' �������� : �������� ������� ��, ��������������� ���, ������� ���� ���

1. !"��� � ���� ��� ��!"������� ���#����$%� �&�$�'(������)*$�)����)+�"�,����)���%�#�����-.�/�+% � !$%� $0� $ ����$ �(1�2 �3���� �+������2�#��4���� �����#(3' 5��*6��")�&�3����7���%��5�++���$1�����#(3' (���220������8�-���#(3' �1 � Amazon, Google, Facebook and Yahoo! ��(1�������� ���+���2�#��4�, $��3���� ��, ������ %�K����#(3' +��� ���������#��) Cloud Computing ���(3���������)K��(3�������(�������� �������Q�.0���2-!� ! ��$ � 3���� 7R�)��Q��-��--!��&�$�' ��(��-$*�*�!������-���)�0��3��� (����$

�R)5 �% �(���220���������� �� !$%� �&�$�' 5 �������� ��)������� ���)� �#�������+�S���- �-!�$%� *#���5��%������� ��(1� Dedicated server (�������5�++���$1�� !K�-&�(3����-&�)����)�7�X�%��� !�����-.�/�+5����-0�(����#&�����)����) /�3��)2�� !�-$*�*�!�7�X�%����� ���1 %5����'3�#�)�� �%�#� �1 � VMware[4], Xen[5] 7R�)�$����)$� +�%����3�R�)�$����)�� ��� !�$����)$� +�%������ ����#�3���$����) �-$*�*�!�!"�� ���5������-.�/�+��)�$����)-!�-&�)��� % ����#� �+���������0)�����-.�/�+��)5�++���$1��5���a�)������*2 ! � �)���4� �7�X�%����� ����$����) �#!%� �+!)+� ����2&���#-!��� -�" )3 #2���������� ������� ��(���220��� *#�b+��� �)��)�$���� �������� ���)$)���� TCP/PC 5���#� K���+.�-!����#�R"�-!� !���2&���##�)�!"

1. T�A������!���������<������K�#�� : -0�%���!" Cloud Application �1 � Search Engines 5�� Web services !���2&���#�����)���-&�)�����$���� � (����5�� latency 5�� throughput � �)���4� �-$*�*�!�$���� �-0�%���!" �� ���(3�������-!�#!-!��0#�- �-!�2�-&��#�*#� �� ���5������-.�/�+���-&�)���#� 2R)��Q������)��-!�2�$�#���j��R)$0j/�+��)�������&�3���5�++���$1���3� ��!"�#�

2. ��)������(!#���(�&SJ� : ������� ���$���� �5���#� � �� ���2&���#���5��$%� ��)���5��5��#�%�#.�(�5 ��5�++���$1���#� � )K�(3��$���� ����*2 !2��/�(��#�) ��R"� �1 � ������%����-&�)�� 5�� ���*2 ! Denial of Service (DoS)[6]

3. ������,���#������)+��T�A)A�!�� : -0�%���!"5�++���$1���&�3����)$������(3' (1�*��*$���b+����)5 ��5�++���$1��5�� address spaces[7] �����5�++���$1���3� ��!"���)�/�+5%#��� 5��������� �� ��Q��0����$��&�$�'�����)2�� ��2� !$%� 0 )��(�����������!��*��*$��5��10#$&����)��)5�++���$1��

4. K����)���!?�*!�A���� ����� : (��/�+5%#��� ��)������� ��-!�-�")�7�X�%���5���$���� � !���(1�)��3��*��5�� � % �%5�++���$1����)2�#����)$��������$������+���$%� 3���3��

Page 2: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

��)20# 0 )3 � �1 � ���-&�)�� load balancing, ���%��$���3����K�#+��#5������a�)���$%� ���#/� � �)���4� �������� �$���� �������� ��5���#� � !$%� �#30 ��&�3���K���1 ��+���2�#����)$��������3� ���"�(�������� ��

5. T�A���,�������������)�?�&A�!=*�A : �����)2��������� ��5���#� � !$%� �#30 �-&�(3�� �� ������#�%����� (3 �R"� ��#� ��Q�K�(3���-!�2����!��5��)������� ��5���#� �1 � �����+���# network protocol 3���� !�������$���� �5��(3 (�����%-&�(3������-.�/�+(�����)-0��#�)

2�����2&���#����!" ���2�����)��%�2�-!���!�%���)����$���� �������� ���� ���#�)�!" ����#4�5��$����0�)��%�2�-!�K �� � ��)$�����!��-!��������� -!��&�$�' �0#-��1!"(3��34��R))��%�2�(����$

3��)2���-�&�2� !3�%���#�) ����!" $&���+-�5��$&�2&���#$%� -!���!�%���) (� %�-!� 2) ��#����Q������0��������(� %�-!� 3) -!���!�%���)5�����!��-!�2�� 0) �) �)r (� %�-!� 4) 5�� (� %�-!� 5) 2��� �%�R))��%�2�-!�2�-&�(����$5���0#-����Q������0��-$%� �!"(� %�-!� 6)

2. �$��%&'��� (�� %��!"���2��&�����$&���+-�-!���!�%���)����$���� �������� ���� ���-!����2�(1�(��-$%� �!" ���)-!� I (1�5�#)��������8� �-!�(1���#�-$%�

Acronym Description

DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack AS Aggregation Switch CR Core Router InP Infrastructure Provider SP Service Provider IaaS Infrastructure-as-a-Service

���)-!� 1 5�#)���8� �-!�(1�(��-$%�

,. -.��/012�.3

������� ��(data center: DC) ������#�% �$����)�7�X�%��� �%2�#��4�5���0���j��$���� � �1 � �%�-�, ����-����� 5�����$���� ����2 ��XXa� ��������$%� ���� ������� ���$���� � $�� *$�)����)+�"�,������������-!�(1�(�������� �� 5����Q��%���2�*-*+*�!�$���� � �0���j����-��")/�%�-� 5��(1�*��*$�� �1 � �!�-�����45����+! ����!"���2��&����*$�)����)-��%��-!�(1�(�������� ��5��*$�)����)����-!�K��%�2����������%�

���-!� 1 *$�)����)������� ���$���� �5���#�

���-!� 1 5�#)*$�)����)-��%����)�$���� �������� �� [9] (�*$�)����)�!" Top-of-Rack(ToR) 2�����(���������R)5 ��������(3��1��� ����)�7�X�%���-!��#�� ���5�4$-0��% 5 �� aggregation switch(AS) (�1�"���) aggregation (��)$��")���)�R)������2�������) � )5 2����������R)3��������(Tor) �������R) core layer �%�-� ToR -0��%2��# ����)�%�-�1�"� aggregation �+���(3�� ���#$%� 7"&�7��� � %� core layer (3�$%� ���#/�(�����# ���3% �) aggregation switch 5�� core routers(CR) �# ����)����-�����4 *#�b+����j!��)*$�)����)5���#� -!���Q�*$�)����)(������� 2 7R�)(1�(��%�-������� 2 �- ���"�

*$�)����)$���(Clos topology)��Q�*$�)����)-!�����)�R"�2��3����"�����)�%�-�[10] �%�-�5 ���%(���"����# �����%�-�-0��%(���"�����#�� -!�(3�����-�)-!��%��)5��3���3���R"� ���-!� 2 5�#)�%� �)��)�� ��"�����)*$�)����)$���

Fat-tree topology ��Q� Clos topology 5��+���8-!�2�#�� (�*$�)����) tree-like 7R�)5�#)(����-!� 3 *#*$�)����)����)�R"�2���$+���(k-port) 7R�)5 ���%2�-&�)��(���������)(aggregation 5�� edge) ��)�%�-� k/2

Page 3: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

5 ���%�-� K/2 !3�R�)+����# �����$+�#(k pods) *#+���-!� i ��) core �%�-�(#r -!��1��� ���� pod I #�)��"�+�����#��(�1�"� aggregation ��)5 ���%�-� pod -!��# ��� ��� k/2 5 ���%�-���2(edge switch) 2��# �*#�)��� k/2 5 ��+���-!��#�)��) K/2 ��)�%�-���2��Q�����# ���� k/2 +������%�-��% [2]

*-*+*�!#����� !$0j���8j�-!�����)�R"�� �)�3 ��� ����$���� �������� �� � �)���4� *-*+*�!������� ��� 2&���#*$�)����)(�� %��!" �%� �)�1 � BCube[13] ��Q��������� �$���� �������� ����*$�)����)�6�����$��(hyper-cube) ���)-!�� ���(2 ��$���� ���3�%�.!������!��-!�*$�)����)�$���� �������� ���$���� �-!���!�%���)(� [14]

���-!� 2 *$�)����)$���(Clos topology)

���-!� 3 5�#) Fat-tree topology

0. -.��/012�.3%4�52�

������� ���� �����Q�������� ��-!���Q���)� %�3���-�")3 #��)6���#5%�� �1 � �7�X�%��� ���-����� �%�-� 5�� ���1��� � �� (����5���� ���2��) *#���6���#5%��-�)��/�+��Q����2&���)

���(1�7�X�5%��3����X|�� 5%����!��6������%�7���-!�5� )5��0���j��#�3���3��5����Q������ ���� �1 � �%� �)�$����)-�)��/�+(�7�X�%���) K ��5��2&���)*#(1��6������%�7����+�������)�$����)�� ���(VMs) -!� !�������)�% ��4�$%� 20 �)r �1 � 3� %��� %�K����) 3� %$%� 2&� +�"�-!�2�#��4� 5��-&�)��(��������������5��5�++���$1��-!�5� �)����#� ������� ���� ��� ��Q�����%��% -��+����� ��� �)r �1 � VMs, virtual switch, 5�� virtual router 7R�)����1��� �K ��-�) virtual link (��j�-!� VDC $�� ������� ��-�)��/�+7R�)��Q��-$��$���������0)-��+����� ���, VDC ��Q�$ �$)-!���)������� ���� ���7R�)������2��-��+���������� ��-�)��/�+ �$���� ��� ���(VN) ��Q�����% -��+����$���� ��� ����#�5� Virtual nodes (end-hosts, switches, routers) 5�� virtual links #�)��"� VN ��Q�� %�3�R�)��) VDC 5����#����)�$���� ��� �����Q�3�R�)(���#��1�"���)�$���� � (1�"�5�++���$1���R)1�"� physical) 2�����-!� 4 5�#)�R) VDCs 2&��%� ���� ���(1�)��K ��������� ���� ���

���-!� 4 ������� ���� ���

Page 4: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

�. Business Model

(�� %��!" ���2��� �%�R)� %�������3�����)�/�+5%#��� ��)������� ���� ���

*#�b+��� �)5����)$%� 5� �)��3% �)���5���$���� �5���� �������5���$���� ��� �����Q���� !� %�� % 3��$� *#�b+��� �)��)(��#!���% � !5$ ��)$� $�� �����+!���(ISPs) 5��K��(1�(end-users) 7R�)/�3��)�#�����(3�5��}�����+!5���#� �����Q���)� �) $�� K��(3�������*$�)����)+�"�,��(InP) 5�� K��(3�������(SP) SPs2�� InPs �+�� *�����&�3����%���� �$���� �7R�)5� )�}(����������0)%�.!����$���� � �1 � *+*$�� ������(SP) 2���}��)�2����)5���)��4�*$�)����)-�)��/�+��) InP

(�����-��)������� ���� �����"� InP ��Q����8�-�2����)5��2�#���*$�)����)-�)��/�+��)������� �� InP �1 �-��+����� ����+���(3�������5�� ����+� K���1 �5 ����2�����)������� ���� �������*$�)����)-�)��/�+��)�2����)*#(1� InP �+������������0)��)������5��5�++���$1��(3�K��(1�(����$ #�)��"�3�� SPs �� ���������0)5�++���$1���#� ���% �*$�)����)-�)��/�+��)������� ��

3. :��$�;<�"=>%,=>�$012: �$���� �������� ���� �����Q����)-!��� (�1 %)���� �� 5��)��%�2�� �����4%r �!"(3�$%� �&�$�'% �2�(1�)��X�)��1��+�"�,���#�� �)��5���� ����+�� �� � %��3��#�(����$��)-��+����$���� �������� ��5 ��� %� ���5������ ) ���� ��5�����5������-.�/�+�$���� � #�)��"����2R) 0 )����#4�-!���(2(��-$%� �!"#�)�!" ���5������ ) ���� ���������&�3�#�}-!�(1�(����� ) ���� ����3% �)*3�#�� ��� ������������5��#�%�#.�5��%�.!���(1�5��#�%�#.�� % ���*#5������-.�/�+�$���� �5�����(1�-��+����� % ���(��$���� � ���R"� � �&�#��

�-$��$ Multipath (1��&�3������2����2��2���3% �)����-�)-!� �)���(��&�#�����-&�)�� load-balancing 5�� fault-tolerance �R)� �)��"� !$0j���8j�-!�(3�K���5-�-!�$0� $ �� ��� !�������)������� ���� ��� �1 � $%� ���#/� *��5�� (1�)��) � 2�#���) � ��0���8�+��))�� 5�� fault-tolerance #�)��"������ �%������!#�+�� �� ��!�%���$0j���8j�-!�-��-���!�%���)��%�2�

(����$#����!" ������2��.���*#��)����R)���8j�-!����(3�$%� ��(2(��-$%� �!" �}����&�3�#���5������ ) ��+���� ) �5+4$��4*#(1���������)$������� 2��+���������5��+�������� FIB ��)������2��$� MAC Address �+�������+��� � ������#����#���(2��!�%������� ) �5+4$��4 ������0����(1�5��#�%�#.�� % ��� 7R�)��22�(1��0* )$���� ��$%�$0 $%� 5���#[6] !���(1�(� shim layer ���#5+4$��4-�")3 #-!����� �5�����2���7�X�%��� 5 ���0* )$���� ��-!���)����������� )5�� !���(1� rate-limiter -�)���������[27] $����0 ���5� )�&�3���#�5����2��2� TCP, 2&���#�����+���$%�$0 UDP , 5��5� )�������)�&�3���������0��*���+�� �� �1 � ���2�#�������3�5���2��2), -�)�����-!�(1�$�����2�#$�% �!�-�)$������ shim layer #���� �) UDP �-$��$3�R�)-!�2����������K�5��#�%�#.�$��(1� rate-limiters [7],[15],[16],[26] *#�b+��� �)��) rate-limiters �% �� (��6������%�7�����)5 ���$����) !�-��-(���������)% �-0��$����)�� ���2�� !���5� )5��#�%�#.�-!� �������� ���-&�)����)����%������#��K��(1�(��!�0�7��6������%�7���(Linux hypervisor: dom 0) 7R�)2����� Open vSwitch (-&�)�����6������%�7���) �+����#� ����5 ���&�#�� ������������5��#�%�#.�(� GateKeeper ��Q����2&���#�������(1�(��!�0�7� hierchical token bucket(HTB) ���)���-&�)��(��7��6������%�7���(*#� � 0) (� end-host CloudNaaS ���� Open vSwitch 7R�)5 �% �� !�����-!�1�#�2� �� ���(1�2&���#�����#� ���������0)���2&���#����*#5� )(3�*6���0#-������)$%� ��Q����#� *#3�!���!�)����&���)5��#�%�#.�(��%�-��- �-!�������� ���� ���2�#����X� �%���$�+���$%� 5� (2(������� 5 ���%�-�� �����% �$%� �� ���(�����1��� *)

(����)-!� 2 ���2�2&�5�� surveyed projects 2��� �%�R)$0j���8j��3� ���"�5�������R)$0j���8j�-!���2 ! ���% �3�R�)$0j���8j� -!�-&��$����)3 �5�#)�R)$0j���8j�-!� !(�5 Proposal

Page 5: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

���-!�

Prop

osal

Refe

renc

es

Forw

ardi

ng

Sche

me

Band

widt

h

Traditional DC [4], [5], [19] � SPAIN [20] Diverter [21] � NetLord [22] � VICTOR [23] � VL2 [24] �

PortLand [25] � Oktopus [16] �

SecondNet [15] � �

Seawall [6] Gatekeeper [26] �

NetShare [27] SEC2 [28] �

CloundNaaS [7] � �

���)-!� 2 5�#)���2&�5�� surveyed projects

Forwording schema

[19],[21],[22],[23],[24],

[25],[15],[28],[7]

���-!� 10 ���5� )��0 ������� ��� $0j���8j�

Feature

Band

widt

h G

uara

ntee

Mult

ipath

ing

Relat

ive b

andw

idth

shar

ing

� � � � � � � � � � � �

surveyed projects

1. Traditional data center (DC)

*#-��%�����2&���)��)�������� ������� ��(���220��� �������K��&���42�����2&���) $���$��)��0 ��) virtual server VLANs 7R�)������� ���#���������#&��������*#(1� commodity switch !$%� �� �1 � VMware [4], Xen [5] �&�3�# address space ��)

���2&���#3���-!��&�$�'��)�������� ������� ��(�-��%��$��$%� �� ���(�����������")5 ���-!� switch � �� ������5���+������2�#��� 2&��%�-!����#2�� traffic *#�b+��� �)��) #�����) FIBs (Forwarding Information�� ����+�� ���#��)���)���� ) �� �) �� ���2���!" �")5 VLANs ���(1��+������5�5���3% �)K���1 � 2&��%���)K���1 ��#����2&���#�%�-!� 4096 7R�)��Q�2&��%���) 802.1q [19] 2. Diverter ������0����5� )�1�)������)�$���� � �&�3�������&��%$%� ��#%�-!�#!�% ���)5�++���$1��5��$%� ��)�����)������(����)5%#��� ������� �� Diverter[21] ��Q�%�.!���-�)7�X�5%��-!������R)�$���� ��� ����+����$���� ����$%� -!�� �% �� ��)�&�3�#$ �

Data Center Network Virtualization

Bandwidth Guarantee

[16],[15],[26],[7]

Multipating

[19],[22],

[24],[25],[27

. Traditional data center (DC) *#-��%�����2&���)��)�������� ������� ��(�

��220��� �������K��&���42�����2&���) server *#5 ��K���1 �2�virtual server 5�����2&�5����3% �)K���1 �K ��

7R�)������� ���#�����������5��-!���!�) �-!��� ���commodity switch 5���-$*�*�! hypervisor -!�VMware [4], Xen [5] ���2���!"K���1 ��)�� ���

��) layer 2 5�� layer 3 �#�#�%���) ���2&���#3���-!��&�$�'��)�������� ������� ��(�

-��%��$��$%� �� ���(�����������")5 ���-!� commodity � �� ������5���+������2�#��� VMs 2&��%� �� 5��

*#�b+��� �)��) switch ��) !���#�5�(�FIBs (Forwarding Information Base)�&�3���-0�r VM -!�

�� ����+�� ���#��)���)���� ) �� �) �� ���2���!" �")5 ���(1��+������5�5���3% �)K���1 � 2&��%���)K���1 ��#����

7R�)��Q�2&��%���) VLANs -!���0'�*# ��,��

������0����5� )�1�)������)�$���� � IP ��Q����)-!��&�$�'�&�3�������&��%$%� ��#%�-!�#!�% ���)5�++���$1��5��$%� ��)�����)������(����)5%#��� multi-tenant ���#(3' �1 �

��Q�%�.!���-�)7�X�5%��-!������R)�$���� ����$%� -!�� �% �� ��)�&�3�#$ � switches

27]

Relative Bandwidth

Sharing

[6],[27]

Page 6: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

3��� routers Diverter ���(1�(�7�X�5%��* #�� (��!�% � VNET) -!�����#�")-0��$����) � ��� VM � ) Ethernet frame VNET 2�5-�-!� MAC Address ��-�)5�����-�) *# Address -!��$����)-!�*6����-�)5����� VMs � �&�#�� 3��)2����"� Switches 2�-&����� ) �5+4$��4-!�(1� MAC Address ��)�$����) VNET (1�������0)�0 ���) ARP protocol �+���$��3��$����)*6��*#�b+�� VM Diverter ��)���(3�-0� VM !���5����������3��-!����0 IP address ��)K���1 ��% -�") subnet 5��-!��� �$����)�� ���(��220���(1� 10 .tenant.su bnet.v m) #�)��"�2R)� !���1������)-!��� ��)K���1 � VNET -&����3�����-�)��3% �) subnets *#��!� MAC Address (3 �!�$��") 7R�)(3�/�+�� ����+������ ���%� *#��0�5��% Diverter �$���� ��� ��������� 3 -!���0'�(3�K���1 �-0����� ���$%�$0 IP subnet 5�� VMs Address ��)���)�#� ���2&���#3���(� proposal �!"$��� �� ������������ Qos �#� 3. NetLord �+�����Q�����+�� ���#� K��(3���������)���(3�������*$�)����)+�"�,�� (IaaS) !$%� ��(2(����(1����*1��(�-��+���� �)�4 ���5�� 3�R�)(�-�)�����-!� !�����-.�/�+ ��-!��0#-!�2�����0��a�3 �$������+�� 2&��%���)K�� �1 �(����51�� *$�)����) NetLord ��Q��������� -!� 0 ) ���-!�2�+�� ���������������)���1���K���1 �(�������� �� 7R�)�������� �� ��� ��)-!��� +�"�-!���)K���1 � L2 5�� L3 -!�7R�)��0'�(3�K���1 ����5��5��������0)+�"�-!�K��(1�5��5�++���$1���#�� $%� ��)���

���-!� 5 5�#)�������� NetLord

5�%$%� $�#3���r��) NetLord 5�#)(����/�+-!� 5 $�����3 �30� 5+4$��4 K���1 � L2 5��� )���) fabric employing L2+L3 encapsulation *#header packet ��) L2 2��2��2) MAC address ��)��-�)5�����-�)��) VM ��-�) NetLord Agent (3��&���(1����5 ��server2��)-!�$%�$0 VM-�")3 #��server *#�b+��� %�-!�-&���� encapsulate packet L2 *#����+�� header L2 5�� L3 #�)��� �%��-�)5�����-�)-!��� ��) L2 -&�����&�3�# MAC address ��)����������������) server

hosting 5����-�) VM � �&�#�� ��-�)+���8 IP address 5�#)ID MAC address ��)+�"�-!�K���1 � 7R�)1 %(3�K���1 �(1�+�"�-!�-!�3���3����) L2 #������-�) IP address 2��2��2) port ��)�������������)/�����+���� ) �packet���) server ���-�) 5�� ID ��) hosting K���1 � 5�� VM ���-�) packet 2�� ) �K ���$���� ��������)��� ���+������switch ����R)+�"�,����) L2 fabric K ������-�)-!������*# VLAN algorithm��) SPAIN [20] (*$�)����)-!��������������0� VLAN (����$��Ethernet-!� !��� switch ���) multipathing -!��K5+� ) ���� ) � packet ���2�� switch ���)server ���-�)2��R"�������$��3� L3 ��)port-!���������)��� 5�� NLA -&����� ) � packet �� server ���-�)���) VM ���-�)*#(1� ID ��)K���1 � +�"�-!� MAC address 5��-!��� ���-�)��) L2 ��)VM(� packet -!���� encapsulate �+���������0� virtual routing NetLord (1��$����) ��(���� routing �#� -!�1��� Diverter [21] (����������0� SPAIN multipathing 5����4���� ������")$ ���)K���1 � *# NetLord (1�3��r,����� �� NetLord �����8,��% � ����%�1�������0����� ) �IP+�"�,�� 5 � (1 ���-0�r Commercial Off-the-Shelf (COTS) switch [33] ����&�������!�%��� encapsulation 3 ��R) packet size -!� ���R"� 7R�)��Q�����+�� ���#���5��������2��% ���2���!" NetLord (1� SPAIN (����� ) � multipath operating ��+�"�,��-!�� �#���Q� scalable (�-!��0#5 �% ��������� ����K5+� ���5�5�(���3% �)K���1 �2�� ������0���������!bandwidth 4. VICTOR

K���1 � Cloud !$%� ��)���-!�2��� service ��� ������� �� �+������8�� #0����*3�#��3% �)3������ ������� �� 3����+��������-.�/�+(3�����7�X�%��� � �)���4� K��(1� Cloud ��)���$%� �%#��4%5�� !�����-.�/�+��)������5����� �� %�.!���3�R�)-!�(3�K�5� K���1 �5��K��(1� Cloud $�����*�����) VMs �+���3�!���!�)���30#1�)����)������ VMs $%���4�$ � IP address �#!%����%���3% �)���*��� 5 �% �2�� �#���Q����)-!�-��-��&�3������*�����3% �)�$���� � IP �#!%��� (3�*����$���� �-!�5� �)���� (1 ) � VICTOR (Virtually Clustered Open Router) [23] ��Q��������� -!�������0����*������ �$���� ���) VMs 1 %(3����*����� �����4� IP address �#� �#�

Page 7: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

5�%$�#3����&�$�'��) VICTOR 5�#)(����-!� 6 $���������) Forwarding Elements (FE) (L3 devices) -!�(3���������Q� virtual line card ��� Multiple virtual ports ��) single virtual router FEs 2����2�K ���$���� �3��r�$���� �7R�)2�1 %������0����*�����) VMs 5����� 3��r�$���� � � %� control plane 2��#�������������0� *#3�R�)3���3��r�%$%�$0 � %����) (CC) 5�� VM 2���Q� (1�)�����7���X�%���-!��1��� �����+!)3�R�)�����) FE *# CC 2�#�5����)*$�)����)-!����0����1��� ���3% �) FEs 5�����)-!��� ����1��� �-!��&�3�#(���3% �) VM 5�� FE -!���Q� server hosting -!� VM (1��1��� � 5�� CC 2�$&��%j����-�) routing 2��5 �� FE ���) VMs 5��-&�������2���� ����3% �) FEs 7R�)+R�)+����) routing �3� ��!"(����(1�� ) � packet ���2&���#3���r��) VICTOR $��2&���Q���) !���������0� FIBs ��Q����#(3' -!��&����� ��'3�(������)��) scalability -!���!�%���)��� Fes

���-!� 6 �������� VIRTOR

5. VL2 VL2 [24] ��Q��������� �$���� �������� ��-!� !20# 0 )3 �-!�2� !$%� �#30 �(�#������2�#���-��+��� server-�")3 #(� VL2 ��Q�K���1 �(7R�)(���������!"���2���!�% ���Q� "service") �#�-&����51��*#� $&��R)�R) single addressing space ��)&�53� )2��)7R�)3 ��R)server(#r�� ����&�3�#5� K���1 �(#�4�#� VL2 2��R"�������-!�� !� �1�� ��������(� Clos topology (#�2�����-!� 2) -!�(3�$%� ��#%���)��� routing 5��$%� �#30 � packet 2����� ) �*#(1� IP address ��)����/- $�� location-specific addresses (LAs) 5�� application-specificad-dresses (AAs) *#(1��%�-1�5���7���X�%���� �&�#�� VL2 ���������#���-��!�&�3������-&� AA-to-LA mapping � ��� ) packet server VL2 2�-&���� encapsulate packet #�% LA address ��) ToR switch ���-�) *# switch 2�� �#�����R) AA addressing

�")5 � ) � packet *#(1� LAs �- ���"� -!� ToR switch ���-�) packet 2���� decapsulated 5��� )���) AA server ���-�) ������5�� VL2 ���� VLB and ECMP -!�2���traffic �+���(1����*1��2��- � ���)����-�)-!�3���3�� ���5���3% �) addressing spaces ��) switch 5�� server 1 %�+�� $%� �#30 ���) VL2 �")5 ToR switch � �� ���� ) ���� ��2&��%� ����) server ���2���!" �����#��$-��!��) VL2 �)2&���#$%� ��)����&�3���������)����) ARP 5�� DHCP -!���Q� source -��%����) broadcast traffic (� data centers 5�� VLB ��� ECMP �)��0'�(3� !��������-!��)�%3��)2��-!��$���� ��� �3�% ���2&���#3�R�)��) VL2 $����#��������! bandwidth -!�5� �����3% �)server 7R�)��Q����)2&���Q��&�3���3��r application ����&������!"�)$� � �)-!�*-*+*�! (Clos) +�"�,��5�� ��)���(3��%�-1�(1� OSPF, ECMP 5�� IP-in-IP encapsulation 7R�)�� ���2&���#���(1�)���#� 6. PortLand ��� !$%� �� ���(���������1��� VM !�����-.�/�+(����*��� VM 5�����2�#���-!�) � ��Q����8j�-!��&�$�'��) data center (���220���5�� �r�� -!��� PortLand [25] ��'3�-�")3 #-!� !�&�3��� multi-rooted fat-tree topology (���-!� 3) *#�b+��� �)��) �������� �&�����������) L2 routing-!�(1�$0j� �����)*$�)����) PortLand ������0�X�)��1�� plug-and-pay �&�3��� L2 -!�1 %�#$%� 0 )��� �) !����&�$�'��)�$���� � data center 5�%$�#3�����) PortLand $�����(1�-!��� �&�#��1�"� Pseudo MAC (PMAC) ��) VMs �&�3��� L2 routing *#�b+��� �)��) aPMAC !���5����) pod.position.port.vmid -!� pod ��Q�3 ���� pod ��)���switch, port $��3 ���� port ��)�%�1�host���-�)-!� !����1��� � 5�� vmid ��Q� ID ��) VM (1�)����host���-�) fabric manager (process ������$����)�b+��) ��Q�K�����K�#1��(����1 %#�% ARP resolution, multicast, and fault tolerance ���)���� ) �(����(1� k-port switch -!�5 �� switch ���2&���#�)O(k) records �����)2��$0j� �����)topology 5�� multi-rooted fat-tree �����)switch �+������� server hosting -!� !����1��� ���) VM ���map actual MAC (AMAC) ��) VM ���) PMAC &�53� )��) switch (� topology ��2 !���

Page 8: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

�")$ �#�%���)��)K��#�5�����3�����Q�5����*� ��K �� Location Discovery Protocol (LDP) -!�����$0j� �����)*$�)����)+�"�,�� 5 �% � PortLand 2� !���*1�� 5 �4 !���2&���#��)������(�#����������� �1 � !$%� ��)��� multi-rooted fat-tree topology -&�(3� PortLand (1�� �#�����$���� � topology data center ����r ���5���� ARP -!����)��*# single server -!�-&�(3�����)�������� -!� !$%� ��!�) ����*2 !�� fabric manager 5���!�������$�� 5 �� edge switch $%� !� �)��� $�R�)3�R�)��) port -!��1��� ���� server

���-!� 7 5�#)�������� SEC2

7. SEC2 �+���(3�5� (2% �����&� �(1�� �)�%��)�%�)��)cloud computing �� data center 7R�)��Q����)-!��&�$�'-!�2�(3�������5� K���1 �*# !��������)$%� ���#/� *#�b+��� �)��)3�R�)(���'3�#���$%� ���#/�-!��&�$�' 5���Q��$���� ��� ���-0 �-(3����K���1 �-!�5� �)��� 5 �% ����(1� VLANs ��22���Q�-�)���-!� !���/�+�&�3��� ������0��$���� �-!�5����(�data center �4�) !�!�3�����2&���#��) VLANs ������-!�3�R�) 2&��%���)�0#��) VLANs $�� 4K �+������#+�"�-!���) VLAN ID ������-!���) ���$%�$0 �K��(1���)�*��$%� ���#/���Q����)-!�-��-� ������-!��� ��� !3 ���� VLANs ��Q�2&��%� ��(��$���� � data center ��2� �(3����#$%� 7��7���(����2�#����$���� �5��$ �(1�2 �-!� �+�� �R"�(����$%�$0 Secure Elastic Cloud Computing (SEC2) [28] !��a�3 �-!�2�5����'3������+� �)�3� ��!"*#���5����� ) �packet5�����$%�$0 ��������R) SEC2 ��Q��������� �$���� � data center -!�(1��-$��$ network virtualization �+���(3����������8�$%� ���#/�-!��#30 �

�� cloud computing #�)-!�5�#)(����-!� 7 Network virtualization �#�������������0�K �� Forwarding Elements (FEs) and a Central Controller (CC) FEs $�� Ethernet switches -!��&�$�'-!� !$%� �� ���-!�2�$%�$0 ������2�� CC -!���4�-!��� ��� mapping 5�� policy databases FEs 5�#)���-&� address mapping, ����%2��� policy and �����)$��(1�, 5������ ) � packet �������� �$���� � !��)��#�� $�� one core domain 5�� multiple edge domains incorporating physical hosts *# edge domain 2��#���� ��3 � eid -!�� 7"&�$ ���� 5���1��� ����) core domain *#3�R�)3��� FEs 2&��%� �� ���$��5 �� subnet 2� ! cnet ID -!� !$ �� 7"&� -!� VM �� ������0�#�*# (cnet id, IP) �+���5����$��-!�5� �)/�(����5 ��*#� � SEC2 (1� VLAN -!� !����� 2&���#(� edge domain �#!%��� 2R)1 %�#���2&���#��)2&��%����$��-!��� ����#�������������0������)2�����#��) VLAN ID 3�����$�� !��������R)5����.��j��+��� VM 2�-&�(3� FE ��)$��-0�r packet /����K �� firewall and NAT middleboxes � ��-!�2��R)�$���� �� %��% ���#!��) SEC2 $��� 2&���Q���)�b+���������3����%�-1�-!���� -�")�$���� � data center ���2���!" SEC2 �)������0����*��� VM [23] 5�� VPC (Virtual Private Cloud) service 7R�)(�5 ���$���� �� %��%��)K��(1�(� cloud !����1��� ���� on-site network K �� Virtual Private �$���� � (VPN) [34] 3�R�)(����2&���#��) SEC2 $��3�R�) edge domain � �� ���������0� VLANs K���1 �-!�5� �)���-!� ���% � 4K ���2���!"�")5 FEs �+�� MAC header � ��� VM ���-�)� �#��� (�edge domain -&�(3� SEC2 ��)����%�-1�-!�������0��X� ���#(3' 8. SPAIN (���220��� spanning tree protocol (STP) (1��&�3��� Ethernet LANs ���#(3' -!�2�� !�����-.�/�+(����������0��$���� � data center -!�-��� ��+���� �#�(1����*1��2��$%� 3���3������-�)-!��&�����*#�$���� � data center � )K�(����2&���# bandwidth ��Q���)� %�5��$%� � ��1������-!��&� Smart Path Assignment In Networks (SPAIN) [20] (1� VLAN ������0����$��-!� !�� ��) Ethernet switch -!�2�(3��K5+� multipathing *#+���� SPAIN $&��%j����-�)�$�������3% �)$� ��) edge switch 5�� pre-configures VLANs �+������0����-�)�3� ��!" end-host agent -!�����#�")��-0�r host 2����2����5���� ����-�)5��

Page 9: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

VLANs �+���������0) load balancing 5��3�!���!�)$%� �� �3�% *# egent �� ��� ���!�����(1� VLANs ��) flow ���2���!" agent �)�%2+�����-�)-!��� �3�%5�� re-routes packet ���r$%� �� �3�%*#(1�����-�)-!�5� �) (��j�-!� SPAIN (3� multipathing 5��������0) load balancing 5�� fault-tolerance ����&������!" !����#4���!�%��� scalability *#�b+��5 �% ���"���algorithm (����$&��%j����-�)-!�����*# SPAIN 2�#&���������b+��� ��� topology �$���� � ������5�� 3��� !������!��5��)� �) !����&�$�' *$�)����) !���$&��%j� �)��)�&�3��� topology -!�$%� ����7��7��� ���2��!" SPAIN ��)��4� switch 3��������+���-0�r���-�)5�� VLAN $������)$%� �##�� ���R"������)���� ) � switch � ����-!����-!� Ethernet +�"�,��-&� (����$ 2&��%� path 2����2&���# 2&��%���) VLANs -!���0'�*# 802.1q standard (4096) [19] �0#-�� ���#�5����8����) mapping ��3% �) flow 5�� VLANs 3 ��R)$ �(1�2 �-!��+�� �R"�(�5 �� end-host

9. Oktopus 5 �% �K��(3�������*$�)����)(3�K�� �1 ��#�� $%� ��)���-��+��� �)rK �����2�#��� VM (� data center �4�)� ������0���������!$%� �� �����-��+����$���� �5� K���1 � $%� � �)�����3% �)����#���(25���������0��a�3 �*#�&����� ��'3� �)r ��"�5�� $�� $%� 5����%���)�����-.�/�+��)�$���� �� �(3����#�����-.�/�+��)*��5�� � 5� ���(�������� ��-&�(3����2�#��������-.�/�+��)*��5�� � � $�� �

�� ���$�#�#������-.�/�+��)�$���� �-&�(3����K��5��$%� +R)+�(2��)���$���#�) �&����� �����'��!���#� [16] Oktopus $�����#&�������� ��)-�")��)�$���� ��� ��� 5���� .�� (virtual cluster and virtual oversubscribed cluster) �+���$%�$0 ��������3% �)��������!�����-.�/�+��)���$��5� K���1 � $%�$0 ��$� 5�����#� Oktopus � �+!)�+�� �����-.�/�+ application 5 �)(3�$%� �#30 �-!� ���% �5� K��(3�������*$�)����) 5��1 %(3�K���1 �(����3�� #0���3% �) application $%� �� �����)5����$�-!���� virtual cluster 5�#)(����/�+-!� 8 K��(3������� ! VM -!��1��� ���� single non-oversubscribed virtual switch ���2� 0 )�� application �&�3������ ��2&��%� �� �1 � MapReduce -!� !���8j�-��%-�")3 #*#���5����)traffic (����-!� 8 virtual oversubscribed cluster 2&���) cluster -!��1��� ����K ��-�) virtual root switch -!����(1�)��-!��3 ��� ������5������������-!� ! K�� � 1 � � � � � � � �� � � ��� ) -!� � �Q � � � . � � 5 � � � � #� � 2 � � oversubscription ��)�$���� ��� ����� ��+�"�,����)���5��������������)*��5�� K���1 �-!� !5K�2�����(1�(� VDC (�1 � user-facing web-applications, data intensive applications) Oktopus (1� greedy algorithm �+������2�#���-��+�����) VDC ���2&���#3�����) Oktopus $��2�-&�)���#��b+������$���� �topology5�� tree-like physical #�)��"� $&��� $��2�-&�� �)���+������(1� abstractions of Oktopus �&�3��� topologies ����r

���-!� 9 5�#)�������� SecondNet

10. SecondNet SecondNet [15] 0 )�������)��������! bandwitdth ��3% �) VMs (�3��rK���1 ���) virtualized data center ���2���!"���

Page 10: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

$&��%j5�����2�#��4� �) !��'1!�&�3���$%� ��)���bandwidth � ���(1� VDC �)$�������3�����)�������� SecondNet 5�#) (����-!� 9 -!��%2�#��� SecondNet -!�����) VDCs �� � -���7�-!��&�3�#������)����) bandwidth ��3% �)$� ��) VMs *# SecondNet �&�3�#service +�"�,���%� 3 5�� $�� �&�#��$%� �&�$�'5����) (type 0) 5��-!�#!�% � best-effort service -!�(3���������!�&�3��� bandwidth �+��� hops5��3����0#-����)����-�)(type1) 5�� best-effort service (type2) SecondNet (1��������5 )*$�)����)���� ) �-!���!�% � port-switching source routing (PSSR) -!�� ) � packet *#(1� 3 ����+���-!��&�3�#�%�� %)3���5-� MAC address *# PSSR 2�������0)scalability ��) data plane ��Q� path -!� !���$&��%j-!�*3�#��-�) (�-�)�!" switch ��� ) � � #� ! � � �� #�� � (2� ) � (#r ��� #�R" � SecondNet �����$%� �&���42#��� high scalability *#�����$���������� ����!�%��� ���2�) bandwidth 2�� switch ���) server hypervisor ���2���!" SecondNet �)(3�-��+���� �) VM 5�� bandwidth !����+�� �R"�5���#�� �$ 3��� �����2�� VDCs (�#�������$������� SecondNet �)�� ���2�#���$%� K�#+��#5���#������2��%��)-��+��� 5�� PSSR �� ������0��(1���� Multiprotocol Label Switching (MPLS) [36] -!�-&�(3��&�������(1��#�) ��R"� (�#������2&���#-!��&�$�'��) SecondNet $�������-.�/�+���-&�)�� ��2�R"��� ���*$�)����)-�)��/�+��)�$���� � 5�� SecondNet � +�2��j����8j����������)������ r-!��� ��� !$%� �&�$�' �K���1 ��1 � latency 11. Gatekeeper

Rodrigueset al. [26] �#� �)��-!���'3���)�$���� ����5������-.�/�+����&�3�#$%� ��)���-!���!�%���) 5����*�*$�)���(3 ���)$%� ��)����3� ���"�1��� Gatekeeper *#(���������!"����% �%�.!5����'3��&�3������5������-.�/�+��)�$���� �$%�2��� ����������#(�5) ��)2&��%� VMs #������$�#���j�(�5) ��)�����-.�/�+�$���� � #���+����� -!���Q������ �K���1 � 5��$%� �#30 ���)��������!�����-.�/�+

Gatekeeper 0 )�������)#��������������� bandwidth ��3% �) banwidth (� multiple-tenant data center 5���������0���(1� banwidth ��#����) ��5�#)�R)���(1�-!�� $ � !�����-.�/�+��) link bandwidth � ���$%� 20�+!)+�5������ �(1�)���#�

Gatekeeper address 2��&�3�#���� ������&�3���5 ��$� VM 5��+��� �����-!��� ����")5 (��j�-!� ���(2% �link capacities2����(1�� �) !�����-.�/�+*#K���1 �

Gatekeeper 2�����)logical switches-!� !����1��� ���3% �)������ VMs ���)K��(1��#!%��� *# virtualNIC (vNIC) ��)5 �� VM 2��%2��� traffic-!����� �*#(1�10#��)�%��� 5����)��$%� 5���#��) vNIC ��)K��� )-!�����2������-!��&�3�#�%� 5������-!��&�3�#*#K��� )2�(1���� ��$%�$0 traffic rate �+����#��#��$%� 5���#

Gatekeeper 2�� �#�+�2��j��%1!"%�#�����-.�/�+���� r �1 � latency ���2���!" Gatekeeper �)�� (����+�S��$0j� �������r�1 � �������)5���#�� ��5����������2&���# �)r 12. CloudNaaS CloudNaaS [7] ��Q��������� virtual network -!� !����������0������-.�/�+�&�3����������(1�5�����2�#����)$���5��application (� cloud *#�b+���������� -!��K5+� 10#��) primitives -!��3 ��� ���$%� ��)�����)���(1�)��-��%���% �R) application -!��b+���2��2), middlebox traversal, network broadcasting,VM grouping, and ���2�) bandwidth

CloudNaaS �R"��� ������� ) � OpenFlow �+���(3�����0%��0����)$� (�1 � middlebox traversal) #�)�� �%���)�� ���������0)5�++���$1��(� CloudNaaS �% �R)3��r ��"��� ��"�5��K��(1����-�)���0$%� ��)����$���� �-!�$%�$0 Cloud (1� primitives �&�3�#*#�*��/�8��$���� � CloudNaaS�R"��� ������� ) � OpenFlow �+���(3�����0%��0����)$� (�1 � middlebox traversal) #�)�� �%���)��. ���(1�)��*��5�� (� CloudNaaS �% �R)3����"���. $��")5��K��(1����-�)���0$%� ��)����$���� �-!�$%�$0 Cloud(1� primitives �&�3�#*#�*��/�8��$���� �. 3��)2��$%� ��)����$���� � !���5����Q�� -���7�����������, $%�$0 Cloud�&�3�#&�53� )��) VMS 5������)�}�$���� ���#��-!��� ����#�")�%�-1� ��220��� CloudNaaS (1�5����'3����5����bin-packing�&�3������%�) VMS -!�2������� ���+�2��j�(�����������-��)����: ���2���!" CloudNaaS (3�3���-$��$-!�2��#2&��%���)�����-!�2&���Q�(�����������7R�)�% �R)

(1) $%� +�� (1�����-�)�#!%�&�3������2��2�-!�#!-!��0#

Page 11: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

(2) ���(1�����-�)���2��2�-!���� 2&���# �&�3��� QoS �R"��� ���2&��%���)$������2��2�-!��&�3�#� ����/-��)-of-Service �� (ToS)

(3) �&�3�#-!��� �#����+���%�) VMs �� #���3��)edge swith�#!%���5��(1����%5-��&�3���������% � ) IP

���2���!"�)������0���� CloudNaaS ������������&�3���$%� �� �3�%(����2�#���5��������!��5��)(�����&�3�#�*����)�$���� �*# reprovisioning VDCs. ��220��� CloudNaaS 2�#&��������(1��%�-1� OpenFlow -!�(1��&�3������� ) �;*6����"��0#��|#(1��$���� � stack vSwitch �&�3������� ) �5����#$���)��� OpenFlow ��220��� CloudNaaS 2�#&��������(1��%�-1� OpenFlow -!�(1��&�3������� ) �;*6����"��0#��|#(1��$���� � stack vSwitch �&�3������� ) �5����#$���)��� OpenFlow

��� 2&���# 3�R�)��) CloudNaaS $����� 2&���# ���2��2����)����-�)�����2�&����� $%� 5���#5�� / 3������(1�)���$���� ���#��. 3� trade-off -!�#!��3% �)$%� �#30 �5���$���� ����(1��)$)��Q���'3�-!�-��-��&�3��� CloudNaaS 13. Seawall

[6] Seawall ��Q�*$�)���2�#���5��#�%�#.�-!�1 %(3�. K��(3�������*$�)����)+�"�,���+����&�3�#%�.!5��#�%�#.�2�-!�(1�� % ���(��$���� �������� ��-!� !3��K���1 �. $%� $�#��) Seawall $������&�3�#�"&�3������)3� %)���$���� ��������)���2��2� (�1 � VMS, ����%����),5��2�#���5��#�%�#.�� �"&�3����3� ��!"(�-�)��#� %�. Seawall (1��0* )$�-!�$%�$0 $%� 5���#��3% �)$� ��)�$���� �3� %)���+�����)$��(1��*��5��#�%�#.�� % ���. shim layer #&����������Q� NDIS (Network Interface Specification Driver)�%���)5+4$��4��Q�K�����K�#1�� intercepting 5+4���45����������K��� )-!�� )5+4$��4 Seawall ��)$��5�5��#�%�#.���3% �)K��-!�5� �)���5���a�)���� (3�K���1 �����)$����2��������*/$-��+����$���� �-�")3 # ���2���!"��)���(3� Seawall -�)�$����)��/�+2���4���� ��������- ���"��&�3����)$�����)�%��)7R�)1 %�+�� $%� �� ���(������)��� ���2���!",��)���(3� Seawall��Q��$����)��/�+���8���� ��������- ���"��&�3������-�!"��)���), 7R�)1 %�+�� ������ ���2�� Seawall is agnostic�&�3���*��*$�������� )-!�(1�*#K���1 �, 2&��%�flow-!�(1�*#�)$���5��5��2&��%���)������-�!"� )���� (�-0���j! Seawall 5� )5��#�%�#.�5�����

5�� ��#� %���)$��.��)���% ���"�, Seawall 1 %(3��"&�3���-!�2�5����5���#�� ���+�����)���������!��5��)(�$%� ��)�����)K���1 �.5 �% � Seawall � �#��� -!�$%� �� �3�%� �)1�#�2��4$����������%��������$���� �5���#�� ���)������-&�(3� ���#$%� K�#+��#.

��5�� Seawall ��Q�$��" )5��-!�#&���������b+��(� Windows7 5�� Hyper-V. ��)���% ���"�*#����2�����$%�$0 ���������!�. ��� �2���Q����#�-!� Seawall 2��� ������������5��%�#.��&���425� ����&�3���2&��%�3� %)��-!��+�� �R"� 14. NetShare

NetShare [27]��� ����'3���)2�#���5��#�%�#(��$���� ���� ���� ���2��)���������������� ����+�4�-!�� ��) !������!��5��)(# r (��%�-1�3���������� NetShare (1�����1��� *)���2�#���5��#�%�#.��&�3���K�� �1 �(�-�)��#� %�5�������$%� �&���42��)�&�3������(3�������*$�)����)+�"�,�� (� NetShare ������� ���$���� ��1��� *)� % �����3% �)���������(1�)��3�����0 �)$��� ���% �����1�� � �5 ��3 � #�%%�.!�!" , one service/application/��0 � �� ���hog5��#�%�.-!� !�����|#����1��� � ���R"�. NetShare �� ���#&���������#�(��� %�.!-!���Q����#�:���2�#�����0 , ���$%�$0 ��� �j����, 5�����2�#���2��� %����) NetShare (1�2�#�����0 (����2�#�������3� TCP 2�#�����0 K��(1�� $�%�+���(3����2�#���5��#�%�#.���Q���� �)0�.�� (����(3�������-!�5� �)���5��2�#&�����K �� Deficit Round Robin (DDR) [37]. ���$%�$0 ��� �j Rate 2����(1�(����$%�$0 ���2��2�-!�����)*#53� ) UDP 5��3�!���!�)���(1�5��#�%�. ��������5�� !���(1�)��K �� shim layer #���� �) UDP -!�5 ��*6��. shim layer$%�$0 �������� )*#���%��$���3����2��2�%�#-!�#������5�������������� )� -!�2�(1� ���R"� �*��-��%���1 ����2�#���5��#�%�#.�-!�� �#�(1��b+�����5�*$�)���2�#���5��#�%�#(1�� %����). NetShare ����*��*$������-�)-!�2�2�#������$%� �� �3�%5��multipath ��Q����#�#�%���(1� ECMP. scalability ��) NetShare scalability ��) NetShare��2��Q���'3��+���$�%2���) !����&�3�#$ �-!�+����%�1�5 ���&�3���5 �������� /application ���2���!" NetShare ����$0j���8j��b+����)�%�1� ���� ��� )�� �(1� ������ �7R� ) 2�1 %�# deployability ��) ��

Page 12: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

���2���!" NetShare !%��0����)$��+�������0$%� ��Q�.�� (����2�#���5��#�%�#.�5��2R)� �#�(3����������(# r ���5��#�%�#.�-!�5� ���-!�2�(3�������.

4. ,�G%&G=�!%"=�! (��j�-!�����&��%2� ��3����!"� %�����������%�2�-!�*##�# �

5��$0j� ����# ���)+%����(�� %��!"���!��-!���������3� ��!"(1�10#��)�%1!"%�#�1�)$0j/�+ *#�b+��� �)��)������� ���������*#(1���j�� 5 � �) ����!" : scalability, fault-tolerance, deployability, QoS support, 5�� load-balancing. scalability 5�� fault-tolerance !$%� �&�$�'�����)���5���&�3���������� ��-!���������#�%�7���X�%���5��-��+����$���� �2&��%� ��5��$�#% �2�������0�2&��%���)*��5�� ���0�����#(3' -!�K���1 �.

(�%���!"������� �� ��2�(1�10#���$���7���X�%���5��6���#5%���$���� � , deployability ��Q���'3��&�$�'-!���!�%���%�.!���-!����!��*$�)����)+�"�,����Q����)-!�2&���Q��&�3������#&��������*#�b+��� �)��)�������� . QoS ��Q���)%���!�%���K���1 �-!��+�� �R"�5����Q����)�&�$�'-!���Q�$%� �&���42��)�������� ������� ���� ���2��). (�-!��0# loadbalancing ��Q�%��0����)$�-!��&�$�'��)K������������$���� ��&�3���%��%��� 2��2�5��$%� 5���#(�����#������� ���$���� � �����0�K���)������!��-!���)���(����) III-VI. 5 �����)���!��-!��������-!��b+���2��2)(1���j����)$0j���8j��b+�� (�3�%��� � ����!"���2�(3��/�������� ��! #��)������ � ��K���)5 ����) � ��� %1!" %� #�����-.�/�+��)���-&�)��

Proposal References ����� �������

Traditional

DC

[4],

[5],

[19]

- ./0123304556/782/95:;19

- �� ����&�3�# address space ��) layer 2 5�� layer 3 �#�#�%���)

- <.;=1.12>3304558?@73ABC012 VMs AD1EFE.10<CG

- ./012AD10BCAD1EFEHIG8J;1<FG6/7 4096

Diverter [21] - ������0����5� )�1�)������)�$���� � IP - � �� ������������ Qos NetLord [22] - ��0'�(3�K���1 ����5��5��������0)+�"�-!�K��(1�5��

5�++���$1���#�� $%� ��)��� - � ������0���������! bandwidth

VICTOR [23] - 1 %(3����*����� �����4� IP address �#� �#� - 2&���Q���) !���������0� FIBs ��Q����#(3' -!��&����� ��'3�(������)��) scalability -!���!�%���)��� Fes

VL2 [24] - !$%� �#30 �(�#������2�#���-��+��� - ��#��������! bandwidth -!�5� �����3% �)server PortLand [25] - !$%� �� ���(���������1��� VM !

�����-.�/�+(����*��� VM 5�����2�#���-!�) � - 1 %�#$%� 0 )����)�$���� � data center

- !$%� ��)��� multi-rooted fat-tree topology

Oktopus [16] - �����!�����-.�/�+��)���$��5� K���1 � $%�$0 ��$� 5�����#� - �)(3�$%� �#30 �-!� ���% �5� K��(3�������*$�)����) 5��1 %(3�K���1 �(����3�� #0���3% �) application

- � ������0���������!$%� �� �����-��+����$���� �5� K���1 � - $%� 5����%���)�����-.�/�+��)�$���� �� �(3����#�����-.�/�+��)*��5�� � 5� ���(�������� �� - -&�)���#��b+������$���� �topology5�� tree-like physical

SecondNe

t

[15] - �����! bandwitdth ��3% �) VMs (�3��rK���1 ���) virtualized data center

- �����-.�/�+���-&�)�� ��2�R"��� ���*$�)����)-�)��/�+��)�$���� �

Page 13: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

- ���$&��%j5�����2�#��4� �) !��'1!�&�3���$%� ��)���bandwidth � ���(1� VDC

- � +�2��j����8j����������)������ r-!��� ��� !$%� �&�$�' �K���1 ��1 � latency

Seawall [6] - (1��0* )$�-!�$%�$0 $%� 5���#��3% �)$� ��)�$���� �3� %)���+�����)$��(1��*��5��#�%�#.�� % ��� - �a�)���� (3�K���1 �����)$����2��������*/$-��+����$���� � (3��"&�3���-!�2�5����5���#�� ���+�����)���������!��5��)(�$%� ��)�����)K���1 �

- �����%��������$���� �5���#�� ���)������-&�(3����#$%� K�#+��#

Gatekeep

er

[26] - ��������� bandwidth ��3% �) banwidth (� multiple-tenant data center

- � �#�+�2��j��%1!"%�#�����-.�/�+���� r �1 � latency

NetShare [27] - �+�������0$%� ��Q�.�� (����2�#���5��#�%�#.� - ����$0j���8j��b+����)�%�1��������)���(1��������7R�)2�1 %�# deployability

- � �#�(3����������(# r ���5��#�%�#.�-!�5� ���-!�2�(3�������.

SEC2 [28] - (3����������8�$%� ���#/�-!��#30 ��� cloud computing

- edge domain � �� ���������0� VLANs K���1 �-!�5� �)���-!� ���% � 4K

CloundNa

aS

[7] - ������0������-.�/�+�&�3����������(1�5�����2�#����)$���5��application (� cloud

- 2&���# ���2��2����)����-�)�����2�&����� $%� 5���#5�� / 3������(1�)���$���� ���#��

���)-!� 3 5�#)�R)���#!�����!��)���� ��5 ������/-A. Scalability

�����$%� �&���42� �)��)���$%� �#30 �(�������� ���� �����)(1�+�"�-!�-!��� -!�������0�K���1 �2&��%� ��5�� VMS ��)+%�������2���!" �")5 ��220��� commodity �%�-1� �� !���#3� %$%� 2&�-!�2&���# ����Q����)2&���Q�-!�2�-&�(3�2&��%���) forwarding states (��%�1�5 ����"��+���(3����#$%� �#30 �

Prop

osal

Scal

abilit

y

Fault

- to

leran

ce

Depl

oyab

ility

QoS

Load

balan

cing

Traditional DC Low No High No No Diverter High Yes High No No NetLand High No Low No Yes VICTOR Low Yes Low No No VL2 High Yes Low No Yes

PortLand High Yes Low No Yes SecondNet High Yes High Yes No

SEC2 Low No Low No No CloudNaaS Low Yes Low Yes No ���)-!� 4 5�#)���!��-!�$0j/�+��)*$�)����)���� ) �

Prop

osal

Scal

abilit

y

Fault

- to

leran

ce

Depl

oyab

ility

QoS

Load

balan

cing

Traditional DC Low No High No No SPAIN Low Yes High No Yes NetLord High No Low No Yes VL2 High Yes Low No Yes

PortLand High Yes Low No Yes Traditional DC Low No High No No

SPAIN Low Yes High No Yes NetLord High No Low No Yes VL2 High Yes Low No Yes

���)-!� 5 5�#)������!��-!�$0j/�+��!�%��� multipathing

Page 14: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

Prop

osal

Scala

bility

Fault

- to

leran

ce

Deplo

yabil

ity

QoS

Load

balan

cing

Oktopus High Yes High Yes No SecondNet High Yes High Yes No Gatekeeper High Yes High Yes No CloudNaaS Low Yes Low Yes No

���)-!� 6 5�#)������!��-!�$0j/�+������������Bandwidth

Prop

osal

Scala

bility

Fault

- to

leran

ce

Depl

oyab

ility

QoS

Load

balan

cing

Seawall High Yes High No No NetShare Low Yes Low No Yes

���)-!� 6 5�#)������!��-!�$0j/�+ Bandwidth -!�(1�� % ��� ���) Vll5�#)2&��%��%�����)�0#��)K���1 �, VMs �K���1 �

5�����#��)���)���� ) ��%�����)�0#��)K���1 �5�� VMS � %�(3' �R"��� ���2&��%���-!�(1�(�������0K���1 �5�� VMS2&��%���) VMS �K���1 ��R"��� ���+�"�-!�-!��� -!�������0�*# IPv4 7R�)�� ����#���� ���(1� IPv6-�")�!"�R"��� ������� ) �*$�)� �)���#��)���)���� ) ��R"��� ���2&��%���) VMS, physical machines, switches or pods.(�-�)������2&��%���) VMS ��)�% �2&��%��$����)-�)��/�+7R�)(�-�)�������.... ��)�% �2&��%��%�-1����2���!"����)��)���34�% �VICTOR and Portland � �� ���������0�3��K���1 �

- � ���)�������� -!��&��%2(��������!" ,Second-Net,Seawall,Gatekeeper����0$%� �#30 ���)*#������8������-!� end-hosts (�1 � hypervisors) ���% �(��%�-1�. NetLord 5�� VL2 ����0 scalability ��)K ��encapsulation packet ���8���������� ) ��b+���&�3����%�-1�(��$���� �. diverter �)�� ����������#�#��+������)���� ) ���)�%�-1�-!� !�� �b+��MAC addresses ��)*3�#-�)��/�+ (� (1 ��) VMS). �)������ , SPAIN, VICTOR, and CloudNaaS 2��������#�#�����)�+���+%������)�������&��0)���8���)����� � VM (���� switching/forwarding element. 5 �% �����+�� �����-.�/�+(3� CloudNaaS �&�3������������0) scalability ��)� �)�1 �����+��

�����-.� ���2&���#����-�)$%� 3���3��-!(3�������(��$���� �5���������� �����-.�/�+*#�% ��)%�.!���

(����$,CloudNaaS ����&� �(1��� (���220���(1� OpenFlow, 5�� OpenFlow ��Q�-!����2����� !��'3������) scalability (�������� �����#(3' �����)2�����(1��%$%�$0 � %����). SEC2 � �#��������#�+���addressing schema 2&���#2&��%�K���1 �5��7����4 -!�������0�(��$���� �. NetShare ����� %����)2�#���5��#�%�#.�7R�)-&�(3� ����-!�2�%�#�&�3���������� �����#(3' . B. Fault-tolerance

(�����-��)������� ���� ���2��), fault-tolerance $���$�0 ���2�#���$%� �� �3�%��)�)$�������(��������� �� (�1 � �%�-1�5������1��� *)) 5�������$%�$0 (�1 �����$��3�)���+�% �� %�(3' ��)�������� -!�5�4)5�� )���$%� �� �3�%(�� %��������������� ��. ��%� �)�1 � SecondNet (1�spanning tree���-�#��''�j1 �)-!�2��%2���$%� �� �3�%5����"���%�.!���2�#���(����2�#������+%����. �%5-�SPAIN �� ���������3% �) VLANs (�������#�R"���)$%� �� �3�%, NetLord ����SPAIN �&�3��� fault-tolerance 5�� VL2 5�� NetShare +R�)+�����-�)*��*$�� (OSPF). Diverter, VICTOR, and SEC2 (1�*$�)����)+�"�,������ ) �+�"�,���&�3���������$��$%� �� �3�%. 5K�#�)�� �%��Q� Oktopus 5��CloudNaaS-!�2��$%� �� �3�% *#$&��%j���2�#���5��#�%�#(3 �&�3����$���� �-!��#����K����-�. 5K�����% -�") Seawall 5��Gatekeeper �� �������(3��������$%� �� �3�%*#���$&��%j���2�#���������)5 �� flow.

���$%�$0 � %������������(�������� ���������� �$���� ��% �R)�������$��3�� %����)�&�3������5����'3�$&����)-!��� (NetLord, VICTOR, VL2, Portland, SEC2), �-$*�*�!���2�#�������3���)� %����) ((1� CloudNaaS OpenFlow), tree spanning ��''�j (SecondNet) 5��*��*$������&�3�#����-�) (NetShare 5�� VL2).$%� �� �3�%��)���$%�$0 ������3� ��!"1�"�� %�-!��� ����&����� ���-&�)����)��)� %�3���-�")3 #������� ��5��K�(�������$%� �� ���(�����%2���$%� �� �3�%(���� �������.

$%� �� �3�%��)���$%�$0 ������3� ��!"� )K����-� �$%� �� �3�%(��������� -!� !�����$%�$0 � spanning

Page 15: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

tree*��*$�� -!��R"��� ����%��-!�*��*$��(1�(���� ����2�3��)2�� !������!��5��)*$�)����).

��������%(�*��*$��+�"�,�� spanning tree protocol�1 �Rapid Spanning Tree Protocol (RSTP)�� ����#�%��������2� $%� �� �3�%-!�$������ STP (���j!��)����&�3�#����-�)*��*$���1 � OSPF ��)$&��%j����-�)(3 7R�)��2(1��%���%���%5���R"��� ������#��)�$���� �5������&�3�#$ �*��*$����220���.� �)���4� #�)-!�5�#) [24], �%��������2������) OSPF (����% �3�R�)%���-!) � �#���Q���22�-!���)3�� (�5�� real �$���� ���� ������ OpenFlow (1�*# CloudNaas !+�"�,���� ��� %����)�%$%�$0 -!��&�3�#+����� ��) OpenFlow (1�*# CloudNaas !+�"�,���� ��� %����)�%$%�$0 -!� �&�3�#+����� ��) OpenFlow � �%�-1�K ��10#��)�}5��������-&�-!���!�%���). ������5��� %����)$%�$0 ��) OpenFlow ���� ���� )$%� �� �3�%5���+�� �����-.�/�+ bottlenectks. [39] HyperFlow ��Q����������a�3 �(����(3�� %����) logically 5 ��/�+���2��%$%�$0 OpenFlow. (� HyperFlow � ���$%� �� �3�%-!����#�R"�(�3�R�)�%$%�$0 , �%�-1�-!���!�%���)����%$%�$0 $%� �� �3�%2�reconfigured �+��������������%$%�$0 ����(3��� ���(1��#�

�������2����$��3��� ���(1�(�����#K����-��1�)����)$%� �� �3�%(��������$��3�-!��� �&�3����%� �)�1 � VL2 �������� 5���&�(1����2&���)5����)������7���X�%��� (RSM) �$����)-!�2�(1����2&���)5���#���-��!����7R�)1 %(3�$%� � ��1������-!� !K� ������-.�/�+ C. Deployability

2��#�)�� �%���)����Q�, deployability ��Q����8j��&�$�'��)�����$���� �(# r ��)�������� ��� �� virtualization. (�������!��-!���)�����0��%�(����) III-VI, ������� �� deployability ��)�������� -!���)����������� �� ���(1�)��K ���%�-1����$��-!� !����������!��7�X5%��. �� ������ r , deployability �&�3 ��R)�������� -!���)����0���j�-!� !$0j� ���-!�� �� ���(1��#�(��%�-1�-0�$��") (�1 ����� ) ����������0� L3 �b+��*��*$��)

�����0�������!#������!��-!���)�����!�%��� deployability (����)-!� VIII 7R�)�.���$0j���8j�-!�2&���Q�-!�2���)#&��������(� hypervisors ((��$����)-�)��/�+) edge

�%�-1�5���%�-1�3���. Commodity switches� %�(3' � ) �������0� L2 5���-$*�*�! VLAN (��j�-!�Commodity hypervisors ����)�+!) isolated VA � ) ��$! ����0�}�&�3������� )5+4���4*#�)$����������!��2��+������������+��������. FIB 1 %(3���� map -!��� MAC ���+����%�1�� �������#���(2��!�%������5+4$��4 forwarding.Ms ���)�)5�#)(3��34�7R�)*$�)�����) !�7���X�%�����Q��������)���2�#���.-�")�!"�R"��� ������5������7���X�%����!"�� ��� !X�)��1��-!�5� �)����1 ����2�#���-!��� Portland,VL2), ���2�#���K���1 �(NetLord 5�� VL2), ����-�)���$&��%j (VICTOR5�� SEC2), 5�����2�#���-��+��� (SecondNet) �����)��0% �(��j�-!���)����&��%2�������� (SPAIN, Diverter, and Seawall) ��)���!���b+��(�hypervisor � %�(3' ��)����&��%2�������� ��)(1�$0j� �����)6���#5%�� *#�b+��� �)��)$0j� ����3� ��!"�% MACin-MAC (SEC2) encapsulation, L3 forwarding (VL2, Net-Lord), DRR (NetShare), �$���� ��������#���-��! (NetLord, VL2, Portland, VICTOR, SEC2) 5��6���#5%��*��5�� (CloudNaaS) -!�� ) �(����������0�commodity�%�-1� #�)��"����#&���������������� �3� ���"��� ����+�� $ �(1�2 ��% ��)�$���� � � �)���4� ���6���#5%��%�%�S�����5������ ���� �)�%��)��)6���#5%��*��5�� ��� �#���%��% ��-$*�*�!�3� ��!"2������Q�&�53� )+�"�,��(����$���(���

�0#-�������)���2�+�#�R)���2�#������ ���������) !5�%*�� -!�2�(1��0���j����$��-!� !��$����5�����!���#�� �)) �#� �0���j��!"� �� ���(1��#��� � �� !$%� �#30 �� �+!)+� ��%� �)�1 �(���j!��)������� ��5��#�")�#� �%�-1�commodity ��)��4�MAC addresses ��) VMs*6��. ���2��2�)��'3� scalability �+����%�-1�commodity ��2� !2&��%� 2&���# ��)-��+��� (�1 ����#��)���) FIB) [22]. � �)���4� *$�)� �)-!�����(����� ) � NetLord ��!�commodity �%�-1�(����2�#��4�-!��� MAC �b+��edge switches. 2&��%���)�%�1���� ������% �2&��%���) VMS (�������� ��� �) ��1 %�+�� $%� �#30 �. The number of switches being much smaller than the number of VMs in a data center drastically improves scalability. (��������� -�")5��.�� #�5�� NetLord ���$��

Page 16: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

�%�-1�-!� (1� 5 *$�)� �)� ) �-&�(3�$%� 5� �)2R) !��'3� scalability no (� NetLord. D. QoS Support

QoS (��$���� ��� ���2������$%� �&���42*#���2�#������������5��#�%�#.��&�3���5 ������1��� *)�� ���Oktopus, SecondNet, Gatekeeper 5�� CloudNaaS (3�������������5��#�%�.2�#����&�3���5 ���$���� ��� ���. (��j�, Seawall 5�� NetShare (3������� weighted fair-sharing -!�0�.�� ��)5��#�%�#.���3% �)K���1 �� �)���4� +%����� (3������������� ��!� %������2� #���5��#� %� #% � � � 30���� -!� � �����-.�/�+. (��j�-!�� %�-!��3����������� � �#�3������!�%�������#4� QoS ����1���% � ����Q����#�-!�2�������0� QoS (��������� �3� ��!"*#�����)�% +%�������$�-!����������5��#�%�.������0� (�1 ����(1� �����Oktopus ��Q� NetLord) E. Load-balancing

*3�#� #0���Q�$0j���8j�-!�+R)����)$��&�3�������#�$���� ��j�-!����������0)$%� 5���#-��+����$���� �5�������-.�/�+��)*��5�� .��3% �)�������� -!��&��%2(��������!", SPAIN and NetLord(7R�)����SPAIN �����$%� �&���42�����)load-balancing*#������2����2��2�3��spanning trees. �+���(3�����0 load balancing 5����3����R) multipathing, Portland and VL2 +R�)+� ECMP 5�� VLB.�0#-�� Diverter, VICTOR, and SEC2 ��Q�3���-!��� ���5��-!�� 1�#�2��� load-balancing. F. Summary

�� � ���! � �-! ���) � ��-!� 5 � � )�� �-!� �& � � ����������� ��|#�K����&��%23��3�%���. 3�R�) � !-�)���-!�#!�&�3���-0���'3� -!�$%�2������-!��� (�$���-� �������)��� ���$���� �. �!" ��Q�3��� �����)2���������� ��)5 ���������� +�� -!�2� 0 ) ������-!����8j��b+����) virtualization ������� ��. (��j� ����1���% � ����Q����#�-!�2��% $0j� ���-!��&�$�'��)� %���)�������� -!� (1����*1��2��K����*1����)�. ��%� �)�1 � ����Q����#��% VICTOR 5�� Oktopus (��������(1��%���1 %�������� ��-!� !5��#�%�#.��j�-!����(3����������������0�-!� !�����-.�/�+�&�3��� VM *���. ������-!���), ���3��������� -!�#!-!��0# (3�������% ���) ��)(1�$%� ����(2� �)�� �#��%�)2��$%� ��)���#��������-.�/�+

��)���(1�)��-!������� (�������� ��. #�)��"�����#4�-!��� �%�R)(�� %��!" ��)(1�$%� +�� � )���� ���%�2�(�����--!�5� �)�����)cloud�/�+5%#��� .

5. :��$�;<�L�2���M (�� %��!"���2�3������)� %���)-��-�)-!��&�$�'�&�3���

�&��%2(����$��!�%������ ���$���� ��� ���2��)���� A. Virtualized Edge Data Centers

-!��0#��)����R�8�-!� !�� 2��R)�j��!"������ �������$���� � virtualization �#� 0 )����(�������� �����#(3' -!� !3��+���$����) 5 �% ���� ��-!� !���#(3' economy-of-scale5�� !���2�#�����)�����)2��.�� 1��� %����)��)+%����, +%���� !��� 2&���# *#.�� 1����)+%����� ��� �� ��R)������*6��") . *#�b+��� �)��)��22�-�)���8,��������% �2� !�+!)� �!�$���)��� �����#(3' ����)�����R"�(�����-!�-!����� �����)5�����#&�����)��$ �(1�2 � (�1 �+��))��) �&� [40]��Q�K�(3�������� ���3� ��!"��22��� 3 �)���2��K��(1�� )K�(3���-0�����������-!���)�R"�5��$0j/�+���(3���������2 !sub-optimal(�5) ��) delay, jitter and throughput

5�)���#��(22�������)���!"�������� ��0#�1 � Mist [41] EdgeCloud [42] ����� *$���� �� [43], ���� nanodata [44] �#�������3����R"��+���������0��������)�������#��4���)��� ���&�3������(3�������*6��")-!��$���� �edge (�1 ���������R)�$���� �)-!��� ���2�#���������(������K��(1�.

(��--$%� �!"���(1� edge data centers ��Q�$&���+-��b+���&�3������)�R)������� ���$���� ����#��4�-!��")���$���� � edge.�j�-!����%�#$ �(1�2 ����K����#&��������� �3 ���������� �����#(3' edge data center ����K����*1��-!��&�$�'���!��-!����������� �������� [43]:

(1) +%������ ����&����� Qos -!�#!�% ��&�3���$%� � �1����)��� ��(delay-sensitive) !K� ������-.�/�+���-&�)����)5�++��1��� �1 � %�#!*���! ��),�� �������,*-���+-�5��������10 -�)�%4�

Page 17: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

(2) +%������ ����#$ �(1�2 ��$���� �����������*#����#���2��2���� ����-�)(����(3��������$���� �

(3) ��-0�(��������)��) edge data centers 2��&��% �� �� � � -! ��� � �� � � � 2 �� �� � � �� � � � � � � � �����# ( 3' (�$%� ��Q�2��)����������*-�$ ��$ -!� !�� 2&��%� ��5������-�����4K��(3������� (ISP) ��#!-!�2����#����)+%����-!� !�� *$�)����)+�"�,���+���(3��������+�� ��$ �*#(1�edge datacenters [45] #�)��"�2R)$�#% �(����$ cloud 2���Q�*$�)����)+�"�,��5��3��1�"�-!� edge data centers 2����� ������� ��������(����(3�������-!� !$0j/�+��)5��(3��������������-!� !��-0��&�

$������������� �����#(3' , virtualization ��Q����)2&���Q�(�������� ��-!�-��� ��&�3��� VDCs ������0�2��3��K���1 �*# !%��0����)$�-!�3���3��5�������-.�/�+���-&�)����a�3 ����2�#���� �)���4� virtualizing edge data centers �) !����#4�3�� -!� !$%� -��-�(�)��%�2�(3 :

-�&�3���K��(3�������� �)(#� �)3�R�)��'3�+�"�,��$��%�.!���-!�#!-!��0#-!�5� )*$�)����)+�"�,����������������3% �)����5�� EDGE�+���(3�����0 tradeoff #!-!��0#��3% �)�����-.�/�+5����-0����#&�����)��? ��'3��!"��Q�-!����2�����-��%��% ���Q���'3�-!����#�R"����&�53� )������[46] 3�%�.!���5����'3��!"��Q����)2&���Q��&�3���K��(3�������-!�2�(1���� ��edge�������� ����������� ��'3��!"���51��3��r� �)$��������'3�-!����#�R"�5��2&���)5��#�")�#� ��)&�53� )� �)���4� %�.!���-!� !�� �)� �#��R�8���j!5���#�� ��-!��)������$%� ��)���5������ (��$�-��+����1 �5���$���� ��)������) �� ������!��5��)�#���#�%��(���j!�!"3������")$ �&�53� )2���)���!��5��), ���4�)��Q����)-!�2&���Q�-!�2���)+�2��j�$ �(1�2 ���)�������*$�)����)(�1 � *��� VM) (����5������+�� �����-.�/�+

-%�.!���2�#���� �) !�����-.�/�+������+�"�-!�(�3��������� ��? -!�2� !2&��%� ����)���������� ������%2���5��-��+���(����$%�$0 #�)�� �%*$�)����)+�"�,�����#(3' !$%� -��-�5����2 !$ �(1�2 �� �) !���&�$�' ����#overhead ���2�#�����Q�����#4�3�����)����%2���

����1���% �-!��� ���$%� -��-�(����%�2����)��2����)�&�$�' �$%� �&���42��)5��3����"�*$�)����)+�"�,��$��%#�. B. Virtual data center embedding

�� �����)��� VDCs 2&��%� �� �R"��� ������-&�5 ��|�) virtual resources� �) !�����-.�/�+-�)��/�+3�R�).�!"��'3�$�����2���!�% ���)5��5���#���������)��)���%�2�(�����-��)�$���� �[48] virtualization - [51]. �������� ������� ���1 � Second-Net 5�� Oktopus [16] heuristics �)������ �#�����-!�2���� ��#�% NP-hardness ��)��'3������).� �)���4� !��'3����� r 3����������!�%���������5��������� ���� ���������R-R embedding.

• (�����-!���� �� virtualized !-��+�������r ����3���2���7���X�%���-�)��/�+-!��� ��� virtualized 7R�)�% �R)������� �%�1� �0���j���4���� �� 5���������8�$%� ���#/� -!� !�� �%�(1�5����'3������)�&�3���������� ���#� 0 )�����b+��(��������0�����) VM -!�#!-!��0#�+��������) $%� ��)���5��#�%�#.�5�������� %�K� ����1���% � �������-R �����)�&�3��� VDCs $%�+�2��j�$%� ��)����&�3���-��+������� r #�%

• $%� ��)�����)-��+����&�3������(1�)��������� ���� ������!��1 %)�%��7R�)3 �$%� % ������) VDCs -!���2 !������!��5��) (�������5���������-R (3 VDC -!�$&��R)�R)$ �(1�2 � �������*$�)����)��) VMS (�1 � ��-0����*���) 5�� virtua topologies �)$)��Q���'3�(����%�2�

• ��� �j���(1�+��))����Q���'3�(3' (�������� ���")5 ��"���'1!�&�3���2&��%���� ��-!��&�$�'��-0����#&�����)������ *#% �� ��)�� Carey [52] ��)-!��&����)��$0� $��)���)5%#��� (EPA) ������� ��������*/$��� �j 3% ��)���(1��XXa�-�")3 #��)�3��,(��� 2001 ���2���!"���(1�+��))��*#��� �j��)�7���X�%���������� ����Q���� �j 2% ��)���5��XXa���)*�� -!���#$���)��� [53] �0���j�$� +�%������)-��%�� 5000 ���)X0 � %�������� ��7R�)�% �R)*���7��7����0���j��XXa��7���X�%���� %��������7���X�%������� r -!���4�5����������0���j���"������) 52% ��)���(1�+��))���% DC; �������2 �������#�%������2��&���2��) UPS (53� )2 ��X�&���)), ����$%� ����, 5�) 5���%�1���$�����*/$ 48% Greenberg et al. [54] ��)�������$���� ���)��� ��(1� 10-20% ��)+��))���% ������5��������� ���� ��� "Green" -!���)�������-R -!�(1���Q���'1!��� �j���(1�+��))��2�1 %K��#�5�����(�����#��-0� 5����#$���)���$%� ��)%�#������)5%#��� (3 *#�b+�� �$���� ��� ���1 %(�

Page 18: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

����#(1�+��))��K ������#2&��%�-�)��/�+�������/�%�1�-!�2&���Q���)(1�)�� *#�% �� ���-��+���(�2&��%�����)��)��/�+2&��%� �� � �)���4� 5 �$%� +�� � ��0#(�������5���$���� �������� ��+��))��-���% � [55], �������.R �����)�� � !�#�+�2��j���-0���)+��))�� $%� -��-�3���(�����#���(1�+��))����Q�%�.!���-!�2�� % ����+�� �����-.�/�+&�53� )��) VMS 5�� VNS �+���������3�#+��))��

• fault-tolerance ��Q��!�3�R�)��'3��&�$�'(�������� ���� ���2��) $%� �� �3�%��)����1��� *)-�)��/�+�� ���� �(3����#���30#1�)�� VDCs 3���%-!�(1� link �+���-!�2��#�����-.�/�+��)*��5�� �����)2��$%� �� �3�% ��Q����)2&���Q��&�3���K���1 �-!�2�3� embeddings -!�-�$%� K�#+��#��))��-!� !�� ���$���� ���)�������� ���2��) [56] 3 ��R)��"���-!����� ����(�-��-�)�!"

• (�-!��0#��'3���)�����) VDC �)-&�(3����#$&��� (����3���� ��-!��3 ��������/�+�&�3��������) topologies VDC

• (�-!��0#K���1 ���)$���2��)���-!�2�����(1� VDCs ��� ������� ��2��/� �/�$3���!" -&�(3����#��'3���)�����) VDCs ��� *#� ����3��(�3������-!�+���)-!� !�����-.�/�+*#� ��)��!���$%� ��Q�����-���)5 ��K��(3�������*$�)����)+�"�,��2������Q���'3�-!�-��-� !K�)��� ��0#�1 � Polyvine [57] 3 ��R)$%� +�� -!����� ���&�3������5����'3��!"

• 5 �% ��������� ������� ��-!��&������#������� ���$���� �-!�5� �)����1 � topologies, Fat-Tree 5�� Clos, ��2�� 1�# �2��&�3���*-*+*�!-!� �3 ��-!��0#�&�3��������) VDC ��%� �)�1 � ���#������)��% �*$�)��������$%� �&���42(������) SecondNet �7���X�%�����)5�����(1����*1���$���� ��&�3��� BCube [15] ���% ����(1����*1���&�3���*-*+*�!5�� fat-tree #�)��"�����1���% � ����Q����)-!��&�$�'(����%��$���3�K����-���)�����) VDC ��!�%���������5����)�$���� ���� ��-�)��/�+-!����� topologies C. Programmability

*��5�� �$���� �2� !5�)2�)(2 �2��$%� �������-!�2��+�� $%� �#30 �5���%���� 2�����2&�5�����-&�)����)�$���� ��+����&��%$%� ��#%���� *#���5���&���)��*$��(3 5���������� *#���0�+!)*��5�� �$���� ��� ���

�&�3�#��Q�$%� �� ���(������!�(1��3����)�0$$�-!��� ���0���j��$���� � (�1 � �������) -�")(����$%�$0 ����� 5��������� �� *��5�� �$���� �-!��#����� �����4%r�!" (3�$%� ��(2(���� ���0(����%�2�� % ��� *#�b+��� �)��)5�%$�#��)�$���� �7�X5%��-!��&�3�#�%� (SDN) !%��0����)$��+���(3�) �(� API �&�3��������!�*��5�� �$���� ����$%�$0 ����� ���*1����)*��5�� �$���� �2���-$��$ virtualization � $&��R)�R)����-���+�2��j� (�1 � �$���� � ISP 3��� DC) �%� �)�1 � �����!��3��-!��&�3�#��)� ���*3�#�� ���� �+!)5 !K����-� �*3�#�� ������ �r��)�$���� � ( Isolation) 5 � ) � � �(3� ���#���30#1�)��(�+�"�K�%-�)��/�+7R�)��Q������)%�-!��&�$�' �&�3�������&�*��5�� �$���� � (�����-��)������� ���� ���2��), *��5�� �$���� �(3���Q���������X7 5��5�� %��&�3������5�-�)��/�+��) topologies 2�� virtual topologies 1 %(3�2��#�������2�#���5��+�S�� (��j�-!� ����#� �34�5��%���������)�������� 2&��%� ��-!��&��%2(� Paper�!"2������-$*�*�!�����!�*��5�� �$���� ��1 � Openflow � �)���4� (�����-��)������� ���� ���2��) multitenant, *��5�� �$���� �2��R"��� ���2&��%���)$%� -��-����%�2�:

• ��220���������� ����������������� �$���� ��+!) 5 1 %(3����$%�$0 2 1�"� 5�� 3 1�"�*��*$���!" !������-!����5�����(1�)����)1�"��#!%��� 2 1�"�5�� 3 1�"�*��*$�� (�1 � IPv4 5�� Ethernet) *#K���1 �-�")3 #(3� APIs ��)*��5�� �&�3��� virtualization (�-!�1�"�-!�5� �)�����)�$���� � stack 7R�)2��+�� $%� �#30 �� �) !���&�$�'������ ���$���� �����

• (��j�-!��-$*�*�!�$���� �*��5�� !���2�#���-!� !$%� �#30 ���)���(3��1 � 5��K��(3�������*$�)����)+�"�,��-!�+%�����)��|#*���� �&�3���K���1 �-!���Q������ �*$�)����)+�"�,��-�)-!�K�# ���(3�������*$�)����)+�"�,��2&���Q���)�&�3�#%�.!�+���(3������R)5��%�.!���$%�$0 ���R"�-!�2� ��3 �(3�K���1 ��+���(3�K���1 ��#������#��-!�� �+�(2��)$%� �#30 �(�5) ��)�����!�*��5�� ��)�0���j��$���� �-!� ���(2(�$%� ���#/�5��������8�$%� ���#/�(������ � % �����)K���1 �3��

K������2 !�$���� �-!�� �#� ��,�� API �&�3��������!�*��5�� -!���Q���� ��-.�� -��-����%�2�-!�� ���(2$����� -&�$%� ����(2K����-���)�������)�����$���� �������� ��2��

Page 19: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

�0���j�-!� �)1��#������6���#5%��-!�5� �)�����#�� APIs 5���&� heterogeneity !-�")���#!5�������! �����!-!��&�$�'$�� $ �(1�2 �������3���&�*#��������X7-!�5� �)��� (��j�-!����#!�4$�� !��)$0j� ���-!� ��Q� vendor-specific ��2��Q�-!���)���(���)�������j�

��220��� OpenFlow [58] 5��1�"� virtualization ��) FlowVisor [59] ��Q��-$*�*�!-!�#!-!��0#-!��&������ �)1�#�2��+���(3�����0�����!�*��5�� (��$���� ���� ������ OpenFlow ��Q� abstraction layer -!�1 %(3�K��(1��� ����&�3�#+����� ��)�%�-1��$���� �*#(1�$� *+����+���8-!���!�% ��%$%�$0 FlowVisor [59] $�� ���������2&���)�� ����$���� �-!�1 %(3�3���%$%�$0 (controller 3�R�)�1 � �) $%�$0 �%�1� OpenFlow � % ����#�� ��0#$%� +�� ��)���%�2� !���#&������������(1� OpenFlow (���� �������$���� � [39], [60], [61] ���2&���#��) OpenFlow � �)(#� �)3�R�)��Q�������!#$%� �� ��� (���220��� OpenFlow adopts !�������� 5�������% -!��%$%�$0 �#!%���K�#1��(����2�#���-�")3 #�%�1�-!��#���|#(1�)�� OpenFlow (��$���� � �")5 �$���� �������� �����#(3' *#-��%��-&�3���-!�������5�+��� ���� OpenFlow 7R�)��2��Q���'3�$��%#��)�����-.�/�+���-&�)���#� *#�b+��� �)��) DevoFlow [61] -!�$%�$0 �b+�� ���% �� %� ���)���5� 5�� [39] HyperFlow (1����2��%$%�$0 -!� ! 0 �)�1�)����5��$��%)2� (�-&���)�#!%��� scalability ��) FlowVisor �4�)��Q������)-!���)�%2��� ���(3�2&��%� ����)K���1 �-!���!�%���)�������� (�������� ���� ���2��) -�)-!���Q����#��&�3������������0) scalability FlowVisor $�� ����&�3�#2&��%�-!��3 ��� 5��&�53� )��)����5�7� FlowVisor (�*��5�� �$���� �������� �� *#(�-!��0#5+�X��� *��5�� ���� r (�1 � �$���� �-!�(1�)���%5-� ����� 5���$��� MIB) �4��2�#����������� ��(�����-��)�$���� ���� ���� ���2��)

D. Network performance guarantees

��� �����$��(�-0�%���!"2���������Q�2&��%� �� ���)*��5�� ���0��-!� !$%� ��)���#��������-.�/�+-!�3���3�� �%� �)�1 � K��(1�3�� �(1�)���1 ��%4��7���X�%��� 5���%��2��)*��5�� (�1 � �� ��� ), ��2���)5�)�����������&�(��j�(1�)����� ��2&��%� �� �1 �)�� MapReduce ���������� throughput �$���� ���) (�����-�!" ��Q���'3�-!�-��-�������5���$���� �������� ��-!��#30 � �)�#30 ��&�3������������0�%��0����)$�

�����-.�/�+�$���� �-!�3���3�� ��� �� virtualization �����$���� �-!� !$%� �� ���(�������1��$%� -��-��3� ��!"*#���3���$���� �������� �������� �$���� �����3���%-!��� ���2�#��! �#�� �)������+���(3�����0%��0����)$�-!���)��������-.�/�+���-&�)�� ��%� �)�1 � �������� -!��&�������Q�2&��%� �� �1 �SecondNet 5�� Oktopus ����-!��#��&�����(����2�#���5��#�%�#.����������(3����5 ��������� ���� ���

5 ���(3����������������5��#�%�.-!���� )%#2��&����� ���(1����*1��-!��&����K�� �1 �� (1����*1��� �)�4 -!�5��#�%�#.����2�#�������r, 2� !�"&�3���-!�0�.�� 7R�)�� ���� % ���5����'3� �1 � Seawall 5�� !$%� �� ���(����(1�-��+�����) 5 +%����� �#�(3�������������-��+���5 ��������� ���� ��� !$%� ��#5�)��3% �)����+�� ���(1� �$���� � 5�����(3������������������-.�/�+��)�$���� ���Q� ������5��*$�)���2�#���5��#�%�#.�-!�#!��)���5����3% �)-�")��)%��0����)$�-!��&�$�'(���'3����%�2� $�� 5����� ���/�+�� ���2��) � �)�� -&�)��-!� !�� ���$���� �5���� ������������� ���#���� ��Q�3�������2�#���5��#�%�#-��&�3�����%����$�#���j� throughputs ��'3�$%� � �1��(����(3���������)�)$)��Q���'3���|#��Q� ��� �+!) 5 ��)2�#���5��#�%�#5� 5 �) !�������$%�$0 �������-!� !�����-.�/�+ �%� �)�1 � S3 [62] ��Q�����$%�$0 ���5�-!� 0 )3%�)-!�2�� ���5��&�3�#�%�� 3�R�)(�$%� -��-�*#�b+��� �)��)(��/�+5%#��� ��)������� ��$�� TCP incast 0���'3� [63], -!� �+��� �����)5+$��42��-0�3 0��%!������"�2&��%� ���� ����������#��X�X���(��$���� ��%�1� ��Q�K�(����3� %)�%����)�$���� ��&�$�'�+�� �R"� ����1���% � ���5����'3�(# r -!� !���3� %)�%�� guarantees (��$���� �������� ����) !$%� �� �����)���2�#��� TCP incast 0� ����1���% ���'3�(3����3� %)�%�����������(��/�+5%#��� multi-tenant �#��)��)����%��+�� �� E. Data center management

(������������ �� virtualized K��(3�������*$�)����)+�"�,��-!� !3���-!�(����2�#���-��+���-�)��/�+��)������� ��(��j�-!�K��(3�������2�#����� ���-��+��� (�1 �$� +�%���� ��4���� �� �$��� � � I/O) ���� %����)������� ���� �����)� ���#!-!��&�$�'��)������� ��-!� virtualized $�� -��+���-�)��/�+2����2�#��� *#K��(3�������*$�)����)+�"�,���#!% �!"2�1 %(3�K��(3�������

Page 20: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

*$�)����)+�"�,��-!�2� ! 0 �)5���4 ��)����2R)�&��%$%� ��#%�(����2�#���-��+���-!� !�����-.�/�+5�����2�#�����)$%� �� �3�% � �)���4� �)$) !$%� -��-�3��� �)-!���) addressed (�������� ���� ���2��) �#�5� :

• ����%2�����Q�)��-!�-��-������)2��2&��%����#(3' ��)-��+���(�������� �����K�� %�.!�%2���2��� %����)�#����2�����������5��$%� �#30 �-!��&� ����%2����3��j� [64] 5�� gossipping [65] !20# 0 )3 �-!�2����1����� 2&���# �3� ��!"*#�����|#(1�*7��1�������%2���������2�5�� !�����-.�/�+�&�3����/�+5%#��� ���#(3' ��'3��&�$�'$����� �#$ ���K����-���)���2�#���2��2��������-.�/�+��)�$���� � (��%���#!%���, ���3�-�)���-!��������#�#��&�3�������% ��� ������%2���-!���!�%���)*#� -&���$%� 5 �&���Q�$%� -��-�-!�2���)2�#���*#����%2����$����) ��-!����5�� ��&�3���������� �� �0#-��(3� 0 �)-!��&�3�#��)5��5��&�3���K��(3���������)5 ���0$$�5������&�3�#� % �����3% �)��������%2�����)K��(3�������*$�)����)+�"�,��5��K��(3��������)��)�&��%2 ���

• ���2�#���+��))��� �) !�����-.�/�+��Q����)�&�$�'�&�3�������#��-0����#&�����)����)������� �� 3�R�)(�$%� -��-�3���-!� ! ����(1�+��))��-!�#!-!��0#$��������5����#� %�+��))���������� ������� �����(1�+��))��-!�2�����&�3�#*#���(1��7���X�%���5���$���� � [55], [66] ElasticTree [55], �%� �) $%� +�� �+���(3��#�+��))��� %� *#���2 ��X(3�����|#�%�1�5������1��� *)5���#�� �� (�5) �!"��� �� virtualization �����$���� ��)�� ����&����� ����#���(1�+��))��5 �% �����% �$���� � (�1 �K ��������$���� ��� ���2��) [67]) � �)���4� ����#��� �j���(1�+��))���� ��� �(���$��#�����-.�/�+ VDC #�)��"� 2R) ���5����#� %�+��))����� �������������� factoring (��$���� ��� ���5��3�� #0�-!�#!��3% �)���(1�+��))��5�������-.�/�+���-&�)�� VDC $&��� ���%�2�-!�� ���(2

• ����%2���5�����2�#�����)$%� �� �3�%��Q�$%� ��)�����"�+�"�,��(#r ��)�������� ������� ���+���$%� �� �3�%��)-��+���-�)��/�+-!���22� !K� �3��K��(3������� �������� -!� !�� � %�(3' +R�)�� �3�% reactive handing %�.! ���

��!���!�3�����)+%����$����������)�%�������27R�)�� ���� )K����-�(��1�)�������-.�/�+��)*��5�� 2���Q����#!-!����2�#��������+� �)$%�(1�(����8j��1�)�0� 7R�)�������-&���������#��)$%� �� �3�% 5�����-&�� ��-!�2����#�R"� (�-�)���������2�#���$%� K�#�1�)�0�2� ��2� ���(2*#%�.!�����)$%� 7"&�7����1 ����2�#��! ����-�)�&��� 5��(3�$%� � ��1��������)*#� ��)��!$ �(1�2 � ����������Q���'3�-!�� ���(2�&�3�������&��%2(����$ F. Security

������8�$%� ���#/��#��������#4�-!��&�$�'��)�������� �$���� �(#r ��'3�$��-!� �(�����-��)������� ���� ���2��)�����)2������� +��.�-!�7��7�����3% �)K���1 �5��K��(3�������*$�)����)+�"�,��5��(�3 � K���1 ���) 5 �% � virtualization ��)�7���X�%���5���$���� �������� ���� ������8�$%� ���#/�-!� !$%� -��-� �1 � ���2&���#������%�3���)��� �����#&��)�� ��)1 �)#������)5�����*2 !7R�)���%������-.�/�+��)�-$*�*�! virtualization (�-0�%���!"7R�)�)$)3 �)���-!�2��������* *#�b+��� �)��)1 �)*3% �)r(��-$*�*�! virtualization �7���X�%����1 � VMware [68], Xen [69] 5�� PC Microsoft �� ���5���7���X�%����� ��� [70] �#���������|#�K 7R�) 1 �)*3% -!�$������ !5�%*�� -!�2����#�R"�(��)$���������)�$���� �*��5�� �1 ���� #�)��"�� �+!) 5 -&��-$��$ virtualization �$���� �����a�)���� (3�������������2�����*2 !5��/�$0�$� -!� !�� ����$���� �-�)��/�+5���� ��� 5 � )�& � ���� � ��1 �) *3% #� ��$%� ���#/�(3 �%� �)�1 � *2 ! VM ��2�&����� ���*2 ! hypervisor VM *6���7���X�%�����/�+ Vm ���� r � �*2 !*6�� ���7���X�%�����"� 5��(�-!� �0# �$���� ��� ���-�")3 #-!�(1�� % ���-!��7���X�%��� [71] ���2��1 �)*3% $%� ���#/�-!���!�%���)����������-��-$*�*�! virtualization !$%� 2&���Q�-!�2�(3�*$�)����)+�"�,������%2���5������%2���$���+����%2�����2��� -!���Q������2��K���1 �5��K��(3�������*$�)����)+�"�,�� ��2���!�% � ������� ���$���� �5��+����8j�-!�5� �)�% ����2��2�(��$���� ���)��� ��#�")�#� [72] #�)��"�����-!��3 ��� ��22���)�%2���$%� K�#�����)�$���� �(��$���� ���� ���� ���2��) auditability (�������� ���� ���2��)$%�2�� % �����3% �)K���1 �5��K��(3�������*$�)����)+�"�,��(�����a�)���+����� -!���Q������2��-�")��)��� � �)���4� ��2� !$ �(1�2 �-!���!�%���)������*$�)����)

Page 21: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

+�"�,��#�)�� �%*#�b+��� �)��)(�������� �����#(3' (� [73] K����!�5�#)(3��34�% � ����Q�$%� -��-�(�����%2����������%4�(��/�+5%#��� $� +�%����� �*#� ��)-%!$%� �0�5�)�R"������-.�/�+��)*��5�� ���$�#% ���'3�-!�2���%����)���!�� ����������2��� ��)�$���� �(� VDC �)$) !)��-!�2���)-&�(�������5������-!��������#�#�5�� !�����-.�/�+�&�3�������%2���5������%2���������� ���� ���2��) �0#-�� (������������ �� multi-tenant K���1 �������2����)$�$%� ���#/�(���#�� �)r 5���&��+�� �� $%� 7��7�����)���2�#����*��5������������8�$%� ���#/�-!�5� �)��� ���2���!"����� � % ���5����� !����� +��.���)�������8�$%� ���#/�3��$�#% �(�������� �� multitenant ��Q���'3�-!��)� �#�������5���� �%� �)�1 �$%� ��#5�)��3% �)�X��%����5������0��0������%22������*����)K��(3�������*$�)����)+�"�,��5��K��(3�������2���) !����%2+�5��5�����#� [74] G. Pricing

����&�3�#��$� $����'3��&�$�'(�3���/�+5%#��� ��)������� ��� �+!)5 �+��� !K�*#�) ����#���)K��(3�������*$�)����)+�"�,�� 5 �)�+��� ��(3�5�)2�)(2�&�3���K���1 �-!�2����+��(�-�)-!��&����� K���+.�-!���)����1 ����(1�-��+�����)�0#5�� �����-.�/�+��)*��5�� [1].*#-��%��+�#*$�)�����$�������5��-!�#!$%�2���Q�-�")��)� �)��Q�.�� 5�� !�����-.�/�+ $%� ��Q�.�� 3 �$%� % �#!�3 ������-!�$%�2���(���$�-!��3 ������ �����-.�/�+��$���)#!2��&����� K���+.�-!� !�����-.�/�+ (�1 ����2��$� �0�-��5���0��)$�). -0�%���!"���(3�������*$�)����)+�"�,����''�% �2�(3�-��+���-!�2��1 �(����8j�$%� ��)���5��K���1 ���!���4�����5��%�#.��&�3��� VM 5��(1�)���$���� �. 5 �2� !����&�3�#5K�-!�) � 5 �)$)-0���-� ��2�������+� �) 2��$ ���) VMS 5���$���� ��&�3���K���1 ��#!%�� ���+R�)+�����7R�)���5����� �%� �)�1 ������-.�/�+��)�$���� ���2��� ����#�%�����-&�)����))��-!�K���1 �-&�(3���-0�(����(1�)���+�� �R"� VM [75]. virtualization ������� ���$���� ��� ���5������'3��!"*#2�#���5��#�%�#.��+�������������&�3���5 �� VM [16] �&�3���������� ���� ����������1��� �-!�#!-!��0#$%� �� ���, �������� ��0#��)����&�3�#��$�-��+���-!�*##�# � (DRP) [75] #��3 ���2���Q�-�)���-!� !5�%*�� -!�2��&�2�#���+R�)+���3% �) VM 5��(1�)���$���� �

�����!���!�-!���) (���220������ ������&�3�#��$�*$�)�������-!�+%����� (3����)2�)(2�&�3���K���1 ��+���(3�����0K�� -!���)���.*#�b+��� �)��)+%����� �#� (1) ���0�����7�"���)-��+���� ��� !$%� ��)����� (���#���&�5�� (2) ���������� $%� ��)��� �������� ((��j�-!�(3�$%� �&�$�'������(1�)��-!��&�$�') � ��� !$%� ��)����� (���#����).%�.!���5����'3�-!� !5�%*�� -!�2�5������'3��!"$�����(1����5������&�3�#��$�(���#-!�����$�����#�%-��+���-!���$��R"�5���#�)� �0��)$�5���0�-�� (� 0 �)�!"���(3������� Amazon EC2 �1 �20#5�#)�R)$%� +�� �1�)+�j�1�$��")5��� �)�4 -!� ���#-!�����$�����#�%����&�3�#��$�*$�)���. ������ Amazon EC2 �1 �20#5�#)�R)$%� +�� �1�)+�j�1�$��")5��� �)�4 -!� ���#-!�����$�����#�%����&�3�#��$�*$�)���.�-$��$-!�$���������2���!"�)�� ����&� �(1��&�3����$���� ���� ���� ���2��)����-!���$�-��+����&�3���1�"���!�������-!�5� �)��� (���������5��#�%�. �1 � besteffort) 5� �)���� $%� ��)���-��+���� �)���4 � ������5�������#-!�����$�����#�%*$�)���2�#���-��+���-!�2�#���-��+���3��1��# (�1 � VM 5�� bandwidth) -!� !���$"&�������$0j/�+���(3�������-!�5� �)����)$)��Q���'3�-!�-��-� (��j�-!�����/�����+���(3�3 �)����#������� 0 )������-!�����&�3�#��$�-��+���/�(�������� ����j!����&�3�#��$�-��+���� ����������� ���)��Q�$%� -��-�� �)3�R�) .*#�b+��� �)��)� ���K���1 � !$%� ����)$�2�����(1�������� ���� ������ ������� ��3�� r !$%� 2&���Q���)+�S������� �+!) 5 2�1 %(3�K���1 ��#���(2-!��3 ��� ��)�����) VDCs K ���$���� �3�� 5 �)�+���(3�K��(3�������-�")K�� �1 �5��*$�)����)+�"�,���+�������2�2� ���) $0j/�+���(3�������5�����5������&�3�#��$�.-!� !�� -&�)���1 � V-Mart [76] 3 ��R)$%� +�� $��")5��(�-��-�)�!".

6.4GO&

������� ���#������Q�*$�)����)+�"�,��-!� !�����-.�/�+�&�3������2�#��4���� ��5��+�"�-!����(1�)���$���� ����#(3' . � �)���4� ��� ��5��#�")�#� ��)�������� �$���� ������ �3 ���&�3������$K���1 �3���/�+������� ��. virtualization ��Q��-$*�*�!-!� !5�%*�� (�������5��������� ���������#�#�

Page 22: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

5�� deployable �#�� �)) �#�-!� !$%� �#30 ������)$%� ��)�����)���(1�)����)K���1 �(��j�-!��#$ �(1�2 �#���*$�)����)+�"�,�����2�#���������0)$%� �#30 �5���#���(1�+��))�� (��-$%� �!"����&��%2�����(�������� ��%�2��$���� ��� ���2��).����#�+�#�R)5K����-!��&�����2�� 0 �)-!�5� �)������%�2�����5�%*�� �#����#�) ����!"� ��� !������5���������� �3� ��!".���2���!"����) !������0��)� %���)-��-�)���%�2�-!��&�$�'(���� �� virtualization �����$���� �5��%�.!���-!� !���/�+. 5 �% ��������(���220���������0) scalability (3������&�3���� #0�/������$"&�������(3�5��#�%�#.� !��'3�-!�-��-�5��-!��)� �#��&��%2$%� �&�$�' . ������5���$���� �� ���--!�-��� �(3���������������-.�/�+-!���� )%#���j�5��2&���)-�).0���25������&�3�#��$�-!� !�����-.�/�+������8�$%� ���#/��+���(3� ���(25�� !*��5�� -!�������0���� ��*$�)����)+�"�,��3��b��5��3���/� 3��������#&���������")�&���)� -!� !$%� �#30 �5������1��� ����2�#�����3% �)K���1 �5��K��(3�������5�����+�S���$����) ��-!� !�����-.�/�+ ���2�#������ ��-!� virtualized ����2�5���&�-!��&�$�'�&�3������%�2�(����$

%2,4�G21�:2�:

[1] Amazon Elastic Compute Cloud (Amazon EC2). http://aws.amazon.com/ec2/. [2] D. Carr, �How Google Works,� July 2006. [3] J. Dean and S. Ghemawat, �MapReduce: Simplified Data Processing on Large Clusters,� in Proc. USENIX OSDI, December 2004. [4] WMware. http://www.vmware.com. [5] Xen. http://xen.org. [6] A. Shieh, S. Kandulaz, A. Greenberg, C. Kim, and B. Saha, �Sharing the Data Center Network,� in Proc. USENIX NSDI, March 2011. [7] T. Benson, A. Akella, A. Shaikh, and S. Sahu, �CloudNaaS: A Cloud Networking Platform for Enterprise Applications,� in Proc. ACMSOCC, June 2011. [8] M. Chowdhury and R. Boutaba, �A Survey of Network Virtualization,� Computer Networks, vol. 54, no. 5, pp. 862�876, 2010.

[9] �Data Center: Load Balancing Data Center Services SRND,� 2004. [10] W. Dally and B. Towles, Principles and Practices of Interconnection Networks. Morgan Kaufmann Publishers Inc., 2004. [11] C. Leiserson, �Fat-Trees: Universal Networks for Hardware-Efficient Supercomputing,� IEEE Trans. Comput., vol. 34, no. 10, pp. 892�901, 1985. [12] M. Al-Fares, A. Loukissas, and A. Vahdat, �A Scalable, Commodity Data Center Network Architecture,� in Proc. ACM SIGCOMM, August 2008. [13] C. Guo, G. Lu, D. Li, H. Wu, X. Zhang, Y. Shi, C. Tian, Y. Zhang, and S. Lu, �BCube: A High Performance, Server- centric Network Architecture for Modular Data Centers,� in Proc. ACM SIGCOMM,August 2009. [14] L. Popa, S. Ratnasamy, G. Iannaccone, A. Krishnamurthy, and I. Stoica, �A Cost Comparison of Datacenter Network Architectures,� in Proc. ACM CoNext, November 2010. [15] C. Guo, G. Lu, H. Wang, S. Yang, C. Kong, P. Sun, W. Wu, and Y. Zhang, �SecondNet: A Data Center Network Virtualization Architec-ture with Bandwidth Guarantees,� in Proc. ACM CoNEXT, December 2010. [16] H. Ballani, P. Costa, T. Karagiannis, and A. Rowstron, �Towards Predictable Datacenter Networks,� in Proc. ACM SIGCOMM, August 2011. [17] N. Spring, R. Mahajan, D. Wetherall, and T. Anderson, �Measuring ISP Topologies with Rocketfuel,� IEEE/ACM Trans. Netw., vol. 12, no. 1, pp. 2�16, 2004. [18] Q. Zhang, M. F. Zhani, Q. Zhu, S. Zhang, R. Boutaba, and J. Hellerstein, �Dynamic Energy-Aware Capacity Provisioning for Cloud Computing Environments,� in Proc. IEEE/ACM International Conference on Auto-nomic Computing (ICAC), September 2012. [19] �IEEE Standard for Local and Metropolitan Area Networks � Virtual Bridged Local Area Networks,� IEEE Std 802.1Q-2005, May 2006.

Page 23: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

[20] J. Mudigonda, P. Yalagandula, M. Al-Fares, and J. Mogul, �SPAIN:COTS Data-Center Ethernet for Multipathing over Arbitrary Topologies,� in Proc. ACM USENIX NSDI, April 2010. [21] A. Edwards, F. A, and A. Lain, �Diverter: A New Approach to Networking Within Virtualized Infrastructures,� in Proc. ACM WREN, August 2009. [22] J. Mudigonda, P. Yalagandula, B. Stiekes, and Y. Pouffary, �NetLord: A Scalable Multi-Tenant Network Architecture for Virtualized Datacen-ters,� in Proc. ACM SIGCOMM, August 2011. [23] F. Hao, T. Lakshman, S. Mukherjee, and H. Song, �Enhancing Dynamic Cloud-based Services using Network Virtualization,� in Proc. ACM VISA, August 2009. [24] A. Greenberg, J. Hamilton, N. Jain, S. Kandula, C. Kim, P. Lahiri, D. Maltz, P. Patel, and S. Sengupta, �VL2: A Scalable and Flexible Data Center Network,� in Proc. ACM SIGCOMM, August 2009. [25] R. Mysore, A. Pamboris, N. Farrington, N. Huang, P. Miri, S. Rad-hakrishnan, V. Subramanya, and A. Vahdat, �PortLand: A Scalable Fault-Tolerant Layer 2 Data Center Network Fabric,� in Proc. ACM SIGCOMM, August 2009. [26] H. Rodrigues, J. R. Santos, Y. Turner, P. Soares, and D. Guedes, �Gate-keeper: Supporting Bandwidth Guarantees for Multi-tenant Datacenter Networks,� in Proc. WIOV, June 2011. [27] T. Lam, S. Radhakrishnan, A. Vahdat, and G. Varghese, �NetShare: Virtualizing Data Center Networks across Services,� Technical Report CS2010-0957, May 2010. [28] F. Hao, T. Lakshman, S. Mukherjee, and H. Song, �Secure Cloud Computing with a Virtualized Network Infrastructure,� in Proc.USENIX HotCloud, June 2010. [29] C. Hopps, �Analysis of an Equal-Cost Multi-Path Algorithm,� IETF RFC 2992, November 2000. [30] R. Zhang-Shen and N. McKeown, �Designing a Predictable Internet Backbone Network,� in Proc. ACM HotNets, November 2004.

[31] , �Designing a Predictable Internet Backbone with Valiant Load-Balancing,� in Proc. IWQoS, June 2005. [32] N. Leavitt, �Is Cloud Computing Really Ready for Prime Time?� Computer, vol. 42, no. 1, pp. 15�20, January 2009. [34] E. Rosen and Y. Rekhter, �BGP/MPLS IP Virtual Private Networks (VPNs),� IETF RFC 4364, February 2006. [35] R. Perlman, �An Algorithm for Distributed Computation of a Spanning Tree in an Extended LAN,� ACM Computer Communication Review, vol. 15, no. 4, pp. 44�53, September 1985. [36] E. Rosen, A. Viswanathan, and R. Callon, �Multiprotocol Label Switch-ing Architecture,� IETF RFC 3031, January 2001. [37] M. Shreedhar and G. Varghese, �Efficient Fair Queuing Using Deficit Round-Robin,� IEEE/ACM Trans. Netw., vol. 4, no. 3, pp. 375�385, 1996. [38] �IEEE Std 802.1D-2004, IEEE Standard for Local and Metropolitan Area Networks, Media Access Control (MAC) Bridges.� 2004. [39] A. Tootoonchian and Y. Ganjalir, �HyperFlow: a Distributed Control Plane for OpenFlow,� in Proc. NSDI INM/WREN, April 2010. [40] ́ I. Goiri, K. Le, J. Guitart, J. Torres, and R. Bianchini, �Intelligent Placement of Datacenters for Internet Services,� in Proc. IEEE ICDCS, June 2011. [41] B. Ahlgren, P. Aranda, P. Chemouil, S. Oueslati, L. Correia, H. Karl, M. S¨ollner, and A. Welin, �Content, Connectivity, and Cloud: Ingre-dients for the Network of the Future,� IEEE Commun. Mag., vol. 49, no. 7, pp. 62� 70, July 2011. [42] S. Islam and J.-C. Gregoire, �Network Edge Intelligence for the Emerg-ing Next-Generation Internet,� Future Internet, vol. 2, no. 4, pp. 603� 623, December 2010. [43] k. Church, A. Greenberg, and J. Hamilton, �On Delivering Embarrass-ingly Distributed Cloud Services,� in Proc.ACMHotNets, October 2008.

Page 24: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

[44] V. Valancius, N. Laoutaris, C. Diot, P. Rodriguez, and L. Massouli´e, �Greening the Internet with Nano Data Centers,� in Proc. ACM CoNEXT, December 2009. [45] M. B. Mobley, T. Stuart, and Y. Andrew, �Next- Generation Managed Services: A Window of Opportunity for Service Providers,� CISCO Technical Report, 2009. [46] D. Oppenheimer, B. Chun, D. Patterson, A. Snoeren, and A. Vahdat, �Service Placement in a Shared Wide-Area Platform,� in Proc. USENIXn ATEC, June 2006. [47] L. Qiu, V. Padmanabhan, and G. Voelker, �On the Placement of Web Server Replicas,� in Proc. IEEE INFOCOM, April 2001. [48] M. Yu, Y. Yi, J. Rexford, and M. Chiang, �Rethinking Virtual Network Embedding: Substrate Support for Path Splitting and Migration,� ACM Computer Communication Review, vol. 38, no. 2, pp. 17�29, April 2008. [49] M. Chowdhury, M. Rahman, and R. Boutaba, �Virtual Network Embed-ding with Coordinated Node and Link Mapping,� in Proc. INFOCOM, April 2009. [50] M. R. Rahman, I. Aib, and R. Boutaba, �Survivable Virtual Network Embedding,� in Proc. IFIP Networking, May 2010. [51] N. F. Butt, N. M. M. K. Chowdhury, and R. Boutaba, �Topology-Awareness and Reoptimization Mechanism for Virtual Network Em-bedding,� in Proc. IFIP Networking, May 2010. [52] Energy Efficiency and Sustainability of Data Centers. http://www.sigmetrics.org/sigmetrics2011/greenmetrics/ Carey GreenMetricsKeynote060711.pdf. [53] Energy Logic: Reducing Data Center Energy Consumption by Creating Savings that Cascade Across Systems. [54] A. Greenberg, J. Hamilton, D. Maltz, and P. Patel, �The Cost of a Cloud: Research Problems in Data Center Networks,� ACM Computer Communication Review, vol. 39, no. 1, pp. 68�73, 2009.

[55] B. Heller, S. Seetharaman, P. Mahadevan, Y. Yiakoumis, P. Sharma, S. Banerjee, and N. McKeown, �ElasticTree: Saving Energy in Data Center Networks,� in Proc. USENIX NSDI, April 2010. [56] M. Rahman, I. Aib, and R. Boutaba, �Survivable Virtual Network Embedding,� NETWORKING 2010, pp. 40�52, 2010. [57] M. Chowdhury and R. Boutaba, �PolyViNE,� in Proc. ACM VISA, August 2010. [58] N. McKeown, T. Anderson, H. Balakrishnan, G. Parulkar, L. Peterson, J. Rexford, S. Shenker, and J. Turner, �OpenFlow: Enabling Innovation in Campus Networks,� ACM Computer Communication Review, vol. 38, no. 2, pp. 69�74, April 2008. [59] R. Sherwood, G. Gibb, K.-K. Yap, G. Appenzeller, M. Casado, N. McK-eown, and G. Parulkar, �Can the Production Network Be the Test-bed?� in Proc. USENIX OSDI, October 2010. [60] A. Tavakoli, M. Casado, T. Koponen, and S. Shenker, �Applying NOX to the Datacenter,� in Proc. ACM HotNets, August 2009. [61] A. Curtis, J. Mogul, J. Tourrilhes, P. Yalagandula, P. Sharma, and S. Banerjeer, �DevoFlow: Scaling Flow Management for High-Performance Network,� in Proc. ACM SIGCOMM, August 2011. [62] C. Wilson, H. Ballani, T. Karagiannis, and A. Rowstron, �Better never than Late: Meeting Deadlines in Datacenter Networks,� in Proc. ACM SIGCOMM, August 2011. [63] H. Wu, Z. Feng, C. Guo, and Y. Zhang, �ICTCP: Incast Congestion Control for TCP,� in Proc. ACM CoNEXT, November 2010. [64] K. Xu and F. Wang, �Cooperative Monitoring for Internet Data Centers,� in Proc. IEEE IPCCC, December 2008. [65] F. Wuhib, M. Dam, R. Stadler, and A. Clemm, �Robust Monitoring of Network-wide Aggregates through Gossiping,� IEEE Trans. Network Service Management, vol. 6, no. 2, pp. 95�109, 2009.

Page 25: A Survey Of Data Center Network Virtualization · 2016-05-10 · DC Data Center VM Virtual Machine VN Virtual Network VDC Virtual Data Center VLAN Virtual Local Area Network ToR Top-of-Rack

[66] H.Yuan,C.C.J.Kuo,andI.Ahmad,�EnergyEfficiency in Data Centers and Cloud-based Multimedia Services: An Overview and Future Directions,� in Proc. IGCC, August 2010. [67] Y. Wang, E. Keller, B. Biskeborn, J. van der Merwe, and J. Rex-ford, �Virtual Routers on the Move: Live Router Migration as a Network-Management Primitive,� ACM Computer Communication Re-view, vol. 38, pp. 231�242, August 2008. [68] VMWare vulnerability. http://securitytracker.com/alerts/2008/Feb/1019493.html. [69] Xen vulnerability. http://secunia.com/advisories/26986. [70] Virtual PC vulnerability. http://technet.microsoft.com/en- us/security/bulletin/MS07-049. [71] J. Szefer, E. Keller, R. Lee, and J. Rexford, �Eliminating the Hypervisor Attack Surface for a More Secure Cloud,� in Proc. ACM CSS, October 2011. [72] T. Benson, A. Anand, A. Akella, and M. Zhang, �Understanding Data Center Traffic Characteristics,� ACM SIGCOMM Computer Communi-cation Review, vol. 40, no. 1, pp. 92�99, 2010. [73] A. Chukavkin and G. Peterson, �Logging in the Age of Web Services,� IEEE Security and Privacy, vol. 7, no. 3, pp. 82�85, June 2009. [74] E. Al-Shaer, H. Hamed, R. Boutaba, and M. Hasan, �Confict Classifi-cation and Analysis of Distributed Firewall Policies,� IEEEJ. Sel. Areas Commun., vol. 23, no. 10, pp. 2069�2084, 2005. [75] H. Ballani, P. Costa, T. Karagiannis, and A. Rowstron, �The Price Is Right: Towards Location-Independent Costs in Datacenters,� 2011. [76] F.-E. Zaheer, J. Xiao, and R. Boutaba, �Multi-Provider Service Nego-tiation and Contracting in Network Virtualization,� in Proc. IEEE/IFIP NOMS, April 2010.