Cisco DFA - развитие архитектуры сети современного ЦОД....

Cisco DFA – развитие архитектуры современного ЦОД Возможности и принципы функционирования

Хаванкин Максим системный архитектор, CCIE [email protected] 20 марта 2014 г.

© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Public

Содержание

  DFA требования и основные строительные блоки

  Управление фабрикой

  Автоматизация

  Оптимизация управления передачей данных

  Виртуальные фабрики

  Требуемое аппаратное и программное обеспечение

2


Ручные процессы

Статическое выделение ресурсов

Разобщенность специалистов

Несовершенные программные оверлеи

Взрывной рост

ОПЕРАЦИОННАЯ СЛОЖНОСТЬ

АРХИТЕКТУРНАЯ ЖЕСТКОСТЬ

ИНФРАСТРУКТУРНАЯ НЕЭФФЕКТИВНОСТЬ

Вызовы ПРИВОДЯТ

к…

Проблемы современных ЦОД


Ручные процессы

Разобщенность специалистов

Несовершенные программные оверлеи

Взрывной рост

Статическое выделение ресурсов

Эволюционный подход

Оптимизация

Автоматизация

Упрощение

Проблемы современных ЦОД


Лидерство в масштаби-руемости

Open Networking

FabricPath 10/40/100 GbE Support

Управление облаком

Cisco IAC Cisco Prime Network Services Controller

Cisco ONE

Конвергенция

Фабрика, с поддержкой виртуали-зации

Nexus 1000V vPath VXLAN OTV LISP

Вычислит. фабрика

Cisco UCS FEX Cisco UCS Director (Cloupia)

FCoE Unified Ports Multi-Protocol

Фабрика: •  Упрощение •  Оптимизация •  Автоматизация

Cisco Dynamic Fabric Automation (DFA)

Унифицированная фабрика Cisco

Лидерство посредством инноваций


Управление фабрикой

Оптимизация передачи данных

Виртуальные фабрики Автоматизация Управление фабрикой

Автоматизация Виртуальные фабрики Оптимизация передачи данных

6

Архитектура Dynamic Fabric Automation Основные компоненты

Простой модульный набор функций упрощающий развертывание


АВТОМАТИЗАЦИЯ РАЗВЕРТЫВАНИЕ СЕТИ “С НУЛЯ”

ПРОСТОТА ЕДИНАЯ ТОЧКА УПРАВЛЕНИЯ

ХОСТ, СЕТЬ И TENANT РАСПОЗНАВАНИЕ ФАБРИКОЙ

Cisco Prime Data Center Network Manager (DCNM)

MAN/WAN

Архитектура DFA Управление


ОТКРЫТАЯ ИНТЕГРАЦИЯ ОКРЕКСТРАЦИИ

АВТОМАТИЗАЦИЯ МАСШТАБНЫЕ РАЗВЕРТЫВАНИЯ

ЛЮБАЯ НАГРУЗКА В ЛЮБОМ МЕСТЕ, В ЛЮБОЕ ВРЕМЯ

REST API’s

Cisco Prime Data Center Network

Manager (DCNM)

MAN/WAN

Cisco Prime Network Services Controller (NSC)

UCS Director

Архитектура DFA Автоматизация


Улучшенная передача данных

Enhanced Forwarding

Distributed Control Plane

Интеграция физического и виртуального

мира

ЛЮБАЯ СЕТЬ ГДЕ УГОДНО

ОТКАЗОУСТОЙЧИВОСТЬ МАЛЫЙ РАЗМЕР ДОМЕНА СБОЯ

СОГЛАСОВАННОСТЬ КОНФИГУРАЦИЯ НА БАЗЕ ПРОФИЛЕЙ

MAN/WAN

Архитектура DFA Оптимизация передачи данных


МАСШТАБИРУЕМОСТЬ БЕЗОПАСНЫЕ ВИРТУАЛЬНЫЕ ФАБРИКИ

ЛЮБАЯ НАГРУЗКА ЛЮБАЯ ВИРТУАЛЬНАЯ ФАБРИКА

МАСШАТИРУЕМОСТЬ +10K TENANTS/NETWORKS

Продажи Производство

Финансы HR

Архитектура DFA Виртуальные фабрики





 DCNM – простое централизованное управление

 POAP

 Cable Management

 XMPP

 Возможности распознавания




  Требуемое аппаратное и программное обеспечение 11


Управление фабрикой при помощи DCNM Основные компоненты

 Централизованное управление DFA - Centralized Point of Management (CPOM) –  DCNM Fuji Release (7.0) –  DHCP-Server –  TFTP –  XMPP –  LDAP –  Message Broker

  Вирт. машина для vSphere

  Все функции собраны и пред-настроены в одном OVA контейнере!


Управление фабрикой при помощи DCNM

Детальная информация доступна при наведении мышью на элемент фабрики

DFA Dashboard – отображает топологию Leaf/Spine включая статус устройств и каналов связи между ними

При выборе элемента фабрики отображаются все каналы, которыми он подключен

Поиск коммутатора или сервера (виртуального* или физического)

Выбор виртуальной фабрики для управления

*требуется VDP


Управление фабрикой при помощи DCNM Поддержка фабрик больших размеров


Управление фабрикой при помощи DCNM Подключение к сетевым сегментам

  Сегмент доступа к DCNM обеспечивает доступ пользователей к Web-интерфейсу DCNM (CPOM) или работу толстого-клиента DCNM –  Требуется настроить:

  IP адрес   Маску   Шлюз   DNS-сервер

  Сегмент управления фабрикой обеспечивает доступ к интерфейсам управления коммутаторами Out-of-Band Management (mgmt0) –  Требуется настроить:

  IP адрес   Маску   DNS-сервер

Управление фабрикой DCNM (CPOM) Сегмент доступа к

DCNM

Доступ пользователей к DCNM (CPOM)

Сегмент управления фабрикой

Доступ CPOM/DCNM к интерфейсам управления устройствами фабрики

DCNM


Управление фабрикой при помощи DCNM Использование выделенной сети управления

Консольные подключения рекомендуются, но не являются обязательными

con0

Управление фабрикой – выделенная сеть управления - Out-of-Band (OOB) Network

mgmt0

con0

Сегмент доступа к DCNM


Управление фабрикой DCNM (CPOM)

mgmt0

DCNM


Управление фабрикой при помощи DCNM Протоколы, используемые в выделенной сети управления

con0

mgmt0

con0




mgmt0 DHCP,TFTP,SCP,LDAP,XMPP,SNMP,SSH,TELNET

DHCP,TFTP,SCP,LDAP,XMPP,SNMP,SSH,TELNET

DCNM






 POAP

 Cable Management

 XMPP







Device Auto-Configuration (POAP) Автоматическая настройка коммутаторов фабрики

  POAP Engine полностью интегрирован в DCNM (CPOM)

 DHCP Scope-Definition –  собственный DHCP-Daemon

  Репозиторий образов и конфигураций –  Встроенные TFTP- и SCP-серверы

 Предопределенные шаблоны конфигурации с возможностью кастомизации

 Простой алгоритм настройки POAP


Подключение коммутатора к фабрике при помощи POAP 1/3

mgmt0




mgmt0

Коммутатор загружается без конфигурации

1

Коммутатор запрашивает IP адрес при помощи DHCP 2

DCNM (CPOM) отвечает на DHCP запрос передавая IP адрес и специфические параметры POAP – адрес скрипта автоконфигурации (TFTP)

3

IP: 192.168.12.142 / 24 tftp://dcnm/tftpboot/boot.py

DCNM



mgmt0




mgmt0

Коммутатор запрашивает NX-OS образ и конфигурационный файл

1

DCNM (CPOM) сообщает ссылку на NX-OS образ и конфигурационный файл (SCP)

2

Boot with image: 6.0(2) Use Configuration: Spine Hostname: Spine-4 IP: 192.168.12.4 / 24 …

DCNM



mgmt0




mgmt0

Коммутатор загружается с определенным образом NX-OS и первоначальной конфигурацией из шаблона

1

DCNM (CPOM) обнаруживает новый коммутатор и добавляет его в свою базу данных

2

DCNM


Настройка POAP в DCNM 1/3

Cоздается новая POAP конфигурация для одного или нескольких коммутаторов

В систему загружается существующая конфигурация

Шаг Workflow - POAP-Definitions


Настройка POAP в DCNM 2/3

Вводится серийный номер устройства или нескольких устройств

Определяется тип коммутатора (N5k, N6k, N7k etc.)

Определяется репозиторий для образов (по умолчанию локальный SCP репозиторий (var/lib/dcnm)

Выбираются Kickstart- и System- образы для коммутатора

Определяется репозиторий для конфигураций POAP

Username и Password для доступа к коммутатору через CLI, SNMP, и т.д.


Настройка POAP в DCNM 3/3 Выбирается предопределенный шаблон DFA

Параметры могут быть сохранены как шаблон для последующего повторного использования

Форма, автоматически создается из шаблона; можно указывать диапазоны значений для одновременной настройки нескольких коммутаторов


DFA настройка POAP шаблонов Возможность редактирования

Выбор шаблона для последующих операций Открыть, Редактировать, Сохранить как


DFA настройка POAP шаблонов Возможность кастомизации

Редактор шаблона, который позволяет определить свои переменные и команды

Проверка синтаксиса шаблона






 POAP

 Cable Management

 XMPP







Cabling Plan Проверка подключений в фабрике на соответствие

  Детектирование кабельных аномалий –  Incorrect Connectivity (ErrC) –  Link Not present (Unkn) –  Unexpected Connections (Enp)

  Гибкость –  поддержка DFA и не-DFA платформ

–  возможность глобального развертывания или с учетом специфики конкретного устройства

  Автоматическое создание, импорт, экспорт

  Гранулярность – с точностью до порта


Зачем контролировать соответствие кабельных подключений плану?

= DFA-Spine (Tier 2)

= DFA-Leaf (Tier1)

2 2

✓

1 1 1 1

2 2

✗ ✗ 1 1 1 1

Кабельные соединения в порядке!

Кабельные соединения не соответствуют плану!


Cable Plan и проверка соответствия Настройка

nexus# dir bootflash:/// | include cableplan.xml 906 May 28 06:43:52 2011 cableplan.xml nexus#

Индивидуальный кабельный план создан и загружен при помощи DCNM (CPOM)

В POAP шаблоне необходимая настройка уже присутствует; выбор за Вами – контролировать исполнение плана или нет

2 2

1 1 1 1 = DFA-Spine (Tier 2)

= DFA-Leaf (Tier1)

feature cable-management feature lldp ! fabric connectivity tier 2 fabric connectivity cable-plan enforce

feature cable-management feature lldp ! fabric connectivity tier 1 fabric connectivity cable-plan enforce

errdisable recovery interval 300 errdisable detect cause miscabling no errdisable recovery cause miscabling

По умолчанию порт переводится в состояние Error Disable в случае несоответствия кабельному плану По умолчанию автоматическое восстановление выключено


2 2

✗ ✗ 1 1 1 1

Cable Plan и проверка соответствия Show команды, Log сообщения

2011 May 31 02:37:40 n6k-leaf-2018 %$ VDC-1 %$ %CMM-2-MISCBL_TIERERR: Miscabling: Port Ethernet1/47 Error detected on peer tier check. Local: Tier 1 System n6k-leaf-2018 Chassis 002a.6a27.27d6 Port Eth1/47 Neighbor: Tier 1 System n6k-leaf-2017 Chassis 002a.6a22.a416 Port Eth1/47

Сообщение, которое помещается в лог в случае обнаружения несоответствия плану кабельных подключений Error detected on peer tier check

n6k-leaf-2018# show fabric connectivity neighbors ------------------------------------------------------------------------------- Local System: Device Tier Config: Enabled Device Tier Level: 1 Mismatch Delay Config: Disabled Mismatch Delay Timeout: 0 Cable-Plan Enforce: Enabled DeviceID: n6k-leaf-2018 ChassisID: 002a.6a27.27d6 ------------------------------------------------------------------------------- Codes: (Ok) Normal, (ErrT) Tier error , (ErrC) Cable-Plan error, (V) VPC Peer connection, (S) Stale entry, (Unkn) Unknown, (Enp) Entry not present in Cable-Plan, (Tl) Tier level Neighbor Table: ------------------------------------------------------------------------------- Local DeviceID PortID Tl Cable-Plan Status Intf Entry Eth1/37 n6k-spine-2016 Eth1/37 2 n6k-spine-201,Eth1/37 Ok Eth1/38 n6k-spine-2015 Eth1/38 2 n6k-spine-201,Eth1/38 Ok Eth1/47 n6k-leaf-2017 Eth1/47 1 Enp ErrT,S Total entries displayed: 3

n6k-leaf-2018# show interface eth1/47 Ethernet1/47 is down (Miscabled)


Возможности DCNM по контролю кабельных подключений

DCNM (CPOM) отображает ту же самую информацию, что и CLI в более наглядном виде: -  Неисправные узлы фабрики -  Неправильная кабельная коммутация -  Статус интерфейсов






 POAP

 Cable Management

 XMPP







Switch# show vlan Vlan -------------------------------------------------------------------------------- Ethernet VLAN Type Mode Status D) --

XMPP

Управление сетью с помощью XMPP

XMPP Единая точка управления элементами фабрики. •  Все узлы соединены через логическую

XMPP шину

•  Возможность создавать группы для различных типов устройств

•  Устройства аутентифицируются один раз при включении в фабрику.

DCNM (CPOM)


Управление сетью с помощью XMPP   После загрузки коммутатора происходит автоматическая аутентификация на XMMP сервере, о чем свидетельствует сообщение системного логгирования.

  Вывод команды проверки XMPP соединения


Использование XMPP клиента для управления коммутатором

  Коммутаторы присутствуют как друзья в списке контактов

  Клиент IM отображает статус коммутаторов

 После логина возможен обмен короткими сообщениями с коммутатором в формате NX-OS CLI команд


Групповой XMPP-чат   Необходимо создать комнату для группового чата - Chat-Room –  комната должна быть настроена на коммутаторах и на IM клиенте

–  fabric access group group1 group2

  После настройки комнаты в клиенте и на коммутаторах можно начать «общение» при помощи NX-OS CLI команд –  Перед отправкой сообщения необходимо дождаться пока все участники «войдут» в комнату “join the room”


Как DCNM использует XMPP?  Необходимо настроить служебную группу для нужд DFA

–  Admin -> Dynamic Fabric Automation (DFA) -> Settings Эта группа используется для отправки служебных запросов на поиск информации, а так же на внесение изменений в параметры auto-config коммутаторов.

 DCNM отправляет следующие запросы в эту служебную группу: –  поиск хоста, который подключен к фабрике –  выяснение принадлежности коммутатора к виртуальной фабрике (vrf) –  уведомление коммутаторов об изменениях в параметрах auto-config






 POAP

 Cable Management

 XMPP







Возможности распознавания DFA Фабрика идентифицирует конечные хосты

В строке поиска можно ввести название виртуальной машины

Коммутатор, к которому подключена виртуальная машина подсвечивается (только для хостов, которые поддерживают VDP)

n6k-leaf-2018# show evb host EVB Host table No. of Hosts: 1 No. of VSIs: 1 Flags: + - Multiple addresses Host Name VNI Vlan BD Mac-address IP-Address Interface ------------------- -------- ----- ----- -------------- ----------------- ------------ Linux.131.103-223 31000 3000 3000 0050.56ac.1f71 192.168.131.103 Eth1/2


Возможности распознавания DFA Идентификация участников виртуальных фабрик

Можно выбрать Организацию/Партицию для отображения коммутаторов принадлежащих виртуальной фабрике

Подсвечиваются коммутаторы уровня доступа (leaf), которые принадлежат выбранной фабрике Замечание: Коммутаторы уровня ядра (Spine) принадлежат всем фабрикам.

n6k-leaf-2018# show vrf all VRF-Name VRF-ID State Reason OrgA:PartA 4 Up -- default 1 Up -- management 2 Up -- n6k-leaf-2018#









43


ОТКРЫТАЯ ИНТЕГРАЦИЯ ОКРЕКСТРАЦИИ

АВТОМАТИЗАЦИЯ МАСШТАБНЫЕ РАЗВЕРТЫВАНИЯ

ЛЮБАЯ НАГРУЗКА В ЛЮБОМ МЕСТЕ, В ЛЮБОЕ ВРЕМЯ

REST API’s

Cisco Prime Data Center Network

Manager (DCNM)

MAN/WAN

Cisco Prime Network Services Controller (NSC)

UCS Director

Архитектура DFA Автоматизация


Автоматическая конфигурация сетевой фабрики

Вирт. машины

N1K

Auto-config триггеры VDP

DHCP/ARP-ND

Пакеты данных

Programmatic

Оркестрационный стек

Сетевая и сервисная оркестрация

Вычислительная и СХД оркестрация

Cisco Prime DCNM

Физ. хосты


DCNM (CPoM) Профиль

конфигурации

Создание логического сегмента

Оркестратор

N1KV/OVS

Создание логической сети

1 a

Информирование фабрики о новой организации

Автоматизация развертывания приложения Использование VDP для автоматической настройки коммутатора доступа (leaf)

Segment-ID, IP информация (GWY, Mask,

Org, etc)

Загрузка профиля для сегмента Поддерживаются на

момент начала продаж   Cisco UCS Director

(Cloupia)   OpenStack   vCloud Director

46


DCNM (CPoM)


N1KV/OVS


1 a b


Новая виртуальная машина создается в красном сегменте сети

Создание красного сегмента на коммутаторе

2

VDP Control Plane

Segment-ID получается от

vSwitch

Запрос в БД DCNM (Segment-ID как ключ запроса)

47


Профиль конфигурации

Автоматизация развертывания приложения Использование VDP для автоматической настройки коммутатора доступа (leaf) (2)





N1KV/OVS

SVI, VRF создание


1 a b




2

VDP Control Plane

*VDP (VSI Discovery and Configuration Protocol is part of 802.1Qbg Draft

Загрузка конфигурации

VLAN ID to the vSwitch

48







N1KV/OVS


1 a b




2

Leaf получает тегированные фреймы 802.1q и

ассоциирует их с segment-ID

c

ВМ подключена к фабрике

49




UCS Director

Каталог приложений

Compute Web 2 VMs, High IO

Appl. 8 VMs, 10 GB

DB 2 VMs, 50 GB

Storage Network Требуемые ресурсы:

•  Количество •  Размер •  Качество

Контроллеры UCS Manager

Web FW & LB вирт. контейнера

Appl. L4-L7 сервисы вирт. контейнера

DB Настройка портов фабрики

Web Лок. кеш

Appl. Осн. СХД •  IOPS •  Зеркало

DB •  2 High IOPS •  Data Mirroring

vCenter/SCVMM

APP DB WEB

Приложение Compute Network Storage

L/B APP DB F/W L/B

WEB

DCNM VNMC

Контейнер приложения в UCS Director


UCS Director

Гипервизор СХД Сеть

Контроллеры vCenter/SCVMM

APP DB WEB

DCNM VNMC

Compute Network Storage

L/B APP DB F/W L/B

WEB

Автоматизация развертывания приложения На примере UCS Director


UCS Director

Гипервизор СХД Сеть

Контроллеры vCenter/SCVMM

APP DB WEB

DCNM VNMC

Compute Network Storage

L/B APP DB F/W L/B

WEB

автоматически

Автоматизация развертывания приложения На примере UCS Director


Необходимы два шага, чтобы обеспечить подключение к фабрике физического хоста 1.  Создать профиль конфигурации в

базе данных DCNM (CPOM) 2.  После обнаружения начала передачи

данных хостом коммутатор делает запрос в базу данных DCNM и выполняет окончательную настройку порта, к которому подключен физический сервер

Автоматизация развертывания приложений Как реализовать авто-конфигурацию для физических хостов?

DCNM (CPoM)

Профиль конфигурации

1

Порт мапируется в правильную сеть

(VLAN to segment-ID mapping)

Хост начинает передавать данные

(DHCP, ARP, …)

2

Запрос к CPoM (Segment-ID как ключ)

Загрузка конфигурации

Эти же правила используются при развертывании виртуальной машины на vSwitch-е, который не поддерживает VDP

SVI, VRF создание

54


Применение REST API для управления фабрикой

 DCNM дает возможность использования REST API 3-им приложениям для управления фабрикой DFA

 REST API поддерживает –  POAP(Power On Auto Provision) –  Автоматическую конфигурацию (auto-config) –  Управление кабельными подключениями (сable plan)

  DCNM REST API поддерживают объекты “application/json” для обмена информацией между 3-им приложением и DCNM

  DCNM REST API поддерживает HTTP и HTTPs для обеспечения безопасного управления элементами фабрики

  Графический интерфейс DCNM так же использует REST API для управления

55







Свойства фабрики

Управление передачей (Control Plane)

Передача данных (Forwarding Plane)



56


Улучшенная передача данных

Enhanced Forwarding

Distributed Control Plane

Интеграция физического и виртуального

мира

ЛЮБАЯ СЕТЬ ГДЕ УГОДНО

ОТКАЗОУСТОЙЧИВОСТЬ МАЛЫЙ РАЗМЕР ДОМЕНА СБОЯ

СОГЛАСОВАННОСТЬ КОНФИГУРАЦИЯ НА БАЗЕ ПРОФИЛЕЙ

MAN/WAN

Архитектура DFA Оптимизация передачи данных


N1KV/OVS WAN/Core Services

Spine - агрегация Leaf - доступ Border Leaf – граница Services Leaf - сервис Virtual Leaf* - виртуальный

N1KV/OVS

Виртуальные машины Физические сервера FEX-ы Коммутаторы 3-х производителей UCS FI Блейд сервера СХД

МСЭ Балансировщики Устройства 3х производителей

Маршрутизаторы Коммутаторы Устройства 3х производителей

*Virtual Leaf: N1KV/OVS принимает “частичное” участие в процессе управления передачей данных (поддержка VDP)

Замечание: роли на уровне доступа (leaf) - логические. Один и тот же коммутатор доступа (leaf) может быть одновременно обычным коммутатором, сервисным и пограничным.

58

Архитектура Dynamic Fabric Automation Роли устройств

N1KV/OVS

© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Public 59

Cisco Dynamic Fabric Automation Поддержка различных топологий

Compute and Storage

L3 Cloud

Традиционный Доступ/Агрегация

L3 Cloud Compute and Storage

Folded CLOS

L3 Cloud Compute and Storage Compute and Storage

Трех-уровневая топология (Fat Tree)

Полная связанность

L3 Cloud


Compute and Storage L3 Cloud

  Высокая производительность   Применение ECMP: Unicast или Multicast трафик   Постоянный радиус (равномерная достижимость)   Предсказуемая задержка   Высокая отказоустойчивость: сбой узла/канала имеет незначительное влияние

  Низкая задержка, передача всего трафика на скорости интерфейса

§§ Свойства фабрики актуальны для всех топологий §§

60

Cisco Dynamic Fabric Automation Свойства фабрики


  Размеры фабрики: от сотен до десятков тысяч 10G портов

  Разнообразие строительных блоков:   Различные размеры

  Различная мощность   Необходимый уровень переподписки   Модульные или фиксированные устройства

  Scale Out архитектура   Вычислительные мощности, сервисы, внешние подключения добавляются по мере роста потребностей

Cisco Dynamic Fabric Automation Размеры фабрики могут быть различными

61

Compute and Storage L3 Cloud


Фабрика DFA

UCS FI

Блейд коммутатор

  Гибкие возможности подключения к фабрике – уровень доступа (leaf)   FEX в режимах straight-through или

dual-active (eVPC)

  UCS Fabric Interconnect

  Гипервизоры или физические серверы, подключенные в режиме vPC

  FEX работает как “удаленная линейная карта” и самостоятельно не принимает участия в управлении процессами передачи, характерными для DFA

Гипервизор

62

Cisco Dynamic Fabric Automation Разнообразие вариантов подключения к фабрике












63


ISIS - распространение информации о состоянии фабрики   Контроль достижимости узлов фабрики   Создание multi-destination trees для мультикаст и широковещательного трафика

  Быстрое реагирование на сбои каналов/узлов фабрики

  Поддержка частично-связанных топологий (mesh topologies)

ISIS – не распространяет   Информацию о достижимости хостов фабрики   Служебный трафик хостов фабрики   Информацию о серверных подсетях

Control Plane 1 – управление фабрикой при помощи IS-IS

Протокол IS-IS

Соседские отношения IS-IS

64

L3 Core


L3 Cloud

  Трафик протоколов ARP, LLDP, LACP, IGMP, DHCP, который инициируется серверами терминируется на коммутаторах доступа (leaf)

  Ограничение флуда, размера домена сбоя, распространения пакетов служебных протоколов

  На пограничных коммутаторах (border leaf) терминируются протоколы PIM, OSPF, eBGP

Управление инжектированием информации о внешних префиксах

Control Plane 2 – сдерживание служебного трафика хостов

PIM, IGP, eBGP в сторону внешнего L3 домена

ARP, LLDP, LACP, IGMP, DHCP

65


  Распространение информации о хостах отделено от управления состоянием каналов фабрики

  Протокол MP-BGP распространяет информацию о достижимости внутренних хостов и внешних сетей

  Протокол MP-BGP был оптимизирован для переноса информации о сотнях тысяч маршрутов, время сходимости уменьшено

L3 Cloud

Control Plane 3 – распространение маршрутной информации о хостах и подсетях

Внешние сети Route Injection

Соседские отношения iBGP

Хосты/сети фабрики Route Injection

66

Route-Reflector-ы разворачиваются для обеспечения масштабирования

RR RR

Протокол MP-BGP


  Детектирование удаленных хостов На основе апдейтов от протокола MP-BGP

Control Plane Детектирование хостов

  Чтобы распространить информацию о хосте коммутатор доступа (leaf) должен сначала обнаружить устройство/хост/виртуальную машину

  Детектирование локальных хостов На основе VDP или ARP/DHCP

67

N1KV/OVS vSwitch

VDP ARP DHCP

ARP DHCP












68


  Любая подсеть где угодно => Любой коммутатор доступа может терминировать любую подсеть Все коммутаторы доступа разделяют один и тот же IP-адрес и MAC шлюза по умолчанию для подсети

(без использования HSRP)

ARP терминируется на коммутаторе доступа, широковещательный трафик не покидает пределы коммутатора доступа (leaf)

  Поддерживаются – мобильность виртуальных машин, распределение нагрузки, технологии кластеризации

  Бесшовный обмен данными на 2-м и 3-м уровне между физическими и виртуальными хостами

GW IP: 11.11.11.1 GW MAC: 0011:2222:3333

GW IP: 10.10.10.1 GW MAC: 0011:2222:3333

L3 L2

Anycast Gateway

Оптимизация передачи данных Распределенный шлюз по умолчанию на уровне доступа (leaf)


Оптимизация передачи данных Режимы работы

70

  Для VLAN, которые растягиваются между несколькими коммутаторами доступа доступны два режима

  proxy-gateway   anycast-gateway

  Proxy-Gateway   используется Proxy-ARP   пакеты всегда маршрутизируются и в случае передачи данных внутри подсети и в

случае передачи данных между подсетями   коммутатор доступа всегда делает L3 lookup

  Anycast-Gateway   требуется присутствие шлюза по умолчанию на каждом коммутаторе доступа   При передаче данных используется FabricPath (ARP не подавляется, внутри сегмента

происходит L2 коммутация, выучиваются реальные MAC-адреса конечных хостов, а не MAC-адреса шлюзов

  Оба режима требуют распространения хостовых /32 маршрутов между коммутаторами доступа

  Важно: L2 не-IP пакеты всегда коммутируются внутри фабрики независимо от настроенного режима передачи данных

© 2013 Cisco and/or its affiliates. All rights reserved. BRKDCT-2385 Cisco Public

L1 L4

1.  H1 посылает ARP запрос H2 –10.10.10.20

2.  ARP запрос перехватывается коммутатором L1 и обрабатывается процессором Sup

3.  Предполагая, что в таблице маршрутизации существует запись вида /32 для H2, коммутатор L1 отправляет ARP reply который содержит его собственный адрес G_MAC, для того чтобы H1 поместил эту информацию в свой ARP кэш

Важно: ARP запрос не распространяется ни по коммутаторам фабрики, ни через локальные интерфейсы, которые принадлежат тому же L2 домену

71

H1 10.10.10.10

L1 RIB 10.10.10.20/32 NH L4_IP

L1 ARP Table L4_IP L4_MAC

H2 10.10.10.20

vSwitch

S3

H1 ARP Cache 10.10.10.20 G_MAC

2 CPU

1

3

Оптимизация передачи данных – режим proxy-gateway Передача IP пакетов внутри одной подсети


L1 L4

72

4.  H1 создает фрейм данных, у которого в качестве MAC адреса назначения используется G_MAC

5.  L1 получает кадр, удаляет L2 заголовок и производит Layer 3 lookup узла назначения

6.  L1 добавляет заголовок 2-го уровня а так же FP заголовок и передает FP фрейм для доставки в фабрику, выбирая один из 3-х доступных путей передачи трафика через коммутаторы S1, S2 и S3

7.  L4 получает фрейм, отбрасывает заголовки FP и L2 и производит L3 lookup, а затем передает фрейм в сторону H2

H1 10.10.10.10

e1/1

H2 10.10.10.20

vSwitch


SMAC→ H1_MAC

DMAC→ G_MAC

SIP→ 10.10.10.10

DIP→ 10.10.10.20 4

L1 RIB 10.10.10.20/32 NH L4_IP


5

SMAC→ L1_MAC

DMAC→ L4_MAC

SIP→ 10.10.10.10

DIP→ 10.10.10.20

SSID→ L1

DSID→ L4

6

SMAC→ G_MAC

DMAC→ H2_MAC

SIP→ 10.10.10.10

DIP→ 10.10.10.20

L4 RIB 10.10.10.20/32 e1/1

7

Оптимизация передачи данных – режим proxy-gateway Передача IP пакетов внутри одной подсети (2)

S1 S2 S3


L1 L4

73

H1 10.10.10.10 H2

11.11.11.11

vSwitch


1

3

2 CPU

1.  H1 посылает ARP запрос на шлюз по умолчанию – 10.10.10.1

2.  ARP запрос перехватывается коммутатором L1 и обрабатывается процессором Sup

3.  L1 выступает как обычный шлюз по умолчанию и посылает ARP reply со своим адресом G_MAC

Оптимизация передачи данных Передача IP пакетов между подсетями - оба режима


L1 L4

74

4.  H1 посылает пакет данных предназначенный H2 с использованием G_MAC как MAC адреса узла назначения

5.  L1 получает кадр, удаляет L2 заголовок и производит Layer 3 lookup узла назначения

6.  Если в таблице маршрутизации присутствует маршрут для H2, то L1 добавляет заголовок 2-го уровня и заголовок FP и затем передает фрейм для доставки фабрике, выбирая один из 3-х доступных эквивалентных маршрутов через коммутаторы S1, S2 и S3

7.  L4 получает пакет, отбрасывает FP и L2 заголовки, выполняет L3 lookup и передает фрейм H2

e1/1

H2 11.11.11.11

vSwitch

H1 10.10.10.10


SMAC→ H1_MAC

DMAC→ G_MAC

SIP→ 10.10.10.10

DIP→ 11.11.11.11 4

L1 RIB 11.11.11.11/32 NH L4_IP


5

SMAC→ L1_MAC

DMAC→ L4_MAC

SIP→ 10.10.10.10

DIP→ 11.11.11.11

SSID→ L1

DSID→ L4

6

SMAC→ G_MAC

DMAC→ H2_MAC

SIP→ 10.10.10.10

DIP→ 11.11.11.11

L4 RIB 11.11.11.11/32 e1/1

7

S1 S2 S3

Оптимизация передачи данных Передача IP пакетов между подсетями - оба режима (2)


Оптимизация передачи данных Передача L2 фреймов, не IP маршрутизация – оба режима

H1 H2

vSwitch

1.  H1 посылает пакет предназначенный MAC адресу узла H2

2.  Коммутатор L1 выполняет L2 lookup в таблице MAC адресов производя поиск FP Switch ID коммутатора назначения

3.  L1 добавляет FP заголовок прежде чем отправить пакет на доставку фабрике

4.  L4 получает фрейм, производит отбрасывание FP заголовка, выполняет L2 lookup и затем пересылает его H2

vSwitch

L1 L4 e1/1

SMAC→ H1_MAC

DMAC→ H2_MAC

SSID→ L1

DSID→ L4

Payload

3

SMAC→ H1_MAC

DMAC→ H2_MAC

Payload

1

L1 MAC Table H2_MAC L4 SW_ID

2

SMAC→ H1_MAC

DMAC→ H2_MAC

Payload

L4 MAC Table H2_MAC e1/1

4

75


Распределенный шлюз по умолчанию Proxy-Gateway

  Proxy-Gateway (enhanced Forwarding)

WAN

RR RR

= DFA-Spine RR = DFA Route-Reflector = DFA-Leaf = Fabric Interface = DFA-BorderLeaf = Distributed Gateway

interface vlan 123 vrf member Coke fabric forwarding mode proxy-gateway ip address 10.1.1.1/24 ip dhcp relay address 200.200.200.100 no shutdown

vlan 123 mode fabricpath vn-segment 30000


Распределенный шлюз по умолчанию Anycast-Gateway*

  Anycast-Gateway* (Traditional Forwarding)

WAN

RR RR

= DFA-Spine RR = DFA Route-Reflector = DFA-Leaf = Fabric Interface = DFA-BorderLeaf = Distributed Gateway

interface vlan 123 vrf member Coke fabric forwarding mode anycast-gateway ip address 10.1.1.1/24 ip dhcp relay address 200.200.200.100 no shutdown


*Функции “Anycast-Gateway” и функция “Anycast-HSRP для FabricPath” – не одно и тоже


Сравнение режимов передачи данных в DFA

Proxy-Gateway Anycast-Gateway Non DFA Mode*

VLAN/Subnets stretched between leaves ✓ ✓ ✓

(requires anchor Leaf)

Common Anycast GW IP across leaves ✓ ✓ ✗

Common Anycast GW MAC across leaves ✓ ✓ ✗

Use Proxy-ARP/ND ✓

(respond to ARP/ND only if the destination is available in the

RIB)

✗ ✗

ARP Flooding in Layer-2 Domain ✗ ✓

(floods also across DFA Fabric) ✓

(local flood only)

Intra-Subnet forwarding Always routed (TTL decrement) Bridged Bridged

Silent Host Discovery ✗ ✓ ✓

* VLANs/IP Subnets are only locally defined behind a DFA leaf (or a pair of vPC peer leaves)


Оптимизация передачи данных Представляем L3 Conversational Learning   Использование /32 маршрутов может оказывать влияние на масштабирование если все маршруты будут запрограммированы во всех аппаратных таблицах маршрутизации и коммутации на всех коммутаторах доступа

Функция L3 conversational learning может смягчить последствия этой проблемы

По умолчанию этот режим выключен все маршруты сразу программируются в аппаратную таблицу FIB

  При включении этого режима хостовые маршруты для удаленных хостов будут программироваться в FIB только после обнаружения активного сеанса передачи

79

vSwitch

H1 10.1.1.10 H3

10.1.2.10

L2 L3

H2 10.1.1.20

L1 RIB 10.1.1.20/32 NH L2_IP 10.1.2.10/32 NH L3_IP

L1 FIB 10.1.1.20/32 NH L2_IP 10.1.2.10/32 NH L3_IP

Поведение по умолчанию (No L3 Conversational Learning)

L3 L1 L2

vSwitch

H1 10.1.1.10 H3

10.1.2.10

L2 L3

H2 10.1.1.20

L1 RIB 10.1.1.20/32 NH L2_IP 10.1.2.10/32 NH L3_IP

L1 FIB 10.1.1.20/32 NH L2_IP

После включения L3 Conversational Learning

L3 L1 L2


Оптимизация передачи данных Передача мультикаст трафика

WAN/Core

  Фабрика вычисляет несколько distribution trees при помощи IS-IS Используются для широковещательного и мультикаст трафика

Использование протоколов маршрутизации мультикаст (PIM и тд) внутри фабрики не требуется (только на границе)

  Multi Destination Trees (MDTs) всегда используют уровень spine как точку маршрутизации трафика

  Коммутатор доступа (leaf) балансирует нагрузку Эффективное использование каналов

80


Оптимизация передачи данных Передача мультикаст трафика (2)

WAN/Core

  Двухуровневая репликация мультикаст трафика в фабрике Коммутатор доступа всегда выполняет функцию маршрутизации мультикаст трафика и отправляет одну копию трафик в фабрику на уровень spine

Узел Spine реплицирует трафик на узлы доступа (leaf)

Коммутатор назначения (Leaf) локально выполняет репликацию в сторону серверных портов в случае наличия подписчиковs

  Планируется оптимизировать текущий режим и разрешить pruning на уровне spine

MC Src Rcv VLAN 30

Rcv VLAN 40

Rcv VLAN 10

Rcv VLAN 20

Rcv VLAN 10

81









82


МАСШТАБИРУЕМОСТЬ БЕЗОПАСНЫЕ ВИРТУАЛЬНЫЕ ФАБРИКИ

ЛЮБАЯ НАГРУЗКА ЛЮБАЯ ВИРТУАЛЬНАЯ ФАБРИКА

МАСШАТИРУЕМОСТЬ +10K TENANTS/NETWORKS

Продажи Производство

Финансы HR

Архитектура DFA Виртуальные фабрики


3-х уровневая иерархия объектов

Сетевое оборудование DCNM (CPOM)

VRF

Segment/VLAN

Сегмент/VLAN

Сегмент/VLAN

VRF Partition

Network Network Сеть Сеть

Партиция

Организация …

… …

Пример показывает, что DCNM поддерживает сложные сценарии, когда для одной организации требуется организовать несколько сетевых партиций

VRF Org:Part

Segment/VLAN


3-х уровневая иерархия объектов Зачем все таки она нужна?

Оркестратор DCNM (CPOM)

Virtual DataCenter


Виртуальный ЦОД Partition


Партиция

Организация …

… …

Tenant …

… …

Иерархия объектов DCNM полностью соответствует иерархии объектов, которую используют большинство оркестраторов!


Виртуальные фабрики Определение понятия Segment-ID

  Традиционное пространство номеров VLAN определяется 12 битами заголовка 802.1Q tag

Максимальное число сегментов ограничено цифрой 4096 VLAN

Формат фрейма FabricPath

Integrated Fabric Frame Format

Segment-ID = 86

802.1Q 802.1Q


Виртуальные фабрики Определение понятия Segment-ID

  Традиционное пространство номеров VLAN определяется 12 битами заголовка 802.1Q tag

Максимальное число сегментов ограничено цифрой 4096 VLAN

  DFA удваивает пространство номеров VLAN которое использует 802.1Q до 24 бит

Поддержка ~16M L2 сегментов (50K сегментов на момент начала продаж- FCS)*

  Segment-ID это инновация, которая поддерживается коммутаторами доступа (leaf) и ядра (spine) фабрики DFA

Формат фрейма FabricPath

Формат фрейма интегрированной фабрики

Segment-ID =

87

802.1Q 802.1Q

DFA Frame

*http://www.cisco.com/c/en/us/td/docs/switches/datacenter/dfa/verified-scalability/guide/b-dfa-verified-scalability-guide/b-dfa-verified-scalability_chapter_01.html


Виртуальные фабрики Отображение трафика тегированного 802.1Q в трафик тегированный Segment-ID

  Заголовок Segment-ID используется для обеспечения изоляции L2 и L3 потоков данных внутри интегрированной фабрики

  Тегированные 802.1Q фреймы после получения коммутатором доступа (leaf) должны быть отображены в определенные сегменты

  Отображение VLAN-Segment происходит на уровне устройства*

VLAN-ы имеют локальное значение когда отображаются 1:1 в Segment-ID

  Segment-ID имеют глобальное значение, а VLAN ID – локальное

88

WAN

802.1q транк 802.1q транк

VLANs VLANs

Segment-IDs (Глобальное значение)

Segment-ID 3000



* Отображение на уровне порта планируется


Виртуальные фабрики Передача L2 фреймов, не IP маршрутизация

H1 H2

vSwitch

1.  H1 пересылает пакеты H2 трафик между vSwitch коммутатором доступа (leaf) тегируется VLAN-ID=10 имеющим локальное значение

2.  Коммутатор L1 выполняет L2 lookup в таблице MAC адресов и ассоциирует полученный фрейм с сегментом, который имеет идентификатор Segment-ID=5000

3.  L1 добавляет L2 и FP заголовки перед тем как отправить фрейм в фабрику. Segment-ID который был ассоциирован с VLAN 10 добавляется внутри L2 заголовка

4.  L4 получает фрейм и выполнят L2 lookup в том числе принимая во внимание значение Segment-ID. Затем фрейм пересылается хосту H2 с использование локального номер VLAN-ID=20

vSwitch

L1 L4 e1/1

SMAC→ H1_MAC

DMAC→ H2_MAC

SSID→ L1

DSID→ L4

[Segment-ID = 5000]

3

SMAC→ H1_MAC

DMAC→ H2_MAC

[VLAN = 10]

1

VLAN 10 <-> Segment-ID 5000 H2_MAC L4 SW_ID

2

SMAC→ H1_MAC

DMAC→ H2_MAC

[VLAN = 20]

VLAN 20 <-> Segment-ID 5000 H2_MAC e1/1

4

89


Виртуальные фабрики Как используют Segment-ID?

  Каждая IP подсеть определяемая на границе DFA фабрики ассоциируется с доменом 2-го уровня, который отображается в Segment-ID

  Несколько сегментов могут быть привязаны к сети заказчика (tenant) и обычно отображаются в L3 VRF, который закрепляется за потребителем сервиса (tenant-ом)

  Уникальный выделенный номер Segment-ID идентифицирует VRF в DFA фабрике

90

Blue Tenant VRF: Blue

Segment-ID 6000

Green Tenant VRF: Green

Segment-ID 6001

Segment-ID 5000 10.10.10.0/24

Segment-ID 5001 11.11.11.0/24

Segment-ID 5002 192.168.12.0/24

Segment-ID 5020 11.11.11.0/24


Виртуальные фабрики Передача маршрутизируемых IP-потоков внутри фабрики

91

H1 10.10.10.10

H2 10.10.10.20

vSwitch

1.  H1 пересылает пакет H2 трафик между коммутатором vSwitch и коммутатором доступа (leaf) тегируется локальным VLAN-ID=10

2.  L3 lookup выполняется коммутатором L1 в контексте “Красный VRF”

3.  L1 добавляет L2 и FP заголовки перед тем как отправить фрейм в фабрику. Идентификатор Segment-ID=6000, обозначающий “Красный VRF” добавляется к L2 заголовку

4.  L4 получает фрейм и ассоциирует его с “Красным VRF” используя полученный идентификатор Segment-ID=6000. Далее фрейм пересылается H2 с использованием локального идентификатора VLAN-ID=20

Замечание: так передается весь маршрутизируемый трафик внутри подсети и между подсетями

vSwitch

L1 L4 e1/1

SMAC→ L1_MAC

DMAC→ L4_MAC

SIP→ 10.1.1.10

DIP→ 10.1.1.20

SSID→ L1

DSID→ L4

[Segment-ID = 6000]

3

SMAC→ H1_MAC

DMAC→ G_MAC

SIP→ 10.1.1.10

DIP→ 10.1.1.20

[VLAN = 10] 1

RED_VRF <-> Segment-ID 6000 10.10.10.20 NH L4_IP

2

SMAC→ G_MAC

DMAC→ H2_MAC

SIP→ 10.1.1.10

DIP→ 10.1.1.20

[VLAN = 20]

RED_VRF <-> Segment-ID 6000 10.10.10.20 e1/1

4









92


Требования к аппаратному и программному обеспечению

Продукт Функция Версия ПО

Nexus 5500 Leaf (Layer-2 only) (Поддержка функцией Управление Фабрикой; нет поддержки Segment-ID) 7.0(0)N1(1)

Nexus 5600 Leaf, Border-Leaf, Spine, Route-Reflector 7.0(1)N1(1)

Nexus 6000 Leaf, Border-Leaf, Spine, Route-Reflector 7.0(0)N1(1)

Nexus 7x00 Leaf: F3**, Border-Leaf: F3** Spine: F2, F2e, F3* Route-Reflector*

6.2(6)

DCNM (CPOM) Управление фабрикой DHCP, TFTP, XMPP 7.0(1)

Nexus 1000v Virtual Switch с поддержкой протокола VDP (FCS: VMWare vSphere, другие гипервизоры будут поддерживаться позднее)

4.2(1)SV2(2.2)

*требуется NX-OS 6.2(6a) / **требуется NX-OS 7.1(x) планируется на Q3 CY’14

© 2013 Cisco and/or its affiliates. All rights reserved. TECDCT-2001 Cisco Public

Требуемые лицензии   Nexus 7000 / 7700

–  Enhanced Layer-2 (ENHANCED_LAYER2_PKG ) –  Enterprise Services (LAN_ENTERPRISE_SERVICES_PKG)

  Nexus 6000 / Nexus 5600 –  Enhanced Layer-2 (ENHANCED_LAYER2_PKG) –  Layer-3 Base (LAN_BASE_SERVICES_PKG) –  Layer-3 Enterprise (LAN_ENTERPRISE_SERVICES_PKG)

  Nexus 5500 –  Enhanced Layer-2 (ENHANCED_LAYER2_PKG)

  DCNM 7.0(1) –  Base License для DFA CPOM

  Nexus 1000v –  Essentials License для поддержки VDP

n6k# show license usage Feature Ins Lic Status Expiry Date Comments Count -------------------------------------------------------------------------------- FCOE_NPV_PKG No - Unused - FM_SERVER_PKG No - Unused - ENTERPRISE_PKG No - Unused - FC_FEATURES_PKG No - Unused - VMFEX_FEATURE_PKG No - Unused - ENHANCED_LAYER2_PKG Yes - In use Never - LAN_BASE_SERVICES_PKG Yes - In use Never - LAN_ENTERPRISE_SERVICES_PKG Yes - In use Never - -------------------------------------------------------------------------------- n6k#

© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Public 95

Архитектура Cisco Dynamic Fabric Automation Где получить дополнительную информацию

www.cisco.com/go/dfa

Управление фабрикой

Оптимизация передачи данных

Виртуальные фабрики Автоматизация Управление фабрикой Автоматизация Виртуальные фабрики Оптимизация

передачи данных

Cisco DFA - развитие архитектуры сети современного ЦОД....

Technology

Transcript of Cisco DFA - развитие архитектуры сети современного ЦОД....