Дизайн небольшого ЦОД часть 1.

Дизайн небольшого ЦОД часть 1

Максим Хаванкин системный инженер [email protected]

Игорь Гиркин системный инженер [email protected]

Введение

Классификация предприятий по размеру

•  Cisco – количество сотрудников Small = 1 – 99 Medium = 100 – 249 Mid Market = 250 – 999

•  Законодательство РФ* Распределение уставного капитала Выручка от реализации товаров Численность работников

•  Средние предприятия = 100 – 250 •  Малые предприятия = 1 – 100

* N 209-ФЗ «О развитии малого с среднего прредпринимательства в Российской Федерации»

Я получу готовый дизайн ЦОД своей компании?

•  Не существует универсального дизайна •  Разное

Количество серверов Типы интерфейсов Приложения Количество пользователей Сфера деятельности предприятий

•  Цель презентации Что нужно принять во внимание при проектирововании Описать типовой дизайн Показать возможности масштабирования

Подходы к классификации размера ЦОД

•  Количество пользователей в предприятии

•  Количество физических серверов •  Количество и тип приложений

(виртуальные + физические) •  Площадь помещения •  Подведенные мощности •  Количество стоек •  Размер используемого оборудования

Почему Cisco?

•  Доверие со стороны потребителей

*Gartner, Fabric Computing Poised as a Preferred Infrastructure for Virtualization and Cloud Computing, Feb 11, 2011. 182 из 2000 участников

Эталонная архитектура ЦОД Data Center Business Advantage

http://www.cisco.com/go/dcba

Application Networking Switching Management Compute

Open / Standards

App. Performance

Energy Efficiency Security Continuity Workload

Mobility

Cloud Automation Virtualization Consolidation

Partner Ecosystem

Efficient Agile Transformative

Security OS Storage

Unified Network Services

Unified Computing

Unified Fabric

New Bus. Models,

Governance and Risk

Driving Profitability New Service

Creation and Revenue

Generation

Cisco Lifecycle Services

Policy

INFRASTRUCTURE INNOVATIONS

BUSINESS VALUE

SOLUTION DIFFERENTIATION

SYSTEMS EXCELLENCE

Комплексные решения

•  Интегрированная вычислительная инфраструктура «Кирпичики» ЦОД

•  Разделяемая многопользовательская среда VMDC Переход к модели «ИТ как услуга»

•  Виртуализация рабочих мест Virtualization eXperience Infrastructure

•  Совместная работа Hosted Unified Communications

Ключевые компоненты вычислительной инфраструктуры ЦОД

Компоненты ЦОД

Сеть передачи данных

Сервисы сети

Вычисления

Сеть хранения

Управление

Ресурсы хранения

Соединение площадок

Физический доступ

Виртуальный доступ

Агрегация

Разграничение доступа

Предотвращение вторжений

Балансировка нагрузки

Ядро

Доступ

Конвергентные сети

Дисковые массивы

IP

FC

Стоечные серверы

Блейд-шасси

Cisco UCS

Гипервизоры

Hypervisor

Менеджеры устройств

Автоматизация

Оркестрация

Сеть передачи данных

Уровни сети Оборудование

Агрегация •  Nexus 7000 Модульный дизайн Высокая плотность портов Развитый функционал для широкого применения в ЦОД

Доступ физических серверов

•  Nexus 5000 Фиксированная конфигурация Уровень доступа

•  Nexus 2000 FEX Выносная линейная карта Распределенная фабрика коммутации

Доступ виртуальных машин

•  Nexus 1000V Доступ виртуальных машин

Физическая инфраструктура

•  Nexus 7000 Строгие требования к организации ДМЗ Разделение уровней доступ-агрегация Загрузка таблицы маршрутизации BGP MPLS Соединение с резервной площадкой по темному волокну >30 км

Простое в настройке соединение площадок

Масштабируемость Непрерывность функционирования ЦОД

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

Nexus 7009

Nexus 2232 and 2248TP

FCoE

NAS iSCSI

Физическая инфраструктура

•  Nexus 5500 Распределенный уровень доступа с подключением серверов по FCoE

Подключение массивов по FC Единое управление виртуальной и физической сетью

Ограничение по мощности или свободному месту в стойке

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

Nexus 5548UP with L3 module

Nexus 2232 and 2248TP-E

FCoE FC

NAS iSCSI

Серверы Серверы Серверы Серверы Сеть

Горизонтальная СКС – оптика, твинаксиальные кабели

Вертикальная СКС – медь RJ-45, твинаксиальные

кабели

Физический дизайн уровня доступа

•  Распределенная фабрика коммутации + универсальный уровень доступа •  Ограничения

Nexus 5500 c L3 – 8 FEX Nexus 5500 c L2 – 24 FEX Nexus 7000 – 32 FEX

Выносные линейные карты Nexus 2000

Центральная фабрика

коммутации Nexus

5000/7000

Виртуальная инфраструктура

•  Nexus 1000V Виртуализированные сервисы Перемещение виртуальных машин на резервную площадку

Более 100 виртуальных машин на сервер Nexus 1010 VMware vSphere

•  Аппаратная коммутация

Единое управление виртуальным и физическим сетевыми уровнями

Фиксированная задержка коммутации Невиртуализированные приложения VMware vSphere (VM-FEX)

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

Сервисы сети

•  Безопасность Межсетевые экраны (Cisco ASA, Cisco VSG)

•  Сервисы прикладного уровня Мониторинг трафика (Cisco NAM) Балансировка нагрузки (Cisco ACE) Оптимизация трафика (Cisco WAAS)

•  Связь с резервной площадкой Выбор технологии (темная оптика, VPLS, OTV и т.п.) Оборудование (Nexus 7000, ASR 1000, Cat 6500)

ЦОД

Application Optimizer

(AO)

TFO

Network

Data Link

Physical

Где поместить сервисы?

Клиент

Application

Presentation

Session

Transport

Network

Data Link

Physical

Маршрутизатор

Application Optimizer

(AO)

TFO

Network

Data Link

Physical

Маршрутизатор

VM-1

Application

Presentation

Session

Transport

Network

Data Link

Physical

Сеть

Филиал

Application

Presentation

Session

Transport

Network

Data Link

Physical

VM-N

Гипервизор

Разграничение доступа

•  Физическое устройство ASA 5000 или ASA-SM Производительность Форм-фактор

•  Виртуальное устройство Virtual Security Gateway Интеграция в стек управления виртуальными машинами

Защита отдельной виртуальной машины, включая резервную площадку

VMware vSphere

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

ASA 5500

NAS iSCSI

VSG

Мониторинг трафика

•  Физическое устройство NAM 2200 Производительность Форм-фактор

•  Виртуальное устройство NAM Virtual Service Blade Интеграция в стек управления виртуальными машинами

Защита отдельной виртуальной машины, включая резервную площадку

VMware vSphere

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

NAM 2200

NAM VSB

Балансировка нагрузки между серверами

•  ACE 4710 Производительность до 4 Гбит/с Агрегация интерфейсов

•  ACE30 Производительность до 16 Гбит/с Шасси Catalyst 6500

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

ACE

Оптимизация трафика в распределенной сети

•  Физическое устройство Wide Area Virtualization Engine (WAVE) Производительность

•  Виртуальное устройство Virtual WAAS (vWAAS) Интеграция с Nexus 1000V VMware vSphere

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

WAVE

NAS iSCSI

vWAAS

Соединение распределенных площадок

•  OTV Nexus 7009 ASR1000 (ноябрь)

•  A-VPLS Catalyst 6500

•  EoMPLS ASR1000

•  VPLS ASR9K

WDM •  Темное волокно

vPC @ Nexus 7000, 5500

Функция Решаемая задача Связь систем хранения

Обеспечить приложениям непрерывный доступ к ресурсам хранения локально и удалённо оптимальным образом

Расширение LAN

Доступ к одним и тем же VLAN из разных ЦОД для поддержки отказоустойчивости и мобильности

Оптимизация пути

Оптимальная симметричная маршрутизация между пользователями и ЦОД, где находится приложение

Маршрутизация Маршрутизируемая связь между ЦОД

Насколько важно получить защищенное, надежное и управляемое хранение данных?

Тип доступа §  Блочный §  Файловый §  Универсальный

Где хранить?

§  Внутренние диски §  Внешние дисковые массивы

Функциональность

§  High-end

§  Mid-range §  Entry-level

Сеть хранения

•  Протоколы доступа к сети хранения iSCSI Fibre Channel NFS/CIFS

•  Адаптеры в серверы •  Специализированное сетевое оборудование

Уровни сети Сервер Сетевое оборудование

iSCSI Блочный доступ Адаптер

•  аппаратное ускорение TCP и iSCSI •  SAN boot •  10GBase-X

•  Nexus 7000 •  Nexus 5000 •  Nexus 2000

Fibre Channel Блочный доступ Традиционный FC – Host Bus Adapter (HBA)

•  Скорость 2/4/8G FC •  Среда – оптика

FC over Ethernet – Converged Network Adapter (CNA) •  Один провод – два протокола •  10GBase-X •  Скорость 2/4/8G FC

•  MDS 9100/9500 •  Nexus 7000 •  Nexus 5000 •  Nexus 2232

NSF/CIFS Файловый доступ Обычный сетевой адаптер Скорости – гигабит, 10-гигабит

•  Nexus 7000 •  Nexus 5000 •  Nexus 2000

•  802.3ad подразумевает равномерную загрузку агрегированных каналов

•  Fibre Channel требует разделения фабрик A/B

•  «Ручная» привязка фабрик к паре путей

•  Ethernet по-прежнему загружает все каналы

Сервер с FCoE (CNA)

Отказоустойчивое подключение с FCoE FCoE FC

N5500-A(config)# fex 100 N5500-A(config-fex)# fcoe N5500-A(config)# fex 101

N5500-B(config)# fex 101 N5500-B(config-fex)# fcoe N5500-B(config)# fex 100

FEX 101

FEX 100

N5500-B N5500-A

Вычислительная платформа

Вычислительная система Cisco UCS §  Централизация управления на уровне системы §  Объединение физического и виртуального уровней доступа §  Унификация подключений на уровне системы §  Cервер – вычислительный ресурс

Стоечные серверы

§  Ethernet – от 2 до 4 на скорости 1 Гбит/с RJ-45

§  Возможность установки дополнительных устройств §  Невысокая плотность серверов

Серверные лезвия

§  Компактый форм-фактор §  Выбор интерфейсов подключения на уровне корзины

§  Централизация управления на уровне корзины

§  Улучшенные параметры энергоэффективности

Какие мощности Вы готовы подвести к стойке?

•  Оказывает существенное влияние на дизайн ЦОД •  Небольшие ЦОД часто выделяют не более 9кВт на стойку •  15-22 стоечных серверов •  16-25 блейд-серверов •  Сетевое оборудование, дисковые массивы, … •  Интерфейсы, миграция 1GE->10GE

Миграция 1GE->10GE

Серверы с 10GE подключены к Nexus 5500 (оптика SFP+ или медный кабель Direct Attached Cable)

Стойка с серверами 1GE, подключенными к Nexus 2248TP-E

•  Используем распределенную фабрику коммутации •  Выбираем модель Nexus 2000 FEX •  Подключаем к нему интерфейсы 1GE •  Интерфейсы 10GE подключаем к Nexus 5500

Вариации: Nexus 2232, FCoE

Выбор интерфейса 10GE

•  Три варианта Оптика SFP+ Медь 10GBase-T RJ-45 Медь Direct Attached Cable SFP+

•  Влияние на параметры Энергопотребления Длины кабеля Стоимости СКС

Кабель Задержка Потребление Расстояние Технология

Twinax ~0.1µs ~0.1W 10m SFP+ CU Copper

MM 62.5µm MM 50µm ~0 1W 82m

300m SFP+ SR short reach

Cat6 Cat6a/7 Cat6a/7

2.5µs 2.5µs 1.5µs

~6W ~6W ~4W

55m 100m 30m

10GBASE-T

2232PP

2232TM

PCIe x16

10GbE/FCoE

Eth

0

FC

1 2

FC

3

Eth

127

Виртуализация интерфейсов серверов – снижение затрат

•  vNIC и vHBA представляются BIOS сервера как отдельные устройства PCIe

•  Не требуется внесение изменений в ОС и приложения

•  Аппаратная изоляция трафика между виртуальными интерфейсами

•  Независимое, динамическое управление полосой пропускания каждого виртуального адаптера

•  Интеграция с VMware vSphere •  Управление на Nexus 5500

App

OS

App

OS

App

OS

Блейд-серверы

•  Компактный размер, меньше энергопотребление, портов СКС

•  Тренд – 10GE по умолчанию •  Дополнительный уровень коммутации •  Cisco Nexus B22 (HP)

Единая точка управления на Nexus 5500 Унификация политик

•  Cisco Nexus 4000 (IBM) Упрощение конфигурации FC Единый интерфейс управления: Datacenter

Network Manager •  Cisco Nexus 2232 + pass-thru (DELL)

ToR-коммутатор Nexus 2232PP/2232TM собирает 1/10GE и поддерживает

миграцию 1GE->10GE

Подключение блейд-серверов на 1GE, 10GE и FCoE

ToR-коммутатор Nexus 2248TP/2224TP собирает 1G

FC HBA подключаются к Nexus 5500

Подключение FC-коммутаторов шасси в режиме NPV

Коммутация – распределенная, управление - централизованное

•  Универсальный уровень доступа •  Поддержка миграции 1GE->10GE->FCoE

Вычислительная система Cisco UCS

Уровень виртуальной коммутации + Уровень доступа шасси

+ Уровень агрегации шасси

_________________________________

•  Простота •  Предсказуемость •  Управляемость

slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8

blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8











FCoE FC

Campus core

L3

Campus Access WAN

SiSiSiSiNAS iSCSI

L2

Масштабируемость

§  ERP/CRM на гипервизоре

§  Виртуализация рабочих мест

Эффективность §  Повышение утилизации оборудования §  Сокращение расходов на электроэнергию §  Управление из единой консоли

Гибкость

§  Ускорение ввода приложений в эксплуатацию

§  Перенос нагрузок §  Интеллектуальное управление ресурсами

Виртуализация – новые возможности

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

FCoE

FC

NAS

iSCSI

CNA

Виртуализация бизнес-приложений

Виртуализация 30%

Виртуализация > 60% Нишевые приложения (LOB, Tier 2 DB и т.д.)

Простые приложения (инфраструктура, file,

print)

Гипервизор Гипервизор Гипервизор

vSphere 5.0 – виртуализация без ограничений

•  Создание виртуальных машин: •  32 vCPU •  1 TB of RAM

•  Источник: vSphere Configuration Maximums http://www.vmware.com/pdf/vsphere5/r50/vsphere-50-configuration-maximums.pdf

§  4x кратное увеличение размера виртуальной машины

§  Запуск самых требовательных к ресурсам приложений теперь возможен на vSphere, включая очень большие БД

§  Виртуализация большего количества приложений (Tier 1 и 2)

4x

Что нового в vSphere 5.0

Преимущества

Виртуализация рабочих мест

Платформа виртуализации

Прошлое

Apps Apps

WinXP WinXP

Настоящее

Virtual Apps

VDI Win7

Будущее

Virtual Apps

VDI

Virtual Apps

Thin Client

Virtual Apps

Mobile Client

Централизованное развертывание, управление и обеспечение безопасности

пользователей и приложений

Виртуализация рабочих мест

•  Типизация рабочих мест пользователей

Task worker Standard worker Power user

•  Классификация сетевых подключений

Low bandwidth Local mode LAN

•  Вычислительный блок •  Система хранения и сеть хранения

Планирование нагрузки IOPS, а не размер диска

•  PCoIP Качество обслуживания WRED, not tail drop

Campus core

L3

Campus Access WAN

L2

VM #4

VM #3

VM #2

SiSiSiSi

FCoE FC

NAS iSCSI

CNA

Управление вычислительной инфраструктурой ЦОД

•  Менеджеры устройств Встроены и в большинстве случаев бесплатны

•  Системы централизованного управления Сеть передачи данных и хранения

•  Cisco Data Center Network Manager Ресурсы хранения

•  Автоматическое управление Шаг на пути к модели «ИТ как услуга»

Спасибо! Просим Вас заполнить анкеты. Ваше мнение очень важно для нас!

Дизайн небольшого ЦОД часть 1.

Technology

Transcript of Дизайн небольшого ЦОД часть 1.