Грид технологии
description
Transcript of Грид технологии
Ю У р Г У
МехМат
С П
Грид технологииЛекция 7
Архитектура Globus Toolkit
Радченко Глеб Игоревич, каф. СП, ЮУрГУ http://dom.susu.ru/grid.htm
Ю У р Г У
МехМат
С ПСодержание
1. Обеспечение безопасности в GT4
2. Компоненты управления данными
3. Управление выполнением задач
4. Информационные службы
2
Обеспечение безопасности в GT41
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
Data Access& Integration
Grid ResourceAllocation &
ManagementIndex
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol
Protocol
Globus Toolkit v4www.globus.org
CredentialMgmt
4
Ю У р Г У
МехМат
С ПБезопасность GT
Контроль доступа к разделенным ресурсам Обеспечение управления доступом, например
разделение политик доступа для рабочих групп Поддержка многопользовательских
объединений Объединение посредством взаимно-доверяемых
служб Поддержка динамического определения
доверяемых областей пользователями и ВО Персональная (или ВО) коллекция ресурсов,
которые работают вместе на базе доверия пользователя (ВО).
5
6
Безопасность GT4
Пользователи
Права
Вычислительныйцентр
Доступ
Службы (работают на стороне пользователя)
Права
Local policyon VO identityor attributeauthority
CAs или VOMsвыпускают сертификаты SAMLили X.509
SSL/WS-Securityc сертификатамидоступа
Authz Callout:SAML, XACML
KCA
MyProxyВО
Права
Ю У р Г У
МехМат
С ПБезопасность GT4 Аутентификация на основе открытого ключа Расширяемая инфраструктура авторизации на
основе стандартов Web-служб Идентификатор авторизации SAML Интегрированный механизм обработки политик
язык XACML и т.п. Службы управления сертификатами
MyProxy Служба Групповой Авторизации Отдельная служба делегирования
7
Ю У р Г У
МехМат
С П
Использование стандартов безопасности GT4
Самый быстрыйпо умолчанию
Поддерживается но медленный
Поддерживаетсяно не безопасный
8
Ю У р Г У
МехМат
С ПИнтеграция GT и XACML
eXtensible Access Control Markup Language — расширяемый язык разметки контроля доступа стандарт OASIS, открытая реализация
XACML: сложный язык работы с политиками GT предоставляет среду исполнения XACML
Включена в каждом клиенте и сервере GT … которая может быть прозрачно вызвана из среды
исполнения или пользовательского приложения.
9
Ю У р Г У
МехМат
С П
Инфраструктура авторизации GT
10
Ю У р Г У
МехМат
С ПДругие службы безопасности
MyProxy Упрощенное управление сертификатами Интеграция с Web-порталами (Tomcat) Поддержка единого входа
KCA & kx.509 Интеграция с доменами Kerberos
SimpleCA Генерация сертификатов Online
11
Компоненты управления данными
2
13
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
Data Access& Integration
Grid ResourceAllocation &
ManagementIndex
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol
Protocol
Globus Toolkit v4www.globus.org
CredentialMgmt
Ю У р Г У
МехМат
С ПGT4 Data Management
Хранение/перемещение больших объемов данных с/на узлы GridFTP, Reliable File Transfer (RFT) Отдельно, и интегрировано с GRAM
Определение местонахождения необходимой информации Replica Location Service (RLS)
Реплики данных для увеличения производительности Distributed Replication Service (DRS)
Обеспечение доступа к различным источникам данных Файловые системы параллельные файловые системы,
иерархические системы хранения: GridFTP Базы данных: OGSA DAI
14
Ю У р Г У
МехМат
С ПGridFTP в GT4
Поддержка IPv6 Расширенный ввод/вывод
(XIO) для различных транспортных протоколов
Разделение на полосы (Striping) скорости передачи данных порядка мульти-Gb/sec 27 Gbit/s на 30 Gbit/s канале
Подключаемый Front-end: канал, контролируемый
WS Back-end: HPSS, кластерная
файловая система Передача: UDP, NetBLT transport
15
Bandwidth Vs Striping
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
0 10 20 30 40 50 60 70
Degree of Striping
Ba
nd
wid
th (
Mb
ps
)
# Stream = 1 # Stream = 2 # Stream = 4
# Stream = 8 # Stream = 16 # Stream = 32
Bandwidth Vs Striping
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
0 10 20 30 40 50 60 70
Degree of Striping
Ba
nd
wid
th (
Mb
ps
)
# Stream = 1 # Stream = 2 # Stream = 4
# Stream = 8 # Stream = 16 # Stream = 32
Ю У р Г У
МехМат
С П
16
Reliable File Transfer:надежный протокол передачи
RFT Service
RFT ClientSOAP Messages
Notifications(Optional)
DataChannel
Protocol Interpreter
MasterDSI
DataChannel
SlaveDSI
IPCReceiver
IPC Link
MasterDSI
Protocol Interpreter
Data Channel
IPCReceiver
SlaveDSI
Data Channel
IPC Link
GridFTP Server GridFTP Server
Передача: запустил и забыл
Интерфейс Web-служб Интегрированная
система
восстановления
16
Ю У р Г У
МехМат
С ПReplica Location Service
Позволяет определить положение файлов посредством карты имен: логических в физические
Распределенный индекс имен
Управление ~40 миллионами файлов на ~10 сайтах
IndexIndex
Local DB
Update send (secs)
Bloom filter
(secs)
Bloom filter (bits)
10K <1 2 1 M
1 M 2 24 10 M
5 M 7 175 50 M
17
Ю У р Г У
МехМат
С ПOGSA-DAI
Предоставляет сервисно-ориентированный доступ к структурированным ресурсам данных как часть системы Globus
Определяет интерфейсы доступа к различным типам хранилищ данных (начиная с реляционных и XML)
18
Ю У р Г У
МехМат
С П
OGSA-DAI: инфраструктура для разработки приложений
Поддерживает доступ к данным Реляционные: MySQL, Oracle, DB2, SQL Server,
Postgres XML: Xindice, eXist Файлы – CSV, BinX, EMBL, OMIM, SWISSPROT,…
Поддерживает передачу данных SOAP над HTTP FTP; GridFTP E-mail Inter-service
Поддерживает трансформацию данных XSLT ZIP; GZIP
Поддерживает безопасность X.509 certificate based security
19
Ю У р Г У
МехМат
С П
20MySQL
OGSA-DAI service
Engine
SQLQuery
JDBCРесурсыданных
Действия
DB2
Инфраструктура OGSA-DAI
GZip GridFTPXPath
XMLDB
XIndice
readFile
File
SWISSPROT
XSLT
SQLServer
Базы данных
ApplicationApplicationClient ToolkitClient Toolkit20
Ю У р Г У
МехМат
С П
MySQL
OGSA-DAI service
Engine
SQLQuery
JDBC
SQL
JDBC
SQL
JDBC
SQL
JDBC
SQL
JDBC
MultipleSQL GDS
SQLQuery
Пример расширения21
Ю У р Г У
МехМат
С П
OGSA-DAI: другие свойства
Инфраструктура для создания клиентов Библиотека Client Toolkit library
Инфраструктура для разработки функциональности Возможность расширения существующих или
создания собственных действий Возможность объединения действий
Высоко-расширяемая Возможность «затачивать» продукт Разработка собственных служб, клиентских
приложений и собственной функциональности (в зависимости от данных)
22
Управление выполнением задач
3
24
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
Data Access& Integration
Grid ResourceAllocation &
ManagementIndex
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol
Protocol
CredentialMgmt
Ю У р Г У
МехМат
С П
Управление исполнением (GRAM) Общий интерфейс для планировщиков на
основе WS Unix, Condor, LSF, PBS, SGE, …
Обобщенно: интерфейс для управления процессами Формирование среды исполнения Загрузка данных Мониторинг и управление жизненным циклом Завершение работы, очистка
25
Ю У р Г У
МехМат
С П
GRAMservices
GT4 Java Container
GRAMservices
Delegation
RFT FileTransfer
Transferrequest
GridFTPRemote storage element(s)
Localscheduler
Userjob
Compute element
GridFTP
sudo GRAMadapter
FTPcontrol
Local job control
Delegate
FTP data
Cli
ent Job
functions
Delegate
Service host(s) and compute element(s)
Архитектура GT4 WS GRAM
SEGJob events
26
Ю У р Г У
МехМат
С П
GRAMservices
GT4 Java Container
GRAMservices
Delegation
RFT FileTransfer
Transferrequest
GridFTPRemote storage element(s)
Localscheduler
Userjob
Compute element
GridFTP
sudo GRAMadapter
FTPcontrol
Local job control
Delegate
FTP data
Cli
ent Job
functions
Delegate
Service host(s) and compute element(s)
Архитектура GT4 WS GRAM
SEGJob events
Сертификат может быть переданприложению
27
Ю У р Г У
МехМат
С П
GRAMservices
GT4 Java Container
GRAMservices
Delegation
RFT FileTransfer
Transferrequest
GridFTPRemote storage element(s)
Localscheduler
Userjob
Compute element
GridFTP
sudo GRAMadapter
FTPcontrol
Local job control
Delegate
FTP data
Cli
ent Job
functions
Delegate
Service host(s) and compute element(s)
Архитектура GT4 WS GRAM
SEGJob events
Сертификат может бытьпередан для авторизации в RFT
28
Ю У р Г У
МехМат
С П
GRAMservices
GT4 Java Container
GRAMservices
Delegation
RFT FileTransfer
Transferrequest
GridFTPRemote storage element(s)
Localscheduler
Userjob
Compute element
GridFTP
sudo GRAMadapter
FTPcontrol
Local job control
Delegate
FTP data
Cli
ent Job
functions
Delegate
Service host(s) and compute element(s)
Архитектура GT4 WS GRAM
SEGJob events
Сертификат может быть использован для аутентификацииВ GridFTP
29
Ю У р Г У
МехМат
С П
Производительность WS GRAM Время постановки базового задания GRAM
Pre-WS GRAM: < 1 секунды WS GRAM: 2 секунды
Максимальное количество заданий Pre-WS GRAM: 300 заданий WS GRAM: 32,000 заданий (максимум папок в
директории)
30
Ю У р Г У
МехМат
С П
Workspace Service: Службарабочего пространства
Политика
Клиент
Окружение
Задача
Согласование доступаИнициация задачиМониторинг задачиКонтроль задачи
Интерфейс Поставщик ресурса
31
Ю У р Г У
МехМат
С П
32
Задачи могут быть вложенные
Политика
Клиент
Среда
Интерфейс Поставщик ресурсов
Клиент
Клиент
32
Ю У р Г У
МехМат
С ПНапример
Физическая машинаОбеспечить аппаратныересурсы
Гипервизор/OS Установить гипервизор/OS
VM VM Установить виртуальнуюмашину
Инициация, управление и мониторинг на всех уровнях
JVM Установить контейнер
JVMУстановить службу
33
Ю У р Г У
МехМат
С П
Динамическое развертывание служб
Сообщество А
СообществоZ
…
• Групповые механизмы планирования• Распределение данных• Групповой менеджмент• Научные службы• ...
Требования:• Управлениегруппами• Устойчивость•Гарантированныересурсы• Изолированность(принцип«невмешательства»)
34
Ю У р Г У
МехМат
С П
Затраты на использование виртуальных машин
GRAM job
GRAM job in paused VM
Job in booted VM
35
Информационные службы4
37
Data MgmtSecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
Data Access& Integration
Grid ResourceAllocation &
ManagementIndex
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol
Protocol
CredentialMgmt
Ю У р Г У
МехМат
С ПМониторинг и обнаружение
Должны поддерживаться стандартные механизмы мониторинга и обнаружения служб WSRF/WSN предоставляют такие механизмы
Общая инфраструктура для сбора информации: MDS-Index: кешируемые Xpath запросы MDS-Trigger: выполнение действия по условию
Глубокая интеграция с контейнерами и службами Globus: каждая служба GT4 может быть обнаружена GRAM, RFT, GridFTP, CAS, …
38
Ю У р Г У
МехМат
С П
GT4 Container
Мониторинг и обнаружениеслужб GT4
GRAM User
MDS-Index
GT4 Cont.
RFT
MDS-Index
GT4 Container
MDS-Index
GridFTP
adapter
Регистрация идоступ WSRF/WSN
Особые протоколы дляне-WS сущностей
Клиенты(WebMDS)
Автомат.регистрацияв контейнере
WS-ServiceGroup
39
Ю У р Г У
МехМат
С П
Производительность сервера индекса По мере роста индекса MDS4, замедляется
время обработки запроса, хотя и менее чем линейно
Время ответа увеличивается в связи с увеличивающимся объемом передаваемых данных Ответ перестраивается под каждый запрос
40
Ю У р Г У
МехМат
С ППоставщики информации
Поставщики информации (information providers) GT4 собирают информацию с определенной системы и предоставляют в виде свойств ресурса WSRF
Количество поставщиков информации постоянно растет Ganglia, CluMon, Nagios SGE, LSF, OpenPBS, PBSPro, Torque
Множество попыток разработки новых поставщиков Например мониторинг сетей, систем хранения,
сенсоров
41
Ю У р Г У
МехМат
С ПВыводы GT442
Службы Java на Apache Axis плюс библиотеки и
обработчики GT
YourJava
Service
Вашаслужба(Python)
Вашаслужба(Java) R
FT
GR
AM
Del
egat
ion
Inde
x
Trig
ger
Arc
hive
r
pyGlobusWS Core
Ваша служба
(С)
C WS Core
RLS
Pre
-WS
MD
S
CA
S
Pre
-WS
GR
AM
Sim
pleC
A
MyP
roxy
OG
SA
-DA
I
GT
CP
Grid
FT
P
Службы на C, использующие библиотеки GT
СЕРВЕР
КЛИЕНТ
Совместимые сWS-I
сообщения SOAP
YourJavaClient
YourC
Client
YourPythonClient
Вашклиент(Java)
Вашклиент
(С)
Вашклиент(Python)
X.509 сертификаты =общая аутентификация
Хостинг на Python, библиотеки GT
YourJavaClient
YourC
Client
YourPythonClient
Вашклиент(Java)
Вашклиент
(С)
Вашклиент(Python)
Ю У р Г У
МехМат
С ПСсылки и литература
Я. Фостер, К. Кессельман, Д.М. Ник, С. Тьюке “ФИЗИОЛОГИЯ ГРИД”. Открытая архитектура грид-служб для интеграции распределённых систем. [http://www.gridclub.ru/library/publication.2004-11-29.8307957187/publ_file/]
Borja Sotomayor. The Globus Toolkit 4 Programmer’s Tutorial. November 2005. http://gdp.globus.org/gt4-tutorial/download/progtutorial-pdf_0.2.1.tar.gz]
Globus Toolkit 4.2.1 Release Manuals [http://www-unix.globus.org/toolkit/docs/4.2/4.2.1/]
43
Ю У р Г У
МехМат
С ППрезентации44
Ваши вопросы?
Спасибо за внимание!
Страница курса:http://dom.susu.ru/grid.htm
Радченко Глеб Игоревич, каф. СП, ЮУрГУ