© 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to...
Transcript of © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to...
![Page 1: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/1.jpg)
© 2004 Hewlett-Packard Development Company, L.P.The information contained herein is subject to change without notice
Walfredo Cirne Universidade Federal de Campina Grande
http://walfredo.dsc.ufcg.edu.brmailto:[email protected]
Computação em Grid usando OurGrid
![Page 2: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/2.jpg)
O que é um Grid?
Computational Grid (source of computational resources and services)
Computational Grid (source of computational resources and services)
![Page 3: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/3.jpg)
Para que serve um Grid?
![Page 4: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/4.jpg)
Para que serve um Grid?
![Page 5: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/5.jpg)
Para que serve um Grid?
![Page 6: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/6.jpg)
Para que serve um Grid?
![Page 7: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/7.jpg)
O Impacto de Grids
VR Simul
Grid Auditing
MegaCiclos
Databank Inc.
Mastercard
Embratel
![Page 8: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/8.jpg)
Estado Atual de Grids
• A idéia de Grid surgiu na comunidade de Computação de Alta Performance há pouco menos de 10 anos− Agora os primeiros Grids de Alta Performance
começam a entrar em produção
• Há 3 anos, o mainstream da computação percebeu a possibilidade de usar tecnologia Grid para transformar computação em serviço− A tecnologia Grid está se fundindo com Web
Services
![Page 9: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/9.jpg)
O que dá pra fazer hoje?
• Cada site mantém controle e escalonamento local
• É possível configurar o mapeamento de usuários globais para usuários locais
• Aplicações usam o Grid como um todo através de brokers (ou escalonadores de aplicação)
• Montar um Grid envolve uma negociação off-line
![Page 10: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/10.jpg)
Rodando uma Aplicação Globus
![Page 11: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/11.jpg)
O Projeto OurGrid
• Projeto desenvolvido em parceria pela UFCG e HP
![Page 12: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/12.jpg)
A Tecnologia OurGrid
• OurGrid é uma solução grid para execução de Aplicações Bag-of-Tasks
• Aplicações Bag-of-Tasks são aquelas aplicações cujas tarefas são independentes
• Não é viável fazer computação em grid de aplicações fortemente acopladas na Internet de hoje
![Page 13: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/13.jpg)
Aplicações Bag-of-Tasks
• Data mining• Pesquisa massiva (como quebra de chave e
sequenciamento de gens)• Varredura de parâmetros • Simulações• Fractais (como Mandelbrot)• Manipulação de imagem (como tomografia)
• E muitas outras…
![Page 14: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/14.jpg)
Diferenciais do OurGrid
• Montagem automática de grids− Evitando assim todo procedimento de
negociação off-line
• Escalonamento de aplicação (brokerage) que não depende de informações sobre a aplicação e sobre o grid
![Page 15: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/15.jpg)
Componentes do OurGrid
• MyGrid Broker: Permite um usuário utilizar todas as máquinas a que tem acesso
• OurGrid Community: Fornece acesso a máquinas dentro do COPAD
• SWAN: Segurança
![Page 16: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/16.jpg)
Arquitetura OurGrid
1, ... ,
n
User Interface
User Interface
Site ManagerSite Manager
SWAN
SandboxingSandboxingMyGri
d
SWAN
![Page 17: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/17.jpg)
OurGrid: Uma Rede de Favores
• Usuários locais sempre têm prioridade nos recursos locais
• Recursos ociosos são doados para comunidade
• A grande questão é como fazer esta doação de forma justa
![Page 18: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/18.jpg)
Evitando o “Gerson”
• É fundamental ter um mecanismo que encoraje of participantes a doarem seus computadores ociosos− Em sistemas como KaZaA, a maioria é “Gerson”
• OurGrid usa um sistema de reputação peer-to-peer− Todos os peer mantém um balanço local de todos
os peers conhecidos− Peers com maior balanço têm prioridade− O comportamento emergente do sistema como um
todo é “quanto mais você doa, mais você recebe”− Isso funciona sem requerer infra-estrutura
adicional
![Page 19: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/19.jpg)
A
B
C
D
E
Exemplo do OurGrid [1]
ConsumerQuery(broadcast)
ProviderWorkRequest
ConsumerFavorProviderFavorReport
*
*
* = no idle resources now
MyGrid
B 60
D 45
![Page 20: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/20.jpg)
Exemplo do OurGrid [2]
A
B
C
D
E
B 60
D 45
E 0
ConsumerQuery
ProviderWorkRequest
*
* = no idle resources now
*
MyGrid MyGrid
![Page 21: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/21.jpg)
E o “Gerson”?
• Epsilon is a fração dos recursos consumida por “Gersons”
![Page 22: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/22.jpg)
Equidade entre colaboradores
![Page 23: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/23.jpg)
MyGrid: o broker do OurGrid
• Para fechar meu doutorado (em 2000), tive que rodar 600.000 simulações independentes
• Dado que as simulações eram independentes, eu tinha a aplicação perfeita para o grid
• Eu estava em um laboratório grid de ponta, mas não consegui usar o grid− Você precisa da negociação off-line para ter um
grid
![Page 24: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/24.jpg)
Objetivos do MyGrid
• MyGrid possibilita a um usuário de aplicações Bag-of-Tasks usar qualquer computador a que ele tem acesso para rodar suas aplicações
• O grid de Zé são todas as máquinas a que Zé tem acesso− Não é necessário ter nenhuma infra-estrutura
grid especial− Mas infra-estrutura grid pode ser usada (se
estiver disponível)
![Page 25: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/25.jpg)
Arquitetura MyGrid
HomeMachine
Scheduler
Grid Machine Interface
GlobusProxy
UAProxy
GridScript
...
Grid Machine
GlobusGRAM
Grid Machine
UserAgent
Grid Machine
...
![Page 26: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/26.jpg)
Fatorando com MyGrid
• initput Fat.class $PLAYPEN
•grid1java Fat 3 18655 34789789799 output-$TASK
•collectget $PLAYPEN/output-$TASK .
•grid2java Fat 18655 37307 34789789799 output-$TASK
![Page 27: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/27.jpg)
Como escalonar no MyGrid?
• Escalonamento tipicamente se baseia em informação sobre a plataforma (no caso, o grid) e sobre a aplicação (ex: tempo de execução da tarefa)
• Todavia, depender de informação vai contra a idéia de usar qualquer recurso ao qual o usuário tenha acesso− A Grid Machine Interface teria que ser bem mais
sofisticada, e portanto mais difícil de implementar
• Além disso, pedir informação sobre a aplicação ao usuário tornaria o sistema mais difícil de usar
![Page 28: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/28.jpg)
Escalonando sem Informação
• Work-queue with Replication− Tarefas são enviadas a processadores
disponíveis− Quando não há mais tarefas a iniciar, tarefas
são replicadas nos processadores disponíveis− A primeira replica a terminar é a “execução
oficial”− As demais replicas são canceladas− É possível estabelecer um limite para replicação
• Replicação evita ficar esperando por máquinas lentas/sobrecarregadas
![Page 29: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/29.jpg)
Work-queue with Replication
• 8000 experimentos• Experimentos variaram em:
− heterogeneidade do grid− heterogeneidade da aplicação− granularidade da aplicação
• Sumário dos resultados: Sufferage DFPLTF Workqueue WQR 2x WQR 3x WQR 4x
Average 13530.26 12901.78 23066.99 12835.70 12123.66 11652.80 Std. Dev. 9556.55 9714.08 32655.85 10739.50 9434.70 8603.06
![Page 30: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/30.jpg)
Granularidade da Aplicação
![Page 31: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/31.jpg)
Overhead do WQR
• Obviamente, a desvantagem do WQR são os recursos desperdiçados pelas replicas canceladas
• Recursos desperdiçados:
WQR 2x WQR 3x WQR 4x Average 23.55% 36.32% 48.87%
Std. Dev. 22.29% 34.79% 48.93%
![Page 32: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/32.jpg)
Prova de Conceito
• Durante um período de 40 dias, rodei 600,000 simulações usando 178 processadores espalhados por 6 sites nos EUA
• As simulações executaram por 16,7 dias• Meu computador desktop teria levado 5,3
anos processando as simulações• Speed-up = 115.8 (com 178 processadores)
![Page 33: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/33.jpg)
MyGrid na Luta contra AIDS
B,c,F
HIV-2HIV-1
M
O ABCD FGHJK
N?prevalent in Europe and Americasprevalent in Africa
majority in the world
18% in Brazil
![Page 34: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/34.jpg)
HIV protease + Ritonavir
Subtype B
RMSD
Subtype F
![Page 35: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/35.jpg)
O MyGrid da luta contra AIDS
• 55 máquinas em 6 sites no Brasil e EUA• Tarefa = 3.3 MB entrada, 1 MB saída, 4 a
33 minutos de execução dedicada• Rodou 60 tarefas em 38 minutos• Speed-up = 29.2 (com 55 máquinas)
![Page 36: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/36.jpg)
Segurança no OurGrid
• Na comunidade OurGrid, um site roda código desconhecido que veio do grid
• Claramente, isto é um (grande) risco de segurança− Pode afetar dados e recursos locais das
máquinas− A máquina pode ser usada para atacar outras
• Aproveitamos o fato de aplicações Bag-of-Tasks só precisarem se comunicar para receber a entrada e devolver a saída para rodar a aplicação do grid em um sandbox sem acesso a rede
![Page 37: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/37.jpg)
Uma segunda linha de defesa
• Nós também rebootamos a máquina para adicionar uma segunda linha de defesa
• Isto também tem a vantagem extra de possibilitar o uso de um SO diferente− Ou seja, mesmo que a máquina seja Windows,
nós ainda podemos ter Linux
• Retornar ao SO nativo é muito rápido graças a hibernação
![Page 38: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/38.jpg)
Arquitetura SWAN
reboot
Guest OS
Grid OS
Grid Middleware
Grid Application
Host OS
NativeApplication
reboot
Guest OS
Grid OS
Grid Middleware
Grid Application
Guest OS
Grid OS
Grid Middleware
Grid Application
Host OS
NativeApplication
Host OS
NativeApplication
![Page 39: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/39.jpg)
OurGrid Status
• A solução OurGrid é software de código aberto (licença GPL), disponível em www.ourgrid.org− Contando com colaborações externas do Inst.
Eldorado, Inst. Atlântico, e UFRGS
• OurGrid está na versão 3.0.2− É a 9ª versão disponível− É a 3ª versão a disponibilizar a rede de favores− Aproximadamente 200 downloads− Grid aberto em produção desde de dezembro
• SWAN está em testes finais− Com lançamento dia 30 de abril de 2005, na versão
3.1
![Page 40: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/40.jpg)
status.ourgrid.org
![Page 41: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/41.jpg)
Projetos que usam OurGrid
• Segurança Hídrica, liderado pela UFCG• Segurança Pública, liderado pela UniFor• BioPAUÁ, liderado pelo UniSinos• Mineração de dados, liderado pela UniSantos• Raciocínio Bayesiano, liderado pela USP• Uso do solo amazônico, liderado pela UNIR• Ruas de POA, liderado pela PUC-RS• HIV Brasileiro, liderado pela LNCC/UFRJ• Saúde em Recife, liderado pelo UFPE/CESAR
![Page 42: © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.](https://reader035.fdocuments.in/reader035/viewer/2022081518/552fc10b497959413d8c2f8d/html5/thumbnails/42.jpg)
© 2004 Hewlett-Packard Development Company, L.P.The information contained herein is subject to change without notice
Muito Obrigado!
Mais em www.ourgrid.org