Grid-ComputingMehr als nur ein Hype?

Benno Baumgartner & Reto Ghioldi

(ETH Zürich)

2

Informatik zur Problemlösung

• Mathematische Berechnungen

• Datenverwaltung

• Informationsverarbeitung und -aufbereitung

3

Applikation

Wunsch des Applikationsentwicklers

1 Problem 421 Antwort

Super Black BoxSuper Black Box

Adapter zwischen Applikation und „dort wo die Lösung

errechnet wird“

4

Praxis: Engpass Rechenleistung

1 Problem42

1 Antwort

1 Computer

Engpass

5

Erste Lösungsmöglichkeit

1 GROSSER Computer

1 Problem 421 Antwort

6

Zweite Lösungsmöglichkeit

1 Problem 421 Antwort

1‘000‘...‘000 Computer

7

Implementationsaufwand?

1 Problem 421 Antwort

1‘000‘...‘000 Computer

Aufwändig zu realisieren

Implementations-aufwand 0

8

???

Themen dieses Abends

• Wie funktioniert die zweite Variante genauer (Giesskanne / Trichter)? Wir werden eine Technik genauer anschauen ( Grid-Computing).

• Wie stehen die beiden gezeigten Varianten zueinander im Vergleich?

• Bei welcher Art von Problemen macht es Sinn, viele kleine Computer einzusetzen. Wo eignet sich ein einzelner grosser Computer besser?

• Wie sieht es bei den zwei Varianten bezüglich dem Preis-Leistungsverhältnis aus?

9

Ablauf

Wer Thema Was Zeit

Reto Bei der Natur und bisherigen Technik spicken Vortrag 5‘

BennoBrückenschlag zur Informatik:

Grid-Computing auf den Punkt gebrachtVortrag 10‘

Reto Wir spielen selbst „Grid-Computing“ Spiel 20‘

Reto Problembehandlung beim Grid-Computing Vortrag 10‘

Benno Vergleich der beiden Varianten Vortrag 10‘

Benno Ausnutzung von ungenutzten Ressourcen Spiel 10‘

Benno Anwendungsmöglichkeiten Vortrag 10‘

10

Verteiltes Arbeiten in der Natur

Ameisen• Jeder Stamm hat seinen

eigenen Ameisenbau

• Die Königin gibt den Auftrag: (Nestbau & Nahrungssuche)

• Die Arbeiterinnen teilen die Arbeit untereinander auf

• Jede Ameise handelt eigenständig zum Wohl des Stammes

• Die Ameisen kommunizieren untereinander

• Unter den Ameisen eines Stammes herrscht Vertrauen

• Einen ganzen Ameisenstamm auszulöschen ist sehr schwierig

11

Eigenschaften bei Ameisen

• Der Stamm ist (fast) dezentral organisiert

• Das System ist sehr ausfallsicher

• Intelligente Ressourcenaufteilung

• Standardisierte Kommunikation zwischen den einzelnen Individuen

• Sicherheit und Vertrauen ist im Bau von zentraler Bedeutung

• Eine Arbeitseinheit ist billig in der Herstellung

• Skalierbarkeit durch einfaches Hinzufügen neuer Ameisen und Bauvergrössern

Ameisen Computer• Es wird im Verbund kein Server

vorausgesetzt

• Das System ist sehr fehlertolerant und manipulationssicher

• Computer-Ressourcen werden geteilt (Speicher, Drucker,...)

• Basis von offenen Standards wie IEEE (Ethernet), Internet

Engineering Task Force (TCP/IP, RFCs), W3C (XML, SOAP), etc.

• AAA (Access policy, Authentication, Authorization)

• Auch bei vielen teilnehmenden Computern tiefe Kosten

12

Black Box in der Technik

Stromnetz (engl. Power-Grid)

Super Black BoxSuper Black Box( )

13

Eigenschaften beim Stromnetz

• Die Infrastruktur des Stromnetzes ist an vielen Orten schon gegeben

• Es ist dem Konsument egal, wo und wie der Strom erzeugt wurde

• Man kann sich auf das Stromnetz verlassen (Spannung, etc).

• Man kann den Strom in seinen eigenen Entwicklungen/Geräten weiterverwenden

• Ende Jahr gibt‘s eine Stromrechnung

Parallelen zur Computerwelt?!?

14

Zwei Beispiele

1. Seti@home

2. fightAIDS@home

15

Seti@home

www.setiathome.com

16

Übersicht

BerkeleyArecibo radio telescope

Seti@home Seti@home Seti@home

17

Seti@home Demo

18

Statistik

Totaldie letzten 24 Stunden

Benutzer 5’026’233 1’040

Total CPU time 1’967’136 Jahre 1’231 Jahre

Fliesskomma Operationen

5,121021 5,91018 (69,2 Tflops)

1 Tflops = 1 Billion Fließkomma - Operationen pro Sekunde.

19

Fight AIDS@home

fightaidsathome.scripps.edu

20

Übersicht

MedikamentOlson Labor

Protease Blocker?

HIV

Test

Test

Test

??

21

Zusammentragen

Was zeichnet ein Grid aus?

22

Grid: Definition

Zumindest der Versuch einer Definition

[Hype-Kurve nach Gartner Goup]

heute

23

Der Traum

Nur noch ein riesiger virtueller Computer:

Das Grid

Jeder kann soviel Rechenleistung beziehen

wie er gerade braucht, egal wie schnell seine

Hardware ist.

24

Umsetzung: Übersicht

Benutzer

1 Computer

25

Grid: Definition

1. Ressourcen werden koordiniert, die nicht einer zentralen Kontrolle unterliegen.

• Verschiedene Organisationen, verschiedene Besitzer, verschiedene Länder...

2. Standardisierte, offene, allgemeine Protokolle werden verwendet.

• Autentifizierung, Autorisation, Ressourcen verwalten.

3. Stellt nicht triviale Dienste zur Verfügung.• Ein Grid ist mehr als nur die Summe der

Einzelteile.

26

Spiel

• Jeder von uns repräsentiert einen Computer

• Wir zwei haben ein beinahe unlösbares Problem

vor uns liegen, das wir mit Hilfe von euch lösen

möchten

• Wir erstellen daraus Teilprobleme und verteilen

diese euch ( kleine Zettel)

• Eure (Teil)Antworten gebt ihr uns unmittelbar

zurück ( vorne auf den Folien eintragen gehen

oder jemandem vorne zurufen )

Was passiert jetzt...

27

Erkenntnisse aus dem Spiel

• ausbleiben

• mehrfach und/oder in verschiedener Form beim

Ziel eintreffen (was stimmt jetzt?)

• korrumpiert worden sein ( Hacker)

• annähernd richtig eintreffen ( Bitfehler)

• mit grosser Verspätung eintreffen

Antworten können...

28

Massnahme 1

Antworten können...

• ausbleiben

Lösung:

Verwendung eines Zeitstempels /

Timeouts.

29

Massnahme 2

Antworten können...• mehrfach und/oder in verschiedener Form beim Ziel eintreffen

(was stimmt jetzt?)

Lösung:

Vergleichen der einzelnen

Resultate mit allfälligem

Mehrheitsentscheid oder

erneutem Berechnen.

30

Massnahme 3

Antworten können...• korrumpiert worden sein ( Hacker)

Lösung:

Erneutes senden der Anfrage.

Die Anfrage landet dann aber

nicht zwingend wieder beim

gleichen Computer.

Dave_Anderson.wav

31

Massnahme 4

Antworten können...• annähernd richtig eintreffen ( Bitfehler)

Lösung:

Mittels mathematischen Verfahren

können Fehler detektiert und in

gewissem Masse auch korrigiert

werden.

32

Massnahme 5

Antworten können...• mit grosser Verspätung eintreffen

Lösung:

Erneutes senden der Anfrage.

Die Anfrage landet dann aber

nicht zwingend wieder beim

gleichen Computer.

33

Preis/Leistung von Grid

Vergleich von

• Supercomputer• Cluster• Grid

34

Top 500 Liste (Stand: 21.6.2004)

Organisation Hardware/Prozessor Peak Tflops

1 Earth Simulator Center

Japan

Earth-Simulator

5120

40960

2 Los Alamos National

Laboratory

USA

ASCI Q - AlphaServer

SC45, 1.25 GHz

8192

20480

3 Virginia Tech

USA

1100 Dual 2.0 GHz Apple

G5

2200

17600

www.top500.orgSuper Computer

Cluster

35

Top 500 Zukunft (2007)?

Organisation Hardware/Prozessor Peak

1 CERN

Schweiz u.a.

LHC Grid

~70‘000

????

2 ? Grid? ?

3 ? Grid? ?

36

Der Traum

Keine Top 500 Liste mehr, nur noch ein riesiger virtueller

Computer:

Das Grid

37

Kosten Earth Simulator

Klima- und Erdbebensimulationen

Bau:

Betrieb:

Bauzeit:

350 Millionen $

? (10 Millionen)

5 Jahre

38

Kosten BigMac

Bau:

Betrieb:

Bauzeit:

Forschung an der Virgina Universität

5.2 Millionen $

? (0.5 Millionen)

2 Tage

39

Kosten LHC Grid

Auswertung von Teilchenbeschleuniger LHC

Bau:

Betrieb:

Bauzeit:

02-05: 10 Mio Euro (EU)05-07: ??

? (1 Million)

6 Jahre

40

Novartis and the Grid

• Zwei Texte

• Novartis

• The Datagrid

• Zu zweit, jeder liest einen der Texte

• Danach diskutiert miteinander über eure Texte

41

Geeignete Probleme für Grids

1. Hoher Rechenaufwand

2. Geringe Bandbreite

3. Verfügbarkeit nicht garantiert!

• Viren

4. Geschwindigkeit nicht garantiert!

• Moorhuhn

5. Zerlegbar in Teilprobleme

42

Beispiele

• Simulationen dynamischer Systeme (Erdbeben)• Auswerten von Messergebnissen (Seti, LHC)• Simulation von Medikamenten (protease

blocker)• Dekodieren von Gensequenzen (Human Genom

Projekt)• Berechnung von Proteinfaltung• Datenbanken optimieren• Sortieren von Daten

• ...

43

Grid Frameworks

• mygrid.sourceforge.net [mygrid.sourceforge.net]– Open Source– Grid Client (java/.net/mono)– Grid Middleware (.net/mono)

• Grid MP Enterprise [www.ud.com]– Kommerziell– Windows, Linux, AIX, Solaris– Lizenz für 100’000 Clients

• Globus Alliance [www.globus.org]– Initiative von verschiedenen Universitäten

44

Globus Beispiel

Lässt meinprogramm für maximal 4 Stunden auf 5

Rechner laufen, die mindestens 64MB Speicher haben.

globusrun -r resource_broker_name“&(count=5)

(max_time=240) (memory>=64) (executable=meinprogramm)

(stdin=https://quad:1234/~/myin) (stdout=/home/bester/output) (stderr=https://quad:1234/stdout)”

45

MyGrid Architektur

46

MyGrid GUI

47

MyGrid XML

48

Was haben wir heute gesehen?

• Was versteht man unter dem Begriff Grid

• Beispiele für Grid

• Probleme eines Grid

• Vergleich Supercomputer/Cluster/Grid

• Architektur eines Grids

49

Ende

Vielen Dank für eure Aufmerksamkeit

benno@student.ethz.ch

&

ghioldir@student.ethz.ch