OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

36
Photo: Paul Dekkers Federated and green capacity in the cloud SURFnet IaaS developments Paul Dekkers Dé Onderwijsdagen 2012, November 13

Transcript of OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Page 1: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Photo: Paul Dekkers

Federated and green capacity in the cloud

SURFnet IaaS developments

Paul DekkersDé Onderwijsdagen 2012, November 13

Page 2: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

About SURFnet

2

CommunitiesCollaboration(Video)conferencing / MMOnline video, e-learningMailinglistsMonitoringMail-filteringWireless, eduroamAuthentication (federated)Computing (cloud, virt., stor.)NTPDNS and resolvingSecurityIP network (IPv6!)Optical lightpathsLo

wer

laye

rs

Mid

dlew

are

E

nd-u

sers

/ A

pps

the network, and …

… just some examples

Page 3: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

ICT & (not so) green

3

Page 4: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Global ICT footprint

4

="

Gartner, 2007

Page 5: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

ICT & green: enabler

5

optimal driving routes

tele-working/learning

green/smart grid

Page 6: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

ICT enabler: remote conferencing

6

Page 7: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Videoconferencing on steroids

7

Page 8: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Power consumption of the network

8

Page 9: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Long distance conference

9

Page 10: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

SURFnet & green

10

Office% Data%centres%,%services%

Transporta2on%,%commute%,%on%mission%

Backbone%network%

Page 11: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Universities and Green: example

11

University of Groningen

~5 MWh usage annually

PUE from 1.483 to 1.18

Annual savings over 150.000 euro

Aim to increase savings to 300k

What did they do?

VirtualizationFaster replacement of serversRaise temperatureOptimize coolingOptimize configuration

SUR

Fnet

Bes

t Pr

acti

ces

Best PracticeICT-scan helpt RUG verduurzamenHet IT-centrum van de Rijksuniversiteit Groningen (RUG) wordt steeds groener.

Bij de verbouwing en vernieuwing in 2010 is aan duurzaamheid specifiek aan-

dacht besteed, onder andere met een ICT-scan. Hans Gankema, hoofd server-

infrastructuur, was verantwoordelijk voor dit deelproject. ‘Er viel nog heel wat te

winnen op het vlak van duurzaamheid’.

Rekenhallen duurzamerHet Donald Smits Centrum voor Informatie Technolo-gie (CIT) biedt IT-diensten, met name aan de RUG en daarnaast aan (onderwijs)instellingen in de regio. Het CIT levert kantoorautomatisering, maar ook reken-kracht voor wetenschappelijke projecten. Voorbeel-den daarvan zijn LOFAR, Target en BiG Grid. Voor dit soort projecten heeft het CIT een supercomputer en diverse grote Linux High Performance Computing clusters in huis.

Het CIT beschikt over twee fysiek gescheiden reken-hallen om de diensten te kunnen leveren. Deze reken-hallen gebruiken uiteraard veel energie. Toen ze in 2010 vernieuwd werden omdat de capaciteit niet meer aan de vraag voldeed, was verduurzaming van de ICT een deelproject. Hoe zorgen we ervoor dat de rekenhallen zo weinig mogelijk energie verbruiken?

Gankema: ‘Om erachter te komen op welke vlakken energiebesparing mogelijk was, hebben we in 2009

Page 12: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Universities and Green: example

12

Universitair Medisch Centrum Utrecht

youtu.be/m8y4MhC3gOEyoutu.be/PHuY8cmZJB4

Density vs. floorspace

Designed for PUE <1.1current loadPUE ~1.2

Use free aircooling,chimneys

Pay as you grow

Page 13: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

OpenDCME model: evaluate datacenter

13

een ICT-scan laten uitvoeren op de energie-e!ciëntie van de rekenhallen. Deze scan hebben we gebruikt als nulmeting, op basis waarvan we verbeteringen hebben doorgevoerd. Overigens wilden we ook beter kunnen meten welke projecten hoeveel energie ver-bruiken. Die gegevens hebben we nodig om kosten door te kunnen berekenen, met name als het gaat om Europees gesubsidieerde projecten zoals LOFAR.’

AanbevelingenDe ICT-scan kijkt naar de volgende aspecten:

(stroomvoorziening, koeling, bezettingsgraad)

netwerk)

en gemonitord van de ICT-infrastructuur?

e!ciëntie (bijvoorbeeld de afschrijvingsduur van apparatuur)

De ICT-scan leverde het CIT een schat aan informatie op. Dit radardiagram biedt daarvan een samenvatting:

VerbeteringenHet CIT is aan de slag gegaan met de aanbevelingen van de ICT-scan, in nauwe samenwerking met het fa-cilitair bedrijf van de RUG (verantwoordelijk voor koelingen, stroomvoorziening enzovoort) en de dienst Vastgoed en Investering (verantwoordelijk voor totstandkoming van de gebouwen). Gankema: ‘Alleen door deze gezamenlijke inspanning konden we de energiebesparing realiseren. Extra uitdaging was dat de prioriteiten van deze afdelingen uiteenlopen.’

Enkele tips voor verbeteringen die bij het CIT veel e"ect gehad hebben:

Virtualiseren

één fysieke server kunnen tientallen virtuele servers draaien, waarvoor vroeger per stuk een fysieke server nodig was. Zo zijn bij het CIT nu honderden servers minder nodig.

‘ De scan liet ons zien dat er veel te winnen was. Door de voorgestelde verbeteringen door te voeren, moest het mogelijk zijn om bijna 75% op de overheadkosten voor energie te besparen’, aldus Gankema.

Page 14: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

SURFnet & green, cloud

• Taskforce cloud- Cloud landscape, strategy (and is cloud green?)- Community cloud- Various vendors/operators

• Experience with own infrastructure, services,public cloud providers

Where’s the glue for our community

• Some institutions expect to phase out on-campus datacenter

14

Page 15: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

the Cloud spectrum

15

Traditional IT IaaS PaaS

Storage

Servers

Networking

O/S

Middleware

Virtualization

Data

Applications

Runtime

Storage

Servers

Networking

O/S

Middleware

Virtualization

Data

Applications

Runtime

You

man

age

Man

aged

by

vend

or

Man

aged

by

vend

or

You

man

age

You

man

age

Storage

Servers

Networking

O/S

Middleware

Virtualization

Applications

Runtime

Data

SaaS

Man

aged

by

vend

or

Storage

Servers

Networking

O/S

Middleware

Virtualization

Applications

Runtime

Data

© Microsoft

Page 16: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

SURFnet & green, cloud

• Experiments with community IaaS, try use-cases,find enablers for community- SURFnet provided- Commercial operator

• Secure- Consider legal implications:

European Economic Area

• Stimulate Green IT

16

Page 17: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Cloud deployment models

17

Community Cloud: external part (optimal, made available) for specific usergroup

Page 18: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Community cloud drivers

18

• Demand for cloud services• Service improvement

- Ease of use- Federated authentication- No vendor lock-in

• Cost reductionefficiency, procurement

• Legal aspects• Integration with network

• Emphasis on Green computing

• For full or hybrid use, disaster recovery, …

Page 19: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

SURFnet institutions and continuity

• This scared many in 2002:

• It’s still a “hot topic”(How do we ensure continuity best?)

19

Page 20: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

IaaS cloud use-cases tested

• Failover primary website to Iceland for Royal Library, planned downtime, automated via GSLB

• Full website failover with replicated data for University of Groningen

• Integration of servers in campus network, Open University

• Integrate in curriculum, final report = results in a VMDNA Genome research @Inholland hogeschool

• Provide VMs to 160 CS students (deprovisioning anyone?)

• Use for various lab-work @SURFnet:ADFS, Sharepoint, filesender, secure texting, unhosted, mail-scanning, DNS, DNS traffic analysis, optic fiber network modeling...

20(yes, too much text on this slide, that’s intentional... really!)

Page 21: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

IaaS use-cases: student DNA research

21

• Integrate in curriculum, final report = results in a VMDNA Genome research @Inholland hogeschool

Page 22: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Brokered model

22

Institution A

Institution B

Institution C

IaaS Broker / Operator

IaaS provider X

IaaS provider Y

Page 23: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Easier, federated authentication

23

Page 24: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

GreenQloud, friendly portal

24

Page 25: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Network integration

• Networking to commercial IaaS cloud- Via Netherlight, NORDUnet, …- Use NREN-network capabilities (lightpaths)

- Start machines behind own firewall?- Use NREN IP-space?

• Reduce networking cost• Investigate

latency impact

Page 26: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Influence on applications

• Applications run outside network,different firewall or behind own firewall

• Latency

26

VLE?

gra

ph

from

Eq

uini

x

Page 27: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Green IT (1)

• Efficiency of cloud services (containers, pay-per-use stimulus)• Power source / mix is important, not only about PUE

27

Consider the GreenPeace report on Clouds

Page 28: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Green IT (2)

• GreenQloud’s focus on Green (not just energy source)• Use other countries strengths

28

Page 29: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Some countries get energy from water…

In NL, water costs energy… better bringbits to the energy, than energy to bits?

Page 30: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Proportion renewable

100% (70% hydro, 30% geo)(and cheap)

54%

62%

http

://bi

t.ly/

GS

R20

10 fi

gure

s fo

r 201

0 el

ectro

, not

hea

ting

Page 31: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

DC risk assessment

Energy security, bandwidth, tax, political stability, education, water, ...

Cus

hman

& W

akefi

eld

res

earc

h

Page 32: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

GreenQloud (report on energy)

Page 33: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

European Economic AreaPersonal data must stay inside

Important for Dutch privacy law!

Iceland = OK

so… what about US suppliers…

Page 34: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Example: BMW’s HPC in Iceland

Page 35: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

Conclusion

• Easier access lowers the barrier

• Setting an example- other IaaS providers- institutions- NRENs- This is just a start...!

• Emphasis on green!

• Where is your DC in ... years?

35

Page 36: OWD2012 - 2 - Computercapaciteit in de cloud, maar dan wel echt groen - Paul Dekkers

© Paul Dekkers.

paul.dekkers[at]surfnet.nl

Questions? (Before you fly away...)