Patchen der Exadata - eine Herausforderung - doag.org · For all system firmware and software on...

Patchen der Patchen der Patchen der Patchen der ExadataExadataExadataExadata ---- eine Herausforderung?eine Herausforderung?eine Herausforderung?eine Herausforderung?Reinhold Boettcher, Systemarchitekt Infrastruktur, arvato Systems

Lars Hendrik Bußmann, Systemarchitekt Infrastruktur, arvato Systems

2 | Reinhold Boettcher | arvato Systems GmbH | DOAG Exaday 2015

Agenda

� arvato Systems GmbH – wer ist denn das?

� Systemübersicht

� Historie

� Vorgehensweise

� Zeitplanung

� weitere Herausforderungen

� Fazit


FA

CT

S &

FIG

UR

ES New York

GüterslohToronto

Birmingham

San Francisco

Kuala Lumpur

Shanghai

Amsterdam

Zurich

Beijing

Nanjing

GuangszhouDuncan

Wien

Salzburg

Los Angeles

UMSATZ

€ 382 M

MITARBEITER

> 3.000

STANDORTE

> 25

GLOBALE REICHWEITEGERMANY, USA, CHINA

Hauptsitz

Weitere Standorte in Deutschland:z. B. Baden-Baden, Bielefeld, Berlin,

Bremen, Dortmund, Düsseldorf, Hamburg,

Kiel, Köln, Leipzig, München, Neckarsulm,

Neuss, Rostock, Walldorf

Standort


InfrastrukturServices

System-integration

Consulting• Management Consulting• Business Consulting• Technologie Consulting• Prozessberatung

• Digitale Transformationslösungen• IP-basierte Lösungen für fokussierte Branchen• Cloud, Big Data, Mobile Solutions• ERP, BW, WMS, CRM, Finance, etc.• Technologie-Expertise/Partner: SAP,

Microsoft, Adobe, hybris, etc.

• Infrastrukturberatung & -planung• Application Management • Managed Services• Hosting• Technologie-Expertise / Partner: SAP,

Adobe, Microsoft

ServiceangebotServiceangebot BranchenfokusBranchenfokus

Media

Commerce

Utilities

Public Sector

Manufacturing


Systemübersicht

� eine X2 Half Rack + X2 Storage Expansion Rack

− aufgerüstet von einem Quarter Rack

− 2 RAC Datenbanken (Produktion und Integration), 2 Single-Instances (Test)

− Ressourcensteuerung über DBRM/IORM

� zwei X2 Quarter Rack mit X4 Storage Server

− 3 RAC-Datenbanken + Standby-DB

� eine X3 Quarter Rack mit X4 Storage Expansion Rack Produktion

+ zugehörige X3 Eighth Rack als Testumgebung

− Konsolidierung von 7 Single-Instances


Historie (1)

� erste Exadata mit komplettem ACS Supportpaket (Sept. 2011)

– 4 Wochen Consulting vor Ort

– Patch Support für 12 Monate

� zweite Exadata nur mit Patch Support (Mai 2012)

� Patching mit ACS-Support vor Ort

� immer derselbe Support-Engineer (Vertrauensverhältnis!)

� Nutzung internes Oracle-Netzwerk durch ACS-Support

� immer mit proaktivem Servicerequest


Historie (2)

� Auslaufen der ACS-Supportverträge

� zwei weitere Maschinen ohne ACS-Supportvertrag

� Alternativen?

– weitere Unterstützung durch ACS vor Ort

– telefonische Bereitschaft durch ACS

⇒ Kosten


Historie (3)

� Unterschiede zum „normalen“ Patchen von Oracleumgebungen?

– Betriebssystem? spez. Updateskripte

– RAC? kein Unterschied

– Datenbanken mit unterschiedlichem Oraclehome? kein Unterschied

– Aber: Storage Server Betriebssystem + DB-Software

– Aber: Infinibandswitche

– Aber: KVM, PDU

� Sehr gute Dokumentation!

� keine negativen Erfahrungen während vergangener Aktionen

=> Do it yourself


Vorgehensweise (1)

� Einstieg: Exadata Database Machine and Exadata Storage Server Supported Versions (Doc ID 888828.1)

� wird ständig aktualisiert (auch außerhalb von PSU-Zyklen)

� für jede Komponente und Version der notwendige Patch

� Kompatibiltätsmatrix

� welche Patche werden benötigt?

� Verweis auf Upgradedokumente


Vorgehensweise (2)

� Beispiel

Component Latest Release

Exadata Storage Server

Note: All system firmware and software is automatically maintained by the Exadata

software, unless otherwise indicated. Do NOT manually update firmware or software

unless directed by Oracle Support.

Exadata Storage Server 12c

Exadata Storage Server software 12.1.2.1.0 (Note 1947476.1)

Recommended to use Exadata 12c with Database 12c

Exadata Storage Server 11g

Exadata Storage Server software 11.2.3.3.1 (Note 1667414.1)

Database Server

Note: Oracle Database and Grid Infrastructure software patches in addition to those

listed in this document may be applied as required. If OPatch reports a conflict, you

should not force apply your patch. Contact Oracle Support for assistance to resolve

the patch conflict.

For all system firmware and software on database servers, unless a specific version

is indicated, a later version may be installed provided the requirements in the

column to the right are met, including those for Oracle Database and Grid

Infrastructure.

Oracle Database 12c Release 1 (12.1.0.2) Patch Set 1

12.1.0.2.4 (Jan 2015) Database Patch for Engineered Systems and Database In-Memory


Oracle Database 12c Release 1 (12.1.0.1)

12.1.0.1.6 (Jan 2015) Grid Infrastructure Patch Set Update (GI PSU)


Oracle Database 11g Release 2 (11.2.0.4) Patch Set 3

11.2.0.4 Database Patch for Exadata (Jan 2015 - 11.2.0.4.15)

Oracle Database 11g Release 2 (11.2.0.3) Patch Set 2

11.2.0.3 Quarterly Database Patch for Exadata (Jan 2015 - 11.2.0.3.26)

System firmware and software

Refer to Database Server Operating System section below.


Vorgehensweise (3)

� Download der benötigten Patche

– Bundlepatch

– und/oder Einzelpatch

� Verteilen der Patche auf alle Maschinen (identische Verzeichnisse)

� Spiegeln der neuen Exadata Repos via Oracle ULN

� Anpassen der internen Dokumentation

– Installationsverzeichnis

– Patchnummern


Vorgehensweise (4)

� Storage Server

# auf allen DB-Servern

crsctl stop crs

cd $PATCHDIR/patch_12.1.2.1.1.150316.2

#cell_group Datei anlegen

#unter root ausführen

./patchmgr -cells cell_group -reset_force

./patchmgr -cells cell_group -cleanup

./patchmgr -cells cell_group -patch_check_prereq

./patchmgr -cells cell_group -patch [-rolling]

./patchmgr -cells cell_group –cleanup

crsctl start crs

#Kontrolle mit “imageinfo”

=> “./patchmgr -cells cell_group -patch_check_prereq“ vorab einmal ausführen!!!!!


Vorgehensweise (5)

� Infiniband

cd $PATCHDIR/patch_12.1.2.1.1.150316.2

./patchmgr -ibswitches -upgrade -ibswitch_precheck

./patchmgr -ibswitches -upgrade


Vorgehensweise (6)

� Database Server#neuestes dbnodeupdate.sh im Patch 16486998

#Cluster auf DB-Knoten stoppen

#Prüfen

cd $OS_PATCHDIR/dbnodeupdate-4.44

./dbnodeupdate.sh -u -l http://<Exadata-Repository> -v

#Durchführen


./dbnodeupdate.sh -u -l http://<Exadata-Repository>

#Eigene RPM Pakete updaten (z.B. Backup-Client)

#Post Commands:


./dbnodeupdate.sh -c


Vorgehensweise (7)

� Grid Infrastructure Home#neuestes opatch im Patch 6880880

# zusätzliche Patche installiert?

# im Patchset enthalten? oder Patch für aktuellen laden/anfordern

#Response-File erzeugen

cd $DB_PATCHDIR

$ORA_CRS_HOME/Opatch/ocm/bin/emocmrsp

cd $DB_PATCHDIR/20059387

#OPatch Conflict Check

opatch prereq CheckConflictAgainstOHWithDetail . . .

#OPatch SystemSpace Check

opatch prereq CheckSystemSpace . . .

#Durchführen

opatch auto $DB_PATCHDIR/20059387 -oh <Grid-Home> -ocmrf

$DB_PATCHDIR/ocrm.rsp

#Prüfen

opatch lsinventory


Vorgehensweise (8)

� Database Home#neuestes opatch im Patch 6880880

# zusätzliche Patche installiert?

# im Patchset enthalten? oder Patch für aktuellen laden/anfordern

cd $DB_PATCHDIR/20059387

#OPatch Conflict Check

opatch prereq CheckConflictAgainstOHWithDetail …

#OPatch SystemSpace Check

opatch prereq CheckSystemSpace …

#Durchführen

opatch auto $DB_PATCHDIR/20059387 -oh <Oracle-Home> -ocmrf

$DB_PATCHDIR/ocrm.rsp

#Prüfen

opatch lsinventory

#Nacharbeiten

catbundle.sql exa apply für jede DB


Vorgehensweise (9)

� Probleme

– Timeout beim Storage Server-Patch

– DB-Server meldet sich nicht zurück (ILOM eingefroren)

– defekte Festplatte

– defekte Verbindung Storage Server <-> Infiniband Switch

– online eingespielte One-Off-Patches

� Lösung:

– selbst recherchieren

– SR Prio 1


Zeitplanung

– ca. 1,5 Stunden Patchen eines Storage Server

• online (rolling)

• offline: einen zum Test, dann übrige

• offline: alle gleichzeitig

– ca. 40 Minuten Patchen Infiniband Switches Quarter Rack

– ca. 1,5 Stunden OS- und Firmware-Patchen pro DB-Server

• Varianten wie oben

– ca. 30 Minuten pro Oraclehome (Grid-, DB-Software)

– bei Bedarf Systemmanagement (CloudControl)


weitere Herausforderungen

– Erweiterung Quarter Rack auf Half Rack

– Anbinden Storage Expansion Rack

– Ersatz X2-Cellserver durch X4-Cellserver

– Austausch von Kabelarmen

– physikalischer Umzug (anderes Gebäude)

– „Verschieben“ in ein neues Netzwerk: Neukonfiguration


Fazit

� Exadata Dokumentation besser als „herkömmliche“

� Prechecks mit notwendigem Zeitversatz vorher

� Kochbuch notwendig, inklusive Applikation

� aktuell: Patchen jeweils Januar und Juli

� Regel: Storage Server >= Grid >= DB Version

� Risiko vs. Zeitaufwand

� Bereitstellung von Fixes: aktuell 12.1.2.1.1 statt 12.1.2.1.0

� Einzel-Bugfix-Patches

=> ☺☺☺☺


Vielen Dank für Ihre Aufmerksamkeit.Fragen?


Ihr Kontakt

arvato Systems GmbH

Reinhold Boettcher

Systemarchitekt Infrastruktur

An der Autobahn 200

33333 Gütersloh

[email protected]

Phone: +49 5241 80 3571

www.arvato-systems.de

arvato Systems GmbH

Lars Hendrik Bußmann

Systemarchitekt Infrastruktur

An der Autobahn 200

33333 Gütersloh

[email protected]

Phone: +49 5241 80 41511

www.arvato-systems.de

Patchen der Exadata - eine Herausforderung - doag.org · For all system firmware and software on...

Documents

Transcript of Patchen der Exadata - eine Herausforderung - doag.org · For all system firmware and software on...