VMware Backup Best Practices: 2017 EditionMarkus HergtSenior Systems Engineer

Backup Server Deployment Überlegungen

Repository Änderungen

Proxy Transport Mode Empfehlungen

vSphere 6.5Auswirkende Änderungen

Agenda

Backup ServerThe brain

Backup ServerDeaktivierung der default Proxy/Repository Rolle sofern keine all-in-one Installation

Genug RAM für Job Manager Prozesse (eigener Prozess pro gleichzeitigem Job), 500MB

Bei all-in-one Installation: alle notwendigen Ressourcen addieren!!

Backup Server up to date halten!

Big Data: Veeam Versionen

9.5U139%

9.5GA23%

9.0U221%

9.0U18%

9.0GA6%

8.0ALL3%

Physical or Virtual?Why go physical?• Best Practice für den DR-Fall: ein DR-System sollte in

keiner Weise auf dem zu schützenden System aufbauen bzw. zusammenhängen

• Sichern der Config DB-nicht vergessen! Integriertes Config-Backup nutzen, oder den gesamten Server mittel Veeam Agent for Windows schützen

Why go virtual?• 100% virtuelle Infrastruktur möglich• simple DR-Möglichkeiten ‒ sich selbst sichern/replizieren

Big Data: Physical vs. Virtual

Physical52%

Virtual48%

Physical Virtual

Backup Server DependenciesDo:1. Abhängigkeiten verstehen2. Von einem kompletten Ausfall ausgehen3. Do the “all is lost” DR Test

Use:• Local Accounts• SQL Server Authentication• Workgroup (vs. Domain)• Physical Server

Backup Server PlatzierungManage backups with local backup server• Performance (langsame vCenter Anbindung per WAN)

Manage replicas with backup server in DR site• Failover mit 1-Klick möglich, sogar wenn die Primär-Seite

ausgefallen ist

Tested maximums10’000 VMs per Server (soft)5’000 VMs per Job (hard)

Configuration database recommendations• SQL Server 2014 oder neuer ist empfohlen• Express Edition ist ausreichend bis zu einigen hundert VMs,

Standard Edition (entfernt 1 socket / 4 cores Limit)• SQL Server Last im Auge behalten, wenn man sich den

Maximalwerten nähert…– may become the bottleneck

9.5 Configuration Maximums

Repository The memory

Primär > Landing Zone, tag-tägliche Restore AufgabenSekundär > sichert die gesamten Aufbewahrungsfrist ab (SLA)Archive > Daten, die man hofft nie recovern zu müssen

Backup Storage TiersPrimär Sekundär Archive

Cost per TB High cost Low cost Lowest cost

Storage capacity Low capacity High capacity Incredible capacity

IOPS capacity High Average Ridiculously low

Reliability Standard Worse Best

Restore costs Lowest Average Worst

Primär

Aber….

File System (ReFS 3.1)Vorteile• Instant Merges, Synthetic Fulls and transforms• Spaceless Full Backups (duplication prevention)• Eingebaute Integritätsprüfung• Automatische “Heilung von Daten-Korruption in Verbindung

mit Storage Spaces Mirror oder Parity Sets

Nachteile• Reife• Fragmentierung, selbst mit großen Block Sizes

Sekundär

Deshalb direkt weiter zu:

Archiv

Archive MediaEigenschaften:• günstig (per-TB)• zuverlässig • Nicht für Random I/O gedacht (für seq. I/O designed)

Beispiele:• Tape• Object Storage• Windows Storage Spaces mit Parity Set

Data ArchivingBisheriger Ansatz:• Separater Prozess für die Archivierung (bsp.: Tape Jobs)• Katalogdaten sind für die Wiederherstellung essentiell

The Veeam way:• Archive Repositorys sind integraler Bestandteil der v10

Scale-out Backup Repositorys (aka Archive Tier)• Policy-gesteuerte Archivierung• Breite Unterstützung von Archiv Storages

Archive tier

Backup ProxyThe muscles

Proxy QuantityWarum mehr als Einen??• Redundanz• Kürzeres Backup Zeitfenster durch mehr Durchsatz

Keep them under control• Backup I/O Control einschalten• Standard Edition Users können die Repositories drosseln• Advanced Data Fetcher in 9.5 bedenken (Empfehlung:

Anzahl der concurrent task slots pro Proxy um die Hälfte reduzieren)

Proxy ServerOS• Client Windows Edition benutzen, wenn Server Lizenzen

gespart werden müssen

CPU • “default compression level” (Optimal) oder: • Advanced Data Fetcher verdoppelt CPU-Last pro task slot

RAM• Anforderungen mittlerweile relative gering:(200MB pro task)

Compression level vs. CPU usage

Dedupe-friendly (rle) Optimal (lz4) High (zlib) Extreme (zlib high)

22 GB12 GB 9,70 GB 9 GB

0

10

20

30

40

50

60

70

80

90

100

0

50

100

150

200

250

300

Tim

e,

se

co

nd

s

Time, seconds

Size, GB

Transport ModesAutomatic (“der Beste”)Direct storage access (san, nfs)Virtual appliance (hot add)Network (nbd)

Auf Proxy-Ebene auswählbar,nicht im Job

Aber Jobs können auf spezifischeProxys festgelegt werden

Direct SCAN

Direct SAN: The goodSchnell und zuverlässig Dierkter Pfad zum Storage

Kein Einfluss auf Host oder Netzwerk• Backup Proxy holt die Daten direct vom SAN• Backup-Verkehr ist in der SAN-Fabric isoliert (LAN-free backup)

Kosteneffizient• Kein Einfluss auf Konsolidierungsrate (keine weiteren Host

und Lizenzen notwendig)• Ggf. kann ältere Hardware weiterverwendet werden.

Direct SAN: The badKeine “advanced data fetcher” Funktionalität

Physikalischer Server ist notwendig, (VM ist supportet für iSCSI SAN, aber nicht Sinnvoll)

u.U. schwer performante Ergebnisse zu erzielen –unpassende MPIO Software, HBAs, sub-optimale RAID cacheEinstellungen

Direct SAN restore funktioniert nur mit thick provisioned disks

Hardest to set up (zumindest für Anfänger ;) )

Direct SAN: The uglyExtrem selten, aber theoretisch ist es damit möglich, dass das Windows OS auf die VMFS LUNs zugreifen kann• vSphere erkennt seine Datastores nicht mehr• Not so hard to fix (VMware Support)

3 einfache Möglichkeiten um in Schwierigkeiten zu geraten:• Lokale Admin Rechte auf Proxies vergeben• “Nicht lesen” von Disk Management” Benachrichtigungen,

und bei allem auf YES klicken (ohne es gelesen zu haben)• SANPolicy überschreiben, die Veeam automatisch gesetzt

hat

Direct SAN: The safe wayNur absolut notwendige LOKALE Admins berechtigen

Per GPO Disk Management snap-in deaktivierenUser Configuration > Administrative Templates >

Window Components > Microsoft Management Console >

Restricted/Permitted snap-ins > Disk Management

VMFS LUNs nur read-only dem Proxy zur Verfügung stellen (verhindert aber SAN restore)

Direct SAN: Best practicesWenn der Storage Veeam-seitig supportet ist :Backup fromStorage Snapshots benutzen, und damit auch den: advanceddata fetcher

Nicht vergessen, dass neue LUNS dem Backup-Proxy gezontwerden müssen

Auf vSphere-Seite “thick disks” verwenden, und auf der Storage Seite thin provisioned - direct SAN restore

Lieber wenige, dafür stärkere Proxys verwenden

Direct SAN: Tips & TricksUpdate MPIO Software, HBA Firmware und Treiber

Deinstallation von MPIO Software verbessert manchmal die Performance

iSCSI SAN? Tweak TCP/IP auf dem Proxynetsh interface tcp set global autotuning level=disable

Direct NFS

Direct NFS: The goodAlle Vorteile von Direct SAN für NFS Storage, plus:• Advanced data fetcher• Hoch optimierter, proprietärer NFS Client (3rd Generation)• Einfacherer Support (kein “third party” Code)

Bestens für Hyper-Converged Systeme geeignet

Direct NFS: The badNur ein einzges größeres Problem, und dieses war Storage-spezifisch (Tintri overload), in 9.5 Update 2 gefixt

Hot Add

Hot Add: The goodDirect storage access (auch wenn es durch den ESX I/O stackläuft)

Schnelle Full-VM Restores (Empfohlener Restore-Weg)

Supportet jeden Storage Typ• Shared ‒ ein Proxy pro Cluster• Local oder DAS ‒ ein Proxy pro Host• Converged – kommt darauf an….

Einfach in der Ausbringung, 100% virtuell möglich, all-in-onemöglich

Hot Add: The badBeeinflusst Konsolidierungsrate (Proxy benötigen Ressourcen, dadurch ggf. mehr Hosts in Summe notwendig )

Hot Add Prozess selbst ist langsam, kann 1-2 min. pro VM dauern (summiert sich schnell)

Einige, sehr seltene VM-Konfiguration sind nicht supportet(see KB1054)

Hot Add: The uglyCBT auf den Proxys wird deaktiviert -> alle Jobs werden auf: Full-Scan-Incrementals zurückfallen (OK für kleine Proxys, die sonst keine Aufgaben haben)

Die Hauptquelle für:• Hängen gebliebene Snapshots (aka „Consolidation Needed“)• Versteckte SnapshotsAuf aktuelle vSphere und Veeam Version updaten

Nicht bei NFS Storage nutzen (VM Stun bei hot-add remove)

Hot Add: Best practicesExistierende Server können als Proxys verwendet werden, um Lizenzkosten zu sparen (Prozess hat niedrige Priorität)

Ideal für VSANDie einzige, zertifizierte 3rd-party Software

Auf Snapshot Hunter Emails achten, oder Veeam ONE verwenden, um hängen gebliebenen oder versteckten Snapshots auf die Spur zu kommen

Nicht bei NFS Storage verwenden (Direct NFS nutzen)

Hot Add: Tips and tricksEinen extra SCSI controller zur Proxy VM hinzufügen (ein einzelner Controller kann max. 16 Disks verwenden)

Nach vSphere Upgrades auch die VMFS Volumes updaten

Proxys nicht Klonen (immer neu deployen –> Template OK)

RegKey EnableSameHostHotaddMode setzen, wenn hotadd mit NFS Storage verwendet wird

NBD

Network : The goodSchnelle Einleitung des Datentransfers, ideal für inkrementelle Backups von statischen Servern

Kein Setup notwendig –• Mit jedem Storage inkl. HCI• Physikalischer oder virtueller

Proxy möglich

Schnell ab 10 GbE

Network: The badnutzt ESXi Management Interface• Kann Management Traffic beeinflussen ->• VMware drosselt Management Interface

Kein advanced data fetcher

Langsam bei 1Gbit Ethernet (meist 10-25 MB/s)

Bei NFS Storage sogar noch langsamer ->

Ebenfalls bei Secure Transport (NBDSSL) ->

Network: The uglyIntelligent Load Balancer kann u.U. einen “falschen” Proxy aus einem entfernten Standort wählen:• Single Network über mehrere Sites (keine Benachrichtigung

im Job)• Multiple, separate Netzwerke (Benachrichtigung über

mögliches Problem

Network: Best practicesEmpfohlen bei 10Gb Ethernet

Perfekt für kleine oder statischen Data Sets mit kleiner Änderungsrate (z.B.: ROBO Sites)

Jobs auf spezifische Proxys festlegen, oder Proxy AffinityRules verwenden, um ungewollte Datenwege zu vermeiden

Nicht mit NFS Storage verwenden

Network: Tips & tricksEinen hot add Proxy bereit halten, kann aber disabled werden (oder Full VM restores werden bei 1Gb sehr lange dauern)

Transport Modi Priorität bedenken:• Network Mode hat die niedrigste Prio• Wird nur verwendet, wenn nichts anderes mehr geht.

Nicht mit NFS Storage verwenden

!!!Direct NFS!!!

Transport modes summaryDirect SAN SAN+BFSS Direct NFS Hot Add NBD

Adv. data fetcher no yes yes yes no

Performance fast fastest fastest fastest slow

Impact low lowest lowest high high

Reliability ok best best worst best

Supportability ok best best ok ok

Big Data: Transport ModesDIRECT

15%

HOT ADD36%

NBD48%

NBDSSL1%

DIRECT HOT ADD NBD NBDSSL

vSphere 6.5Gotchas

3 most impacting changesMultiple Änderungen, welche Einfluss auf die NBD Backup/Restore Performance haben

Neue VMFS Version mit SEsparse Snapshots für alle VMDKs

verschlüsselte VMs

• Selbst wenn die Backup Software den NBD Übertragungsmodus verwenden will: VDDK nutzt NBDSSL

• Effekt: 30-50% langsamere Backup Performance (scheint primär Host CPU abhängig zu sein)

• Vor einem Upgrade das Backup Zeitfenster überprüfen–und darauf vorbereitet sein, dass es durch die Decke geht

• VMware ein eine upgedatete VDDK Version herausgebracht, sollte in U3 enthalten sein

Forced NBDSSL

• Veeam hat einen versteckten maximal-Wert, betreffend gleichzeitiger NBD Verbindungen pro Host. Diese Anzahl wurde mit 9.5 signifikant erhöht

• Stress-Tests mit VDDK 6.5 zeigten Instabilitäten auf ESXi6.5, weshalb diese wieder veringert werden mussten

Reduced max NBD connections

Veeam version ESXi version Maximum connection

9.0 or earlier Any 7

9.5 4.1 7

9.5 5.0 through 6.0 28

9.5 6.5 20

Hot Add benötigt deutlich mehr IOPS als NBD – ist bis zu 10x langsamer!

SEsparse impact

Encrypted VMs 101KMS wird benötigt• Key Management Server (KMS) ist zwingend erforderlich für

verschlüsselte VMs

KMS = Single Point of Failure??? • Oh, JA!!! QC Labs bereits zweimal deshalb ausgefallen

Was sind die Optionen für KMS?• HyTrust (free, 5K USD für Support)• OpenKMIP (extrem unzuverlässig)• 3rd party

Nicht mögliche Transport-Modi• Direct Storage Access Modi sind unmöglich für encryptet

VMs (Direct SAN, Direct SAN+BFSS, Direct NFS)

Supportete Transport-Modi• Hot Add Proxy selbst muss eine verschlüsselte VM sein,

sonst wird ein Failover auf NBD[SSL] ausgeführt

Security• VDDK greift die Daten unverschlüsselt ab, also ggf. über

Verschlüsselung der Backup-Files nachdenken

Backup of encrypted VMs

Wir verschlüsseln nicht, vSphere macht dies

Um dies sicherzustellen, passenden Ziel-Datastore mit VM Encryption Storage Policy auswählen

Betrifft: Full VM restore, Replication und Instant VM Recovery finalization)

Restore

Thank you