BigData Analysis – le tre “V”

Scenario

Changelles

Solution deployment

Risultati – Fasi successive

Evoluzioni future

BigData Analysis

3

VolumeVolume

VariabilitàVariabilità

VelocitàVelocità

Scenario Reale

4

•UPS

•Climatizzazione

•Antincendio

•Videosorveglianza

•OSS Procedure di manutenzione ed intervento

•Change Management Support System

• Baseline software (SO, MPI)

• High performance network (infinyband)

• Strumenti OSS

• Soluzioni SAN Eterogenee

• Storage Aggregation

• Baseline software (Windows, Linux, Unix, Solaris)

• Middleware

• Applicationi / Servizi

• Strumenti OSS

• VMWare, Citrix

• Machine Pools

• Virtual Network

• Virtual Storage

• Strumenti OSS

Virtualization InfrastructureVirtualization Infrastructure

Server FarmServer Farm

HPCHPCDistributed

StorageDistributed

Storage

Ne

two

rkin

g

Infr

ast

ruct

ure

Approccio iniziale – Analisi dello scenario

5

Target: IT Operation Manager – Datacenter Tech Director

Real-time IT Monitoring - Challenges:

• Difficoltà nell’investigare problemi che interessano più sistemi

• Le investigazioni e gli interventi richiedono molto personale con skill dedicate

• Tempi di analisi/intervento sono molto lunghi

• Necessità di utilizzare strumenti eterogenei e verticali

• Lentezza nella produzione di dati di sintesi sullo stato dei sistemi, delle risorse e delle performance complessive (dati a supporto delle decisioni strategiche sull’utilizzo del datacenter)

• Alcuni componenti integrati nel “sistema datacenter” sono ignorati -> errori non gestiti, mancata analisi causa-effetto

Il concetto di “situation awareness”

6

Qual è lo stato di carico della

nostra infrastruttura virtuale?

Qual è il trend di

occupazione dello

storage per l’HPC ?

Qual è la catena

tecnologica interessata

da questa anomalia ?

Qual è il trend dei consumi

energetici per la

climatizzazione rispetto

all’impiego delle risorse ?

Qual è lo storico

dell’occupazione

risorse della server

farm dedicata al

servizio X ?

Quali servizi

virtualizzazione ?

Quali servizi

applicativi

impegnano

maggiormente

l’infrastruttura du

rete e di

virtualizzazione ?

Quanto spazio è

riservato ad un pool

VMWare sulla SAN ?

Trovare risposta a domande “complesse” costruite da molte informazioni di base

SITUATION AWARENESS

Approccio iniziale – Analisi dello scenario

7

• Enormi quantità di informazioni non-strutturate (dati

macchina)

• Necessità di analizzare e correlare informazioni eterogenee

• Produzione di informazioni aggregate in tempi rapidi (in

tempo reale)

VolumeVolume

VariabilitàVariabilità

VelocitàVelocità

Assessment dello scenario

8

Definizione della “Situation”:

- Analisi delle challenges

- Selezione aree di interesse con criticità più elevata

- Analisi e definizione delle “domande” da porre

- Studio della qualità delle fonti informative (struttura e modalità di

accesso);

- Studio delle analisi sui dati (correlazioni, aggregazioni, transazioni)

- Definizione as-is e to-be sulle fonti informative (gap analysis)

- Simulazioni preliminari (offline e online)

Solution Development

9

Search & Investigate

Monitor & Alert

Report & Analyze

AddKnowledge

Index Data

Analisi delle fonti macchina

Analisi e definizione delle

correlazioni tra i dati

Accesso a fonti informative

esterne (arricchimento)

Costruzione soglie, allarmi su

dati aggregati

Analisi e definizione dei grafici,

cruscotti realtime e storici

La proposta tecnologica

10

Deployment – Fasi soluzione

11

Fase IFase I

• Storage

• Server farm

Fase IIFase II

• Virtual Infrastructure

• Network Infrastructure (in corso)

Fase IIIFase III• Servizi applicativi/middleware (in corso)

Fase IVFase IV• HPC (futuro)

Fase VFase V• Altri sistemi datacenter (futuro)

Risultati

12

• Abbattimento tempi di intervento e gestione sistema storage (pianificazione acquisiti, controllo stato, manutenzione)

• Eliminazione tempi di lavorazione produzione report aggregati stato Server Farm

– Abbattimento tempi di decisione allocazione risorse per servizi a supporto del business

• Miglioramento procedure di trouble-shooting infrastruttura VMWare legate a cause “trasversali” (storage, hardware, vNetwork)

Risultati

13

• Nascita della “Situation Awareness” del Datacenter:

– Server Farm

– Infrastruttura virtualizzazione

– Resource inventory (macchine, servizi, infrastruttura

virtualizzazione, storage, etc)

– Formazione della consapevolezza sui dati -> nuove domande,

nuovi stackeholder

Esempi di informazioni – mappa situazione VM

14

Esempi di informazioni – Datastore

15

Esempi di informazioni – Server Farm

16

Esempi di informazioni - KPI

17

Esempi di informazioni – Transazioni / Risorse

18

Esempi di informazioni – Aggregated CPU Time

19

Le domande future

20

Quali servizi erogati agli utenti

impegnano maggiormente le

nostre risorse ?

Qual è il trend di

occupazione dello

storage per l’HPC ?

Visualizzare gli SLA dei

Business

Visualizzare gli SLA dei

servizi applicativi

correlati ai servizi

Business

Qual è il trend dei consumi

energetici per la

climatizzazione rispetto

all’impiego delle risorse ?

Quali sono i trend

futuri di occupazione

delle risorse di rete ?

Quali sono le

transazioni che

impegnano

maggiornamente

l’infrastruttura ?

Quali sono i KPI per le

attività MAC sui sistemi ?

SITUATION AWARENESS

Solo IT monitoring ?

21

• Analisi in tempo reale dei sistemi di sicurezza – Oil Facility

• Location/Communication Intelligence

• Real-time social sources analysis

• Complex data-analysis (immagini, documenti, foto, machine data)

GRAZIE

Centro Direzionale di Napoli Isola E7

Via G. Porzio, 4

80143 Napoli

e-mail: info@sysmanagement.it

web: www.sysmanagement.it

Sede di Milano

Viale Berengario, 15

20149 Milano

Sede di Roma

Via Taranto, 44

00181 Roma

Produzione e SW Factory

Viale Traversa degli Ulivi, 4

San Sebastiano al Vesuvio (Na)