Splunk User Group: Toulouse, France - 26 September 2017

© 2017 SPLUNK INC.© 2017 SPLUNK INC.

User Group Splunk

26 septembre 2017 I Cité de l’Espace, Toulouse

© 2017 SPLUNK INC.

17h00: Accueil

17h30 : Début de la session

Retour d’expérience Infomil

Retour d’expérience Sopra Steria

Le Machine Learning (Splunk)

19h15 : Animation Planétarium

19h30 : Cocktail

20h30 : Fin

AGENDA

© 2017 SPLUNK INC.

Splunk

Guillaume LESEIGNEUR

Account Manager Splunk

© 2017 SPLUNK INC.

Splunk Company Overview

▶ Global HQs:

• San Francisco

• London

• Hong Kong

▶ 3,000+ employees

globally

▶ Annual Revenue:

$950M (YoY +42%)

▶ NASDAQ: SPLK

Company

▶ Free trial to

massive scale

▶ Splunk Products

• Splunk Enterprise

• Splunk Cloud

• Splunk Light

• Premium Solutions

Products

▶ 14,000+ customers

▶ Across 110+ countries

▶ Small to large

organizations

▶ More than 85 of the

Fortune 100

▶ Largest license:

• 1+ Petabytes/day

Customers


Consultez régulièrement notre page France et assistez à l’un de nos

événements :

• Splunk 4 Rookies

• Splunk 4 Ninjas

• Webinars

• Table Ronde

• Petit-déjeuner thématique

• Etc…

DES EVENEMENTS REGULIERS EN FRANCE

https://www.splunk.com/fr_fr/about-us/events.html


27 MARS 2018MAISON DE LA MUTUALITÉ

© 2017 SPLUNK INC.

Infomil

Florian Cristina & Kevin Gandriau

CONFIDENTIEL - PROPRIETE INFOMIL

SPLUNK - INFOMILFlorian CRISTINA

Kevin GANDRIAU

25 Septembre 2017

uxxxxxx vx.x - Initiales auteurJj/mm/aa

© 2017 SPLUNK INC.

CONFIDENTIEL – PROPRIÉTÉ INFOMIL

INFOMIL

▶ Créé en 1994

▶ 80 millions d'euros de chiffre d'affaires en 2016

▶ Plus de 500 collaborateurs sur sites dont près de la moitié en prestation R&D

▶ 4 sites : Toulouse (siège social), Nantes, Paris et Île Maurice

▶ Plus de 600 magasins équipés (France, Espagne, Portugal,

Slovénie, Ile de la Réunion), 16 centrales d’achat et des entités nationales

▶ 40 Millions d'utilisateurs

▶ 5 000 000 d'objets connectés (serveurs, réseaux, étiquettes)

9

Qui sommes nous ?

© 2017 SPLUNK INC.


INFOMIL

▶ INFOMIL crée et développe de nouvelles solutions informatiques (logicielles et matérielles) pour le compte de ses clients du RETAIL.

▶ Activités principales :

• Développement de logiciels

• Fournisseur d’applications hébergées (e-commerce, carte de fidélité, carte cadeau, recharge carte téléphonique)

• Centre d’appel & Service client

• Installation

• Formation

• Distribution

Activités

10

© 2017 SPLUNK INC.


NOS MÉTIERS & SOLUTIONSExpertise IT

11

Solution

Front Office

Solution

Back Office

Infrastructures

Réseaux

& télécoms

© 2017 SPLUNK INC.


NOS MÉTIERS & SOLUTIONS

12

Solution

Data Warehouse

& Reporting

Solution

Digital Commerce

Solution

Digital Signage

Use case

drive

Expertise IT

© 2017 SPLUNK INC.


POURQUOI SPLUNK ?

▶ Facilité de prise en main par tous les profils de la société

• Technicien, ingénieur, chef de projet, responsable de services

• développeur, concepteur, ingénieur système et réseau, exploitant

▶ Coopération entre les services à partir du même outil

• Etude et développement, intégration, exploitation

▶ Exemple de logparser

13

© 2017 SPLUNK INC.


TIMELINE

14

2012

Analyse log reseau

(routeur, firewall, proxy,

etc)

2Go/jour

1 indexer/search head

5 utilisateurs

2016

Analyse log applicatif

(log IIS, SQL, etc)

100Go/jour

1 search head

3 indexers en cluster

15 utilisateurs

2014

Analyse log systeme

( event viewer windows)

20Go/jour

1 search head

1 indexer

10 utilisateurs

2017

Analyse métier

(requête SQL)

100Go/jour

1 search head

3 indexers en cluster

20 utilisateurs

© 2017 SPLUNK INC.


ARCHITECTURE SPLUNK

15

© 2017 SPLUNK INC.


USE CASE : LE DRIVE

▶ Quelques chiffres (2016) :

• 2.6 milliard d'euros de chiffre d'affaires

• 50% de part de marché

▶ Objectifs :

• Visibilité temps réel de l'activité du drive

• Réactivité

16

© 2017 SPLUNK INC.


LE DRIVE : LA COMMANDE

17

© 2017 SPLUNK INC.


LE DRIVE : LA COMMANDE

18

© 2017 SPLUNK INC.


LE DRIVE : LA PRÉPARATION

1

9

© 2017 SPLUNK INC.


LE DRIVE : ENTREPÔT

20

© 2017 SPLUNK INC.


PERSPECTIVES D'ÉVOLUTION

▶ Passage de la réactivité à la proactivité

• Corrélation de sources de données hétérogènes (SNMP, LOG, SQL, fichier, etc)

• Corrélation d'alertes mineures générant une alerte majeure

• Alerte sur courbe de tendance

▶ Machine learning

▶ Expérience client mobile

• Sur nos applications mobiles Android et IOS avec SPLUNK Mint.

• Wifi en magasin

21

© 2017 SPLUNK INC.


PERSPECTIVES D'ÉVOLUTION : WIFI PROACTIF

22

© 2017 SPLUNK INC.

Merci de votre attention !

Vos interlocuteurs // Florian CRISTINA

Kevin GANDRIAU

Tél + 33 5 67 76 20 00 - [email protected]

[email protected]

mailto:[email protected]

mailto:[email protected]

© 2017 SPLUNK INC.

Société AéronotiqueToulousaine

Bashar KABBANI

© 2017 SPLUNK INC.

Delivering Transformation. Together.**Réu

ssir

la tr

ansf

orm

atio

n. E

nsem

ble.

ADVANCED CYBERSECURITY MONITORING

Équipe SOC – Toulouse

Dr. Bashar KABBANI1

© 2017 SPLUNK INC.

AGENDA

1. Presenter

2. Implementing Triple FireEye using Splunk

3. Questions

Dr. Bashar KABBANI2

© 2017 SPLUNK INC.

Bashar Kabbani, Dr. - [email protected]

BASHAR KABBANI

• Summary:• Experienced with 10 years in Software Engineering & Information

Systems, 6 of them in Cybersecurity.

• Experience:• Cybersecurity Consultant / SOC Expert – SSG

• Cybersecurity Consultant – ISSP – Freelance

• Security Engineer – R&D Project: IRIT

• Security Software Engineer – R&D Project: DERI

• Network Software Engineer – R&D Project: IRIT

• Test Software Engineer: AIRBUS

• Software Development Engineer – Freelance

• Education:• PhD in Cybersecurity Management

• MSc 2Y in Information Systems Management

• BSc in Software Engineering & Information Systems

© 2017 SPLUNK INC.

KILL CHAIN

Dr. Bashar KABBANI4

OVERVIEW OF MALWARE ATTACK LIFECYCLE

© 2017 SPLUNK INC.

Investigation\Forensic

HTTPPOST

Spammed Email avec un ZBot/ZeuS(T_SPY In formation Stealer)

arrive à l’Inbox de l’utilisateur

Par erreur, l’utilisateur atéléchargé un fichier

malicieux

En cliquant sur le lien joint, l’utilisateur seradiriger vers un site de

Phishing

Le site demande des informations personnels,

ensuite propos à télécharger un fichier malicieux

L’utilisateur a cliqué sur le fichier téléchargé et le

Malware a pu s’installer

EX

NX

HX

NX

Le Malware enregistre des informations cible

(sensible/personnel) et les envoie vers l’URL de C&C via HTTP Post

Dr. Bashar KABBANI5

© 2017 SPLUNK INC.

ADVANCED THREAT ATTACK (APT) DETECTION

Dr. Bashar KABBANI6

TRIPLE FIREEYE: CORRELATION POINTS

Signature (ex. Information Stealer/Zbot) + IP Source

EX

Email

NX

Web

HX

Hosts

Triple EyeFire

© 2017 SPLUNK INC.

Les 5 alertes FireEye :

Successful Callback Detection (FireEye NX/Bluecoat)

Successful Callback Detection on Infected Host (FireEye HX+NX/Bluecoat)

Email-Malware with Host-Infection Detected (EX+HX)

Email-Malware with Network-Activity Detected (EX+NX)

Infected Host-Machine by Malicious Network-Activity (HX+NX)

La phase du test a été un succès sur les « Bluecoat Denied »

TRIPLE FIREEYE IMPLEMENTATION

Dr. Bashar KABBANI7

SPLUNK ALERTS, DASHBOARD & REPORTS

© 2017 SPLUNK INC.

TRIPLE FIREEYE IMPLEMENTATION

Dr. Bashar KABBANI8

SPLUNK ALERTS, DASHBOARD & REPORTS

© 2017 SPLUNK INC.

TRIPLE FIREEYE

Dr. Bashar KABBANI9

DASHBOARD & REPORT

© 2017 SPLUNK INC.

TRIPLE FIREEYE

Dr. Bashar KABBANI10

DASHBOARD & REPORTDASHBOARD & REPORT

© 2017 SPLUNK INC.

Dr. Bashar KABBANI11

Questions ?


Machine Learning

avec Splunk

Adrien Debosschere

Septembre 2017 | Splunk User Group Toulouse

© 2017 SPLUNK INC.

Machine Learning ?Késako ?

© 2017 SPLUNK INC.

Wikipedia

“ L'apprentissage automatique […] concerne la conception, l'analyse, le développement et

l'implémentation de méthodes permettant à unemachine d'évoluer par un processus systématique, et

ainsi de remplir des tâches difficiles ouproblématiques par des moyens algorithmiques plus

classiques.”

© 2017 SPLUNK INC.

A. Samuel, 1959

“ Le Machine Learning est le domaine d’étude qui permet aux ordinateurs d’apprendre sans être

explicitement programmés.”

© 2017 SPLUNK INC.

▶ Détection de visages: identifier des visages dans des images

▶ Filtre anti-spam: identifier et supprimer les emails de spam

▶ Recommandations d’achat: prédire ce que les clients voudront acheter

▶ Lutte contre la fraude: identifier les transactions de cartesbleues frauduleuses

▶ Prévisions météo: quel temps fera-t-il demain ?

Vous bénéficiez du Machine Learning au quotidien !

© 2017 SPLUNK INC.

Que faut-il pour faire du

Machine Learning ?

© 2017 SPLUNK INC.

Des données !

© 2017 SPLUNK INC.

Beaucoup de données !

© 2017 SPLUNK INC.

▶ Détection de visages - Facebook

• ~2 Milliards d’utilisateurs actifs par mois

• ~300 Millions de nouvelles photos par jour

• 200 Ko: taille moyenne d’une photo sur Facebook

La Donnée: le Nerf de la Guerre

300M * 200Ko =

60 To / jour

54Md * 5Ko =

270 To / jour

▶ Anti-spam - Gmail

• ~1,2 Milliards d’utilisateurs

• ~20% du trafic email global (~54 Milliards/jour)

• 5 Ko: taille moyenne d’un email

• ~0,05% de faux-positifs

© 2017 SPLUNK INC.

Le processus de Machine Learning

Problème: <Quelque chose> nous fait perdre du temps et de l’argent.

Solution: Construire un modèle de ML pour prévoir des <incidents potentiels>, agir

proactivement et apprendre

© 2017 SPLUNK INC.

Le processus de Machine LearningIn

dustr

ialis

ation

1. Collecter toutes les données relatives au problème; Explorer

ces données

2. Sélectionner et appliquer un algorithme sur ces données

pour créer un modèle

3. Tester & Valider les modèles pour arriver à un modèle fiable

répondant au problème

4. Transmettre le modèle aux équipes de production, pour que

les utilisateurs puissent bénéficier de ses prédictions

Problème: <Quelque chose> nous fait perdre du temps et de l’argent.

Solution: Construire un modèle de ML pour prévoir des <incidents potentiels>, agir

proactivement et apprendre

© 2017 SPLUNK INC.

▶ Améliorer la prise de décision

▶ Prévoir ou prédire des KPIs

▶ Etre alerté en cas de déviation

▶ Découvrir des relations ou des tendances non triviales

Les objectifs usuels du ML

© 2017 SPLUNK INC.

1 2 3 4 5

Collecte Nettoyage et Préparation

Analyse et Feature

Extraction

Construction des Modèlesde validation

Affinage des Modèles et Algorithmes

Le Workflow du Data Scientist

© 2017 SPLUNK INC.


Analyse et Feature

Extraction

Construction des modèlesde validation



Quels sont les étapes à valeur ajoutée ?

Celles inhérentes à sa fonction ?

1 2 3 4 5

© 2017 SPLUNK INC.

CrowdFlower DataScience Report 2016

“79% des Data Scientists passentla majeure partie de leur temps à

collecter, nettoyer et transformer les données.”

© 2017 SPLUNK INC.


Analyse et Feature

Extraction

Construction et validation des Modèles


Quelle est l’étape la plus chronophage ?

19%

60%9% 3% 4%

Autres: 5%

© 2017 SPLUNK INC.


Analyse et Feature

Extraction

Construction et validation des Modèles


Quelle est l’étape la moins agréable ?

21%

57%3% 10% 4%

Autres: 5%

© 2017 SPLUNK INC.

Quid de l’application du

modèle en production ?

Comment accélérer le workflow

et le rendre moins pénible ?

© 2017 SPLUNK INC.

Turning Machine Data Into Business Value

Index Untapped Data: Any Source, Type, Volume Ask Any Question

Application Delivery

Security, Compliance and Fraud

IT Operations

Business Analytics

Industrial Data andthe Internet of Things

On-Premises

Private Cloud

Public

Cloud

Storage

Online

Shopping Cart

Telecoms

Desktops

Security

Web

Services

Networks

Containers

Web

Clickstreams

RFID

Smartphones

and Devices

Servers

Messaging

GPS

Location

Packaged

Applications

Custom

Applications

Online

Services

DatabasesCall Detail

Records

Energy MetersFirewall

Intrusion

Prevention

Machine Learning

© 2017 SPLUNK INC.

Le ML intégré à SplunkUne dizaine de commandes SPL disponibles

▶ Cluster: groups events together based on how similar they are to each other.

▶ Anomalies: finds events or field values that are unusual or unexpected

▶ Predict: forecasts values for one or more sets of time-series data

▶ Kmeans: Kmeans clustering on events.

▶ Anomalousvalues: anomaly score for each field

of each event, relative to the values of this field across other events.

▶ Anomalydetection: identifies anomalous events by computing a probability for each event and then detecting unusually small probabilities.

▶ X11: exposes seasonal trend in your time series.

▶ Associate: Change in entropy between two fields.

▶ Findkeywords: Given a set of numbered groups (from say cluster) calculates the common words found in each cluster.

▶ Analyzefields: What is the ability of a set of fields to predict a single field. Univariate analysis.

© 2017 SPLUNK INC.

Ex: la commande predict

▶ Prévision des futures valeurs d’une série temporelle

▶ Implémentation des Filtres de Kalmanpour identifier des tendances répétitives (saisonalité)

▶ Fournit des intervalles de confiance configurables

▶ Cas d’usages:

• Prévision des ventes et d’autres KPIs

• Capacity & resources planning

• Seuils dynamiques

• …

© 2017 SPLUNK INC.

Operational Intelligence

Proactive

Monitoring

Search and

Investigation

Operational

Visibility

Real-Time

Business

Insights

Enterprise

Scalability

Splunk IT Service Intelligence

▶ Visualize entire tech stack – bare metal through business layer

▶ View the entire ecosystem with customized views for execs

▶ Apply context to events to prioritize investigation based on impact

Dynamic Service Model

Machine Learning▶ Adaptive threshold automation to minimize false alerts

▶ Behavior anomaly alerts to proactively address issues

▶ Automatic correlation of data into intelligence, mitigating SME dependency

▶ Accelerators minimize SPL coding

▶ Trend aggregation to enable rapid visualization

▶ Multi KPI Alerts for proactive irregularity identification

Search-Based KPIs

▶ Time Series Index

▶ Schema on Read

▶ Handle any and all data

Platform for Operational Intelligence

© 2017 SPLUNK INC.

Machine Learning Made Mainstream

Adaptive Thresholds Anomaly Detection Event Correlation

Manage and maintain KPI thresholds by dynamically adapting to changing operational patterns

Catch issues that thresholds can’t—baseline normal operations and alert on anomalous conditions

Reduce event clutter, false positives and rules maintenance by auto-grouping related events

© 2017 SPLUNK INC.

Splunk User Behavior Analytics

Anomalies10,000

IOCs100

Threats10

• Baseline behavior of entities

• Determine anomalies by dynami

c activity

• Build network graph of activities,

relationships

• Detect key threat indicators

• Provide critical security analyti

cs

• Intermediate level between

Anomalies and Threats

• Stitch cyber-threat kill chain

• Assign threat score and prio

rity

© 2017 SPLUNK INC.

▶ Assistants: Guide model building, testing and deploying for common objectives

▶ Showcases: Interactive examples for typical IT, security, business and IoT use cases

▶ Algorithms: 25+ standard algorithms available prepackaged with the toolkit

▶ SPL ML Commands: New commands to fit, test and operationalize models

▶ Python for Scientific Computing Library: 300+ open source algorithms available for use

Splunk Machine Learning ToolkitExtends Splunk platform functions and

provides a guided modeling environment

Build custom analytics for any use case

© 2017 SPLUNK INC.


Collect

Data

Explore/

Visualize

Model

Evaluate

Clean/

TransformPublish/

Deploy

+ ML Toolkit

Splunk

© 2017 SPLUNK INC.


Collect

Data

Explore/

Visualize

Model

Evaluate

Clean/

TransformPublish/

Deploy

+ ML Toolkit

ModelEvaluate

Export

Splunk

3rd Party

API, SDK,

Files (CSV, JSON, XML…)

© 2017 SPLUNK INC.

1 2 3 4 5 6


Analyse et Feature

Extraction

Construction des Modèles de validation



Splunk

Splunk

Mise enproduction

ML Toolkit

Third party

© 2017 SPLUNK INC.

Machine Learning Customer Success

Network Incident Detection

Service Degradation Detection

Security / Fraud Prevention

Machine Learning

Consulting Services

Analytics App Built

on ML Toolkit

Optimizing operations and business results

Predict Gaming Outages

Fraud Prevention

Entertainment

Company

Cell Tower Incident Detection

Optimize Repair Operations

Prioritize Website Issues

and Predict Root Cause

© 2017 SPLUNK INC.

Detect Network OutliersReduced downtime + increased service availability = better customer satisfaction

ML Use Case

Technical Overview▶ A customized solution deployed in production based on outlier detection

▶ Leverage previous month data and voting algorithms

“The ability to model complex systems and alert on deviations is where IT and security

operations are headed … Splunk Machine Learning has given us a head start...”

▶ Monitor noise rise for 20,000+ cell towers to increase

service and device availability, reduce MTTR

© 2017 SPLUNK INC.

Reliable Website UpdatesProactive website monitoring leads to reduced downtime

▶ Custom outlier detection built using ML Toolkit Outlier assistant

▶ Built by Splunk Architect with no Data Science background

“Splunk ML helps us rapidly improve end-user experience by ranking issue severity which

helps us determine root causes faster thus reducing MTTR and improving SLA”

▶ Very frequent code and config updates (1000+ daily) can cause site issues

▶ Find errors in server pools, then prioritize actions and predict root causeML Use Case

Technical Overview

Splunk User Group: Toulouse, France - 26 September 2017

Technology

Transcript of Splunk User Group: Toulouse, France - 26 September 2017