Post on 21-Jan-2018
© 2017 SPLUNK INC.© 2017 SPLUNK INC.
User Group Splunk
26 septembre 2017 I Cité de l’Espace, Toulouse
© 2017 SPLUNK INC.
17h00: Accueil
17h30 : Début de la session
Retour d’expérience Infomil
Retour d’expérience Sopra Steria
Le Machine Learning (Splunk)
19h15 : Animation Planétarium
19h30 : Cocktail
20h30 : Fin
AGENDA
© 2017 SPLUNK INC.
Splunk Company Overview
▶ Global HQs:
• San Francisco
• London
• Hong Kong
▶ 3,000+ employees
globally
▶ Annual Revenue:
$950M (YoY +42%)
▶ NASDAQ: SPLK
Company
▶ Free trial to
massive scale
▶ Splunk Products
• Splunk Enterprise
• Splunk Cloud
• Splunk Light
• Premium Solutions
Products
▶ 14,000+ customers
▶ Across 110+ countries
▶ Small to large
organizations
▶ More than 85 of the
Fortune 100
▶ Largest license:
• 1+ Petabytes/day
Customers
© 2017 SPLUNK INC.© 2017 SPLUNK INC.
Consultez régulièrement notre page France et assistez à l’un de nos
événements :
• Splunk 4 Rookies
• Splunk 4 Ninjas
• Webinars
• Table Ronde
• Petit-déjeuner thématique
• Etc…
DES EVENEMENTS REGULIERS EN FRANCE
CONFIDENTIEL - PROPRIETE INFOMIL
SPLUNK - INFOMILFlorian CRISTINA
Kevin GANDRIAU
25 Septembre 2017
uxxxxxx vx.x - Initiales auteurJj/mm/aa
© 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
INFOMIL
▶ Créé en 1994
▶ 80 millions d'euros de chiffre d'affaires en 2016
▶ Plus de 500 collaborateurs sur sites dont près de la moitié en prestation R&D
▶ 4 sites : Toulouse (siège social), Nantes, Paris et Île Maurice
▶ Plus de 600 magasins équipés (France, Espagne, Portugal,
Slovénie, Ile de la Réunion), 16 centrales d’achat et des entités nationales
▶ 40 Millions d'utilisateurs
▶ 5 000 000 d'objets connectés (serveurs, réseaux, étiquettes)
9
Qui sommes nous ?
© 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
INFOMIL
▶ INFOMIL crée et développe de nouvelles solutions informatiques (logicielles et matérielles) pour le compte de ses clients du RETAIL.
▶ Activités principales :
• Développement de logiciels
• Fournisseur d’applications hébergées (e-commerce, carte de fidélité, carte cadeau, recharge carte téléphonique)
• Centre d’appel & Service client
• Installation
• Formation
• Distribution
Activités
10
© 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
NOS MÉTIERS & SOLUTIONSExpertise IT
11
Solution
Front Office
Solution
Back Office
Infrastructures
Réseaux
& télécoms
© 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
NOS MÉTIERS & SOLUTIONS
12
Solution
Data Warehouse
& Reporting
Solution
Digital Commerce
Solution
Digital Signage
Use case
drive
Expertise IT
© 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
POURQUOI SPLUNK ?
▶ Facilité de prise en main par tous les profils de la société
• Technicien, ingénieur, chef de projet, responsable de services
• développeur, concepteur, ingénieur système et réseau, exploitant
▶ Coopération entre les services à partir du même outil
• Etude et développement, intégration, exploitation
▶ Exemple de logparser
13
© 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
TIMELINE
14
2012
Analyse log reseau
(routeur, firewall, proxy,
etc)
2Go/jour
1 indexer/search head
5 utilisateurs
2016
Analyse log applicatif
(log IIS, SQL, etc)
100Go/jour
1 search head
3 indexers en cluster
15 utilisateurs
2014
Analyse log systeme
( event viewer windows)
20Go/jour
1 search head
1 indexer
10 utilisateurs
2017
Analyse métier
(requête SQL)
100Go/jour
1 search head
3 indexers en cluster
20 utilisateurs
© 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
USE CASE : LE DRIVE
▶ Quelques chiffres (2016) :
• 2.6 milliard d'euros de chiffre d'affaires
• 50% de part de marché
▶ Objectifs :
• Visibilité temps réel de l'activité du drive
• Réactivité
16
© 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
PERSPECTIVES D'ÉVOLUTION
▶ Passage de la réactivité à la proactivité
• Corrélation de sources de données hétérogènes (SNMP, LOG, SQL, fichier, etc)
• Corrélation d'alertes mineures générant une alerte majeure
• Alerte sur courbe de tendance
▶ Machine learning
▶ Expérience client mobile
• Sur nos applications mobiles Android et IOS avec SPLUNK Mint.
• Wifi en magasin
21
© 2017 SPLUNK INC.
Merci de votre attention !
Vos interlocuteurs // Florian CRISTINA
Kevin GANDRIAU
Tél + 33 5 67 76 20 00 - fcristina@infomil.com
kgandriau@infomil.com
© 2017 SPLUNK INC.
Delivering Transformation. Together.**Réu
ssir
la tr
ansf
orm
atio
n. E
nsem
ble.
ADVANCED CYBERSECURITY MONITORING
Équipe SOC – Toulouse
Dr. Bashar KABBANI1
© 2017 SPLUNK INC.
AGENDA
1. Presenter
2. Implementing Triple FireEye using Splunk
3. Questions
Dr. Bashar KABBANI2
© 2017 SPLUNK INC.
Bashar Kabbani, Dr. - bashar.kabbani@soprasteria.com3
BASHAR KABBANI
• Summary:• Experienced with 10 years in Software Engineering & Information
Systems, 6 of them in Cybersecurity.
• Experience:• Cybersecurity Consultant / SOC Expert – SSG
• Cybersecurity Consultant – ISSP – Freelance
• Security Engineer – R&D Project: IRIT
• Security Software Engineer – R&D Project: DERI
• Network Software Engineer – R&D Project: IRIT
• Test Software Engineer: AIRBUS
• Software Development Engineer – Freelance
• Education:• PhD in Cybersecurity Management
• MSc 2Y in Information Systems Management
• BSc in Software Engineering & Information Systems
© 2017 SPLUNK INC.
Investigation\Forensic
HTTPPOST
Spammed Email avec un ZBot/ZeuS(T_SPY In formation Stealer)
arrive à l’Inbox de l’utilisateur
Par erreur, l’utilisateur atéléchargé un fichier
malicieux
En cliquant sur le lien joint, l’utilisateur seradiriger vers un site de
Phishing
Le site demande des informations personnels,
ensuite propos à télécharger un fichier malicieux
L’utilisateur a cliqué sur le fichier téléchargé et le
Malware a pu s’installer
EX
NX
HX
NX
Le Malware enregistre des informations cible
(sensible/personnel) et les envoie vers l’URL de C&C via HTTP Post
Dr. Bashar KABBANI5
© 2017 SPLUNK INC.
ADVANCED THREAT ATTACK (APT) DETECTION
Dr. Bashar KABBANI6
TRIPLE FIREEYE: CORRELATION POINTS
Signature (ex. Information Stealer/Zbot) + IP Source
EX
NX
Web
HX
Hosts
Triple EyeFire
© 2017 SPLUNK INC.
Les 5 alertes FireEye :
Successful Callback Detection (FireEye NX/Bluecoat)
Successful Callback Detection on Infected Host (FireEye HX+NX/Bluecoat)
Email-Malware with Host-Infection Detected (EX+HX)
Email-Malware with Network-Activity Detected (EX+NX)
Infected Host-Machine by Malicious Network-Activity (HX+NX)
La phase du test a été un succès sur les « Bluecoat Denied »
TRIPLE FIREEYE IMPLEMENTATION
Dr. Bashar KABBANI7
SPLUNK ALERTS, DASHBOARD & REPORTS
© 2017 SPLUNK INC.
TRIPLE FIREEYE IMPLEMENTATION
Dr. Bashar KABBANI8
SPLUNK ALERTS, DASHBOARD & REPORTS
© 2017 SPLUNK INC.© 2017 SPLUNK INC.
Machine Learning
avec Splunk
Adrien Debosschere
Septembre 2017 | Splunk User Group Toulouse
© 2017 SPLUNK INC.
Wikipedia
“ L'apprentissage automatique […] concerne la conception, l'analyse, le développement et
l'implémentation de méthodes permettant à unemachine d'évoluer par un processus systématique, et
ainsi de remplir des tâches difficiles ouproblématiques par des moyens algorithmiques plus
classiques.”
© 2017 SPLUNK INC.
A. Samuel, 1959
“ Le Machine Learning est le domaine d’étude qui permet aux ordinateurs d’apprendre sans être
explicitement programmés.”
© 2017 SPLUNK INC.
▶ Détection de visages: identifier des visages dans des images
▶ Filtre anti-spam: identifier et supprimer les emails de spam
▶ Recommandations d’achat: prédire ce que les clients voudront acheter
▶ Lutte contre la fraude: identifier les transactions de cartesbleues frauduleuses
▶ Prévisions météo: quel temps fera-t-il demain ?
Vous bénéficiez du Machine Learning au quotidien !
© 2017 SPLUNK INC.
▶ Détection de visages - Facebook
• ~2 Milliards d’utilisateurs actifs par mois
• ~300 Millions de nouvelles photos par jour
• 200 Ko: taille moyenne d’une photo sur Facebook
La Donnée: le Nerf de la Guerre
300M * 200Ko =
60 To / jour
54Md * 5Ko =
270 To / jour
▶ Anti-spam - Gmail
• ~1,2 Milliards d’utilisateurs
• ~20% du trafic email global (~54 Milliards/jour)
• 5 Ko: taille moyenne d’un email
• ~0,05% de faux-positifs
© 2017 SPLUNK INC.
Le processus de Machine Learning
Problème: <Quelque chose> nous fait perdre du temps et de l’argent.
Solution: Construire un modèle de ML pour prévoir des <incidents potentiels>, agir
proactivement et apprendre
© 2017 SPLUNK INC.
Le processus de Machine LearningIn
dustr
ialis
ation
1. Collecter toutes les données relatives au problème; Explorer
ces données
2. Sélectionner et appliquer un algorithme sur ces données
pour créer un modèle
3. Tester & Valider les modèles pour arriver à un modèle fiable
répondant au problème
4. Transmettre le modèle aux équipes de production, pour que
les utilisateurs puissent bénéficier de ses prédictions
Problème: <Quelque chose> nous fait perdre du temps et de l’argent.
Solution: Construire un modèle de ML pour prévoir des <incidents potentiels>, agir
proactivement et apprendre
© 2017 SPLUNK INC.
▶ Améliorer la prise de décision
▶ Prévoir ou prédire des KPIs
▶ Etre alerté en cas de déviation
▶ Découvrir des relations ou des tendances non triviales
Les objectifs usuels du ML
© 2017 SPLUNK INC.
1 2 3 4 5
Collecte Nettoyage et Préparation
Analyse et Feature
Extraction
Construction des Modèlesde validation
Affinage des Modèles et Algorithmes
Le Workflow du Data Scientist
© 2017 SPLUNK INC.
Collecte Nettoyage et Préparation
Analyse et Feature
Extraction
Construction des modèlesde validation
Affinage des Modèles et Algorithmes
Le Workflow du Data Scientist
Quels sont les étapes à valeur ajoutée ?
Celles inhérentes à sa fonction ?
1 2 3 4 5
© 2017 SPLUNK INC.
Collecte Nettoyage et Préparation
Analyse et Feature
Extraction
Construction des modèlesde validation
Affinage des Modèles et Algorithmes
Le Workflow du Data Scientist
Quels sont les étapes à valeur ajoutée ?
Celles inhérentes à sa fonction ?
1 2 3 4 5
© 2017 SPLUNK INC.
CrowdFlower DataScience Report 2016
“79% des Data Scientists passentla majeure partie de leur temps à
collecter, nettoyer et transformer les données.”
© 2017 SPLUNK INC.
Collecte Nettoyage et Préparation
Analyse et Feature
Extraction
Construction et validation des Modèles
Affinage des Modèles et Algorithmes
Quelle est l’étape la plus chronophage ?
19%
60%9% 3% 4%
Autres: 5%
© 2017 SPLUNK INC.
Collecte Nettoyage et Préparation
Analyse et Feature
Extraction
Construction et validation des Modèles
Affinage des Modèles et Algorithmes
Quelle est l’étape la moins agréable ?
21%
57%3% 10% 4%
Autres: 5%
© 2017 SPLUNK INC.
Quid de l’application du
modèle en production ?
Comment accélérer le workflow
et le rendre moins pénible ?
© 2017 SPLUNK INC.
Turning Machine Data Into Business Value
Index Untapped Data: Any Source, Type, Volume Ask Any Question
Application Delivery
Security, Compliance and Fraud
IT Operations
Business Analytics
Industrial Data andthe Internet of Things
On-Premises
Private Cloud
Public
Cloud
Storage
Online
Shopping Cart
Telecoms
Desktops
Security
Web
Services
Networks
Containers
Web
Clickstreams
RFID
Smartphones
and Devices
Servers
Messaging
GPS
Location
Packaged
Applications
Custom
Applications
Online
Services
DatabasesCall Detail
Records
Energy MetersFirewall
Intrusion
Prevention
Machine Learning
© 2017 SPLUNK INC.
Le Machine Learning avec Splunk
Collecte,
Préparation,
Analyse
Reactive
Proactive
© 2017 SPLUNK INC.
Le Machine Learning avec Splunk
Collecte,
Préparation,
Analyse
Reactive
Proactive
ML Intégré
© 2017 SPLUNK INC.
Le ML intégré à SplunkUne dizaine de commandes SPL disponibles
▶ Cluster: groups events together based on how similar they are to each other.
▶ Anomalies: finds events or field values that are unusual or unexpected
▶ Predict: forecasts values for one or more sets of time-series data
▶ Kmeans: Kmeans clustering on events.
▶ Anomalousvalues: anomaly score for each field
of each event, relative to the values of this field across other events.
▶ Anomalydetection: identifies anomalous events by computing a probability for each event and then detecting unusually small probabilities.
▶ X11: exposes seasonal trend in your time series.
▶ Associate: Change in entropy between two fields.
▶ Findkeywords: Given a set of numbered groups (from say cluster) calculates the common words found in each cluster.
▶ Analyzefields: What is the ability of a set of fields to predict a single field. Univariate analysis.
© 2017 SPLUNK INC.
Ex: la commande predict
▶ Prévision des futures valeurs d’une série temporelle
▶ Implémentation des Filtres de Kalmanpour identifier des tendances répétitives (saisonalité)
▶ Fournit des intervalles de confiance configurables
▶ Cas d’usages:
• Prévision des ventes et d’autres KPIs
• Capacity & resources planning
• Seuils dynamiques
• …
© 2017 SPLUNK INC.
Le Machine Learning avec Splunk
Collecte,
Préparation,
Analyse
Reactive
Proactive
ML Intégré
ML Packagé
© 2017 SPLUNK INC.
Operational Intelligence
Proactive
Monitoring
Search and
Investigation
Operational
Visibility
Real-Time
Business
Insights
Enterprise
Scalability
Splunk IT Service Intelligence
▶ Visualize entire tech stack – bare metal through business layer
▶ View the entire ecosystem with customized views for execs
▶ Apply context to events to prioritize investigation based on impact
Dynamic Service Model
Machine Learning▶ Adaptive threshold automation to minimize false alerts
▶ Behavior anomaly alerts to proactively address issues
▶ Automatic correlation of data into intelligence, mitigating SME dependency
▶ Accelerators minimize SPL coding
▶ Trend aggregation to enable rapid visualization
▶ Multi KPI Alerts for proactive irregularity identification
Search-Based KPIs
▶ Time Series Index
▶ Schema on Read
▶ Handle any and all data
Platform for Operational Intelligence
© 2017 SPLUNK INC.
Machine Learning Made Mainstream
Adaptive Thresholds Anomaly Detection Event Correlation
Manage and maintain KPI thresholds by dynamically adapting to changing operational patterns
Catch issues that thresholds can’t—baseline normal operations and alert on anomalous conditions
Reduce event clutter, false positives and rules maintenance by auto-grouping related events
© 2017 SPLUNK INC.
Splunk User Behavior Analytics
Anomalies10,000
IOCs100
Threats10
• Baseline behavior of entities
• Determine anomalies by dynami
c activity
• Build network graph of activities,
relationships
• Detect key threat indicators
• Provide critical security analyti
cs
• Intermediate level between
Anomalies and Threats
• Stitch cyber-threat kill chain
• Assign threat score and prio
rity
© 2017 SPLUNK INC.
Le Machine Learning avec Splunk
Collecte,
Préparation,
Analyse
Reactive
Proactive
ML Intégré
ML Packagé
ML Avancé
© 2017 SPLUNK INC.
▶ Assistants: Guide model building, testing and deploying for common objectives
▶ Showcases: Interactive examples for typical IT, security, business and IoT use cases
▶ Algorithms: 25+ standard algorithms available prepackaged with the toolkit
▶ SPL ML Commands: New commands to fit, test and operationalize models
▶ Python for Scientific Computing Library: 300+ open source algorithms available for use
Splunk Machine Learning ToolkitExtends Splunk platform functions and
provides a guided modeling environment
Build custom analytics for any use case
© 2017 SPLUNK INC.
Machine Learning Workflow with Splunk
Collect
Data
Explore/
Visualize
Clean/
Transform
Splunk
© 2017 SPLUNK INC.
Machine Learning Workflow with Splunk
Collect
Data
Explore/
Visualize
Model
Evaluate
Clean/
TransformPublish/
Deploy
+ ML Toolkit
Splunk
© 2017 SPLUNK INC.
Machine Learning Workflow with Splunk
Collect
Data
Explore/
Visualize
Model
Evaluate
Clean/
TransformPublish/
Deploy
+ ML Toolkit
ModelEvaluate
Export
Splunk
3rd Party
API, SDK,
Files (CSV, JSON, XML…)
© 2017 SPLUNK INC.
1 2 3 4 5 6
Collecte Nettoyage et Préparation
Analyse et Feature
Extraction
Construction des Modèles de validation
Affinage des Modèles et Algorithmes
Le Workflow du Data Scientist
Splunk
Splunk
Mise enproduction
ML Toolkit
Third party
© 2017 SPLUNK INC.
Machine Learning Customer Success
Network Incident Detection
Service Degradation Detection
Security / Fraud Prevention
Machine Learning
Consulting Services
Analytics App Built
on ML Toolkit
Optimizing operations and business results
Predict Gaming Outages
Fraud Prevention
Entertainment
Company
Cell Tower Incident Detection
Optimize Repair Operations
Prioritize Website Issues
and Predict Root Cause
© 2017 SPLUNK INC.
Detect Network OutliersReduced downtime + increased service availability = better customer satisfaction
ML Use Case
Technical Overview▶ A customized solution deployed in production based on outlier detection
▶ Leverage previous month data and voting algorithms
“The ability to model complex systems and alert on deviations is where IT and security
operations are headed … Splunk Machine Learning has given us a head start...”
▶ Monitor noise rise for 20,000+ cell towers to increase
service and device availability, reduce MTTR
© 2017 SPLUNK INC.
Reliable Website UpdatesProactive website monitoring leads to reduced downtime
▶ Custom outlier detection built using ML Toolkit Outlier assistant
▶ Built by Splunk Architect with no Data Science background
“Splunk ML helps us rapidly improve end-user experience by ranking issue severity which
helps us determine root causes faster thus reducing MTTR and improving SLA”
▶ Very frequent code and config updates (1000+ daily) can cause site issues
▶ Find errors in server pools, then prioritize actions and predict root causeML Use Case
Technical Overview