1 Contriubtions du CRIL dans le cadre de lACI Daddi Mars 2006 Présenté par: Zied Elouedi...
-
Upload
blanchefleur-denis -
Category
Documents
-
view
103 -
download
0
Transcript of 1 Contriubtions du CRIL dans le cadre de lACI Daddi Mars 2006 Présenté par: Zied Elouedi...
2
Introduction
Traitement du problème de détection d’intrusions comme un problème de classification.
3
Ensemble d’apprentissage
Modèle de classificationClassifieur
Choix de la technique
Phase de construction (apprentissage)
Phase de classification (inférence)
Certain Incertain
Certain Incertain
4
Cadre stanadrdCadre stanadrd
5
Ensemble d’apprentissage certain (détection d’intrusions)
Protocole Service Flag Classe
tcp http SF Normal
tcp http RSTO Normal
tcp http REJ Probing
tcp time SF Probing
tcp time SO DOS
tcp auth SF Normal
tcp auth SO DOS
tcp private SF Normal
tcp private SF Normal
tcp private REJ Probing
tcp private RSTO DOS
tcp private SO DOS
udp domain_u SF Normal
udp private SF DOS
tcp http RSTO Normal
tcp private RSTO DOS
tcp http SF Normal
Nature des connexions
…
6
Arbres de décision
Techniques utilisées
o Une technique de classification.
o Expression simple de la connaissance.
o Compréhension et interprétation facile des résultats.
Réseaux Bayésiens naïfs
o Un nœud racine (classe).o Plusieurs nœuds enfants (attributs).o Forte hypothèse (naïve) d'indépendance entre les enfants. dans le contexte de leur parent.
7
Arbres de décision flag
SF
protocole
RSTO
udp
N
tcp
http
P N
domain-uprivate
P
service
REJ
http
N P
domain-uprivate
D
serviceD
udp Private C=?SFNouvelle connexion
8
Réseaux Bayésiens naïfs
Classe
Protocole Service Flag
P(Protocole | Classe) P(Service | Classe) P(Flag | Classe)
P(Classe)
udp Private C=?RSTONouvelle connexion
Max P(Classes | E)E
9
Méta-classifieur
AD
ConnexionMéta-classifieur
AD+RBN
RBN
Type de laconnexion
10
Cadre incertain:Cadre incertain:Arbre de décision crédibilisteArbre de décision crédibiliste
(BDT)(BDT)
11
Protocole Service Flag Classe
tcp http SF Normal
tcp http RSTO Normal
tcp http REJ Probing ou DOS
tcp time SF Probing
tcp time SO DOS
tcp auth SF Normal
tcp auth SO ?
tcp private SF Normal
tcp private SF Normal
tcp private REJ Probing
tcp private RSTO DOS avec degré 1 et U2R avec degré 2
tcp private SO DOS
udp domain_u SF Normal
udp private SF DOS avec degré 1 et (U2R ou R2L) avec degré 2
tcp http RSTO ?
tcp private RSTO DOS
tcp http SF Normal
Ensemble d’apprentissage incertain
12
Fonction de masse de croyance élémentaire (bba)
m: 2 [0,1]
m(A)A
1
m(A) Partie de croyance attribuée exactement à A
Exemple = {A, H, M}; A: Avion; H: Hélicoptère; M: Missile2 = {, {A}, {H}, {M}, {A, H}, {A, M}, {H, M},{A, H, M}}m({A}) = 0.6; m({A, H}) = 0.2; m() = 0.2
Théorie des fonctions de croyance
13
Idée
Utilisation de la théorie des fonctions de croyance qui permet:
L'expression des croyances partielles.
La possibilité d'exprimer l'ignorance partielle ou totale.
Le traitement des jugements subjectifs et personnels.
La représentation des informations mathématiques et épistémiques.
La combinaison de l’évidence survenue de plusieurs sources d’information.
L’adaptation aux systèmes de raisonnement (système expert, système d’aide à la décision, IDS,…).
14
Combinaison Règle conjonctive: Construire une bba quand toutes les pièces d’évidence sont acceptées.
Règle disjonctive: Construire une bba quand au moins une pièce d’évidence est acceptée mais on ne connaît pas laquelle.
Exemplem1({A}) = 0.6; m1({A, H}) = 0.2; m1() = 0.2;m2({H}) = 0.4; m2({A, H}) = 0.3; m2() = 0.3;Règle conjonctive:(m1m2)() = 0.24; (m1m2)({A}) = 0.36; (m1m2)({H})=0.16;(m1m2)({A, H}) = 0.18; (m1m2)() = 0.06;Règle disjonctive:(m1 m2)({A, H}) = 0.56; (m1 m2)() = 0.44;
Théorie des fonctions de croyance
15
Prise de décision
Niveau de croyance Niveau pignistique
Transformation pignistique
Exemplem({H}) = 0.4; m({A, H}) = 0.3; m() = 0.3betP({A}) = 0.25;betP({H}) = 0.65;betP({M}) = 0.1;
Théorie des fonctions de croyance
16
Exemple
Protocole Service Flag Classe
tcp http SF m{I1}
tcp http RSTO m{I2}
tcp http REJ m {I3}
tcp time SF m{I4}
tcp time SO m{I5}
tcp auth SF m{I6}
tcp auth SO m{I7}
tcp private SF m{I8}
tcp private SF m{I9}
tcp private REJ m{I10}
tcp private RSTO m{I11}
tcp private SO m{I12}
udp domain_u SF m{I13}
udp private SF m{I14}
tcp http RSTO m{I15}
tcp private RSTO m{I16}
tcp http SF m{I17}
17
Connexions d’apprentissage
tcp http NSF tcp http m{I1}SF
m{I1}(N) = 1
N : Normal; D: DOS; U: U2R; R: R2L; P: Probing
tcp http REJ tcp http m{I2}REJP D
m{I2}(P D) = 1
tcp auth m{I3}SFtcp auth SF N(70%),D(30%)
m{I3}(N) = 0.7; m{I3}(D) = 0.3
18
Connexions d’apprentissage
udp private m{I4}SFudp private SF D(60%),U R(40%)
m{I4}(D) = 0.6; m{I4}(U R) = 0.4
udp domain-u m{I5}SFudp domain-u SF N(80%),?
m{I5}(N) = 0.8; m{I5}() = 0.2
= {N, D, P, U, R}
tcp auth m{I6}SOtcp auth SO ?
m{I6}() = 1
19
Arbres de décision
Arbre de décision crédibiliste
Traiter l’incertitude au niveau de la détection d’intrusions
Théorie des fonctions de croyance (TBM)++
Arbres de décision crédibilistes (BDT)
20
Arbres de décision crédibilistes (BDT)
flag
SF
protocol-type
RSTO
udptcp
httpdomain-u
private
service
REJ
httpdomain-u
private
service
m1
m5
m6
m4m3m2
m7 m8
Comment construire un classifieur (BDT) avec des classes de connexions d’apprentissages incertaines ?
21
Stratégie de partitionnement
Critères d’arrêt
Structure des feuilles
Mesure de sélection d’attributs
Le principe:
22
Mesure de sélection d’attributs
Extension de l’algorithme de Quinlan (C4.5).
Approche par moyenne Adaptation du ratio de gain au conexte incertain
Utilisation de distance entre les objets.
Approche conjunctiveBasée sur les concepts de base du TBM
23
Approche par moyenne
I4
I1
I2
I3
m{I1}
m{I2}
m{I3}
m{I4}
.
.
Ensemble d’apprentissage T
L’entropie de la distribution des classes dans T. L’entropie de la distribution des classes dans les sous ensembles d’apprentissage (suite au partitionnement).
Calculer la ratio de gain de chaque attribut.
Choisir l’attribut qui offre le plus de ratio de gain
(le plus discriminant)
24
Approche conjunctive
I4
I1
I2
I3
Ensemble d’apprentissage T
m{I1}
m{I2}
m{I3}
m{I4}
.
.
Développer une distance entre bba’s
Tous les objets d’une feuiles doivent êtreproches les uns des autres
Minimiser la distance intra-groupe.
Maximiser la distance inter-group.
25
Création d’une branche pour chaque valeur d’attributs.
Stratégie de pratitionnement
Attributs symboliques
Attributs continus
Découper en sous-ensembles ordonnés
26
Le nœuds contient une seule connexion (objet).
Le nœud contient des connexions ayant la même bba.
Il n’ y a plus d’attributs à tester.
La valeur de la mesure de sélection sur les attributs restants est inférieure ou égale à zéro.
Critères d’arrêt
27
Structure d’une feuille
Un seul objet appartenant à la feuille
bba de la feuille = bba de l’objet
feuille bba sur les classes
Plusieurs objets appartenant à la feuille
bba de la feuille = bba jointe
28
Arbres de décision crédibilistes (BDT)
flag
SF
protocol-type
RSTO
udptcp
httpdomain-u
private
service
REJ
httpdomain-u
private
service
m1
m5
m6
m4m3m2
m7 m8
Comment utiliser le BDT pour trouver les classes des connexions ?
29
Classification off-line
Valeurs d’attributs disponiblesflag: RSTOservice: httpProtocol-type: udp
flag
SF
protocol-type
RSTO
udptcp
httpdomain-u
private
service
REJ
httpdomain-u
private
service
m1
m5
m6
m4m3m2
m7 m8
m6(Probing) =0.5; m6() = 0.5
Normal: 0.1Dos: 0.1U2R: 0.1R2L: 0.1Probing: 0.6
30
Classification off-line/on-line
Qu’en est-il de la classification on-line/anticipée ?
Est-ce qu’on peut arrêter une connexion (douteuse) avantsa terminaison ?
31
Cas disjonctif
valeurs d’attributs disjonctivesflag: RSTOservice: http domain-uProtocol-type: udp
flag
SF
protocol-type
RSTO
udptcp
httpdomain-u
private
service
REJ
httpdomain-u
private
service
m1
m5
m6
m4m3m2
m7 m8
Règle disjonctive: m6 m7
Normal: 0.05; Dos: 0.05; U2R: 0.05R2L: 0.05: Probing: 0.8
32
Cas des valeurs manquantes
valeurs d’attributs manquantesflag: SFservice: httpprotocol-type: ?
flag
SF
protocol-type
RSTO
udptcp
httpdomain-u
private
service
REJ
httpdomain-u
private
service
m1
m5
m6
m4m3m2
m7 m8
Normal: 0; Dos: 0.8; U2R: 0R2L: 0; Probing: 0.2
Règle disjonctive: m1 m2
33
Cas général: attributs incertains
Incertitude dans les valeurs de certains attributs bba pour chaque attribut
flag: m(RSTO) = 1service: m(http domain-u) = 0.8; m(private) = 0.2protocol-type: m(udp) = 0.6; m(udp tcp) = 0.4
flag
SF
protocol-type
RSTO
udptcp
httpdomain-u
private
service
REJ
httpdomain-u
private
service
m1
m5
m6
m4m3m2
m7 m8
Tenir compte de toutes les bba’s
34
Cadre incertain:Cadre incertain:Arbre de décision possibilisteArbre de décision possibiliste
(Approche qualitative)(Approche qualitative)
35
Exemple
SF 3
REJ 4
RSTO 1
http 1
domain-u 3
private 1
<1 2
>=1, <=46 1 >46 2
flagservice count
>0 1
<=0 3
wrong_fragment
36
Théorie des possibilités
Distribution de possibilitésDistribution de possibilités : : [0,1]
Possible / ImpossiblePossible / Impossible : ()=1 / ()=0,
IgnoranceIgnorance : , () = 1
NormalisationNormalisation : / ()=1
A(a1) > A(a2) :
A= a1 est plus plausible que A= a2
OrdinaleOrdinale NumériqueNumérique
complètement possible (()=1)
quelque peu possible
totalement impossible (()=0)
ProduitProduitMinimumMinimum
37
Arbres de décision possibilistes
Différentes façons pour classer des connexions avec des attributs incertains/manquants en utilisant la
théorie des possibilités.
Arbres de décision
Théorie des possibilités++
38
Travail effectué
Plusieurs propositions:
Méthode basée sur les opérateurs Min/max ou Min/leximax
Méthode basée sur les opérateurs Min/leximax
Méthode basée sur les opérateurs Leximin/leximax
39
Méthode basée sur le Leximin/leximax
Établir un pré-ordre total de tous les chemins utilisant l’opérateur leximin
Sélectionner un premier ensemble des classes candidates correspondant aux classes libellant les meilleurs chemins dans le pré-ordre total.
Si cet ensemble contient plus qu’une classe, il faut le raffiner en sélectionnant les classes leximax préférées en utilisant l’ordre leximin-leximax.
40
Exemple
service
http
count
private
<=46
N(P1)
>46
<=0
N(P2)
>0
D(P3)
Wrong_fragment
domain-u
SF REJ RSTO
P(P9)
flagP
(P4)
2
3 1
3
1
13
1
2 113 4
3 1
count
>=1
D(P5)
<1<=0
Wrong_fragment
>0
N(P6)
P(P7)
N(P8)
2 1
3 3 4 4
3 1
P3 =leximinP9 >leximinP1>leximinP2 =leximinP4=leximin P6 >leximinP5 >leximinP8 >leximinP7
SF 3
REJ 4
RSTO 1
http 1
domain-u 3
private 1
<1 2
>=1, <=46 1 >46 2
flagservice count
>0 1
<=0 3
wrong_fragment
41
C={ P, D}
Exemple service
http
count
private
<=46
N(P1)
>46
<=0
N(P2)
>0
D(P3)
Wrong_fragment
domain-u
SF REJ RSTO
P(P9)
flagP
(P4)
2
3 1
3
1
13
1
2 113 4
3 1
count
>=1
D(P5)
<1<=0
Wrong_fragment
>0
N(P6)
P(P7)
N(P8)
2 1
3 3 4 4
3 1
P3 =leximinP9 >leximinP1>leximinP2 =leximinP4=leximin P6 >leximinP5 >leximinP8 >leximinP7
P=(P9, P4, P7) >leximin-leximax D=(P3, P5) Donc la classe candidate est P
42
Autre options
Arbres de décision qualitatifs (possibilistes) avec options
Arbres de décision possibiliste (incertitude au niveau de
l’apprentissage).
Evaluation des classifieurs
43
Travaux en cours
Réseaux naïfs crédibilistes
Réseaux naïfs possibilistes
Expérimentations
44
Publications"Qualitative classification with possibilistic decision trees" Nahla Ben Amor, Salem Benferhat, Zied Elouedi, Chapitre of The Tenth InternationalConference on Information Processing and Management of Uncertainty in Knowledge-Based Systems IPMU 2006.
"Réseaux Bayésiens naïfs et arbres de décision dans les systèmes dedétection d'intrusions" Nahla Ben Amor, Salem Benferhat, Zied Elouedi, A paraître dans le journal Technique et Science Informatiques (TSI), 2006.
"Qualitative inference in possibilistic option decision trees“ Ilyes Jenhani, Zied Elouedi, Nahla Ben Amor, Khaled. Mellouli, The Eighth European Conference of Symbolic and Quantitative Approaches to Reasoning with Uncertainty ECSQARU-2005, Barcelone, Espagne, 944-955, 6-8 Juillet 2005.
"Towards a definition of evaluation criteria for probabilistic classifiers“Nahla Ben Amor, Salem Benferhat, Zied Elouedi, The Eighth European Conference of Symbolic and Quantitative Approaches to Reasoning with Uncertainty ECSQARU-2005, Barcelone, Espagne, 921-931,6-8 Juillet 2005.
“On the combination of Naïve Bayes and decision trees for intusion detection“Salem Benferhat, Karim Tabia, The International Conference of Intelligence, Control and Automation, CIMCA 2005.