Vehicules Intelligents Etude et developpement d'un capteur intelligent de vision

7/25/2019 Vehicules Intelligents Etude et developpement d'un capteur intelligent de vision

1/226

Vehicules Intelligents : Etude et developpement dun

capteur intelligent de vision pour lattelage virtuel

Mohamed Zayed

To cite this version:

Mohamed Zayed. Vehicules Intelligents : Etude et developpement dun capteur intelligent devision pour lattelage virtuel. domain other. Universite des Sciences et Technologie de Lille -Lille I, 2005. French.

HAL Id: tel-00141213

https://tel.archives-ouvertes.fr/tel-00141213

Submitted on 12 Apr 2007

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of sci-

entific research documents, whether they are pub-

lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

Larchive ouverte pluridisciplinaire HAL, est

destinee au depot et a la diffusion de documents

scientifiques de niveau recherche, publies ou non,

emanant des etablissements denseignement et de

recherche francais ou etrangers, des laboratoires

publics ou prives.
https://tel.archives-ouvertes.fr/tel-00141213https://tel.archives-ouvertes.fr/tel-00141213https://hal.archives-ouvertes.fr/


2/226

THESE

Prsente lUniversit des Sciences et Technologies de Lille

En vue de lobtention du grade de

DOCTEUR DE LUNIVERSITE

Spcialit

Instrumentation et Analyses Avances

Par

Mohamed ZAYED

Vhicules Intelligents : Etude et dveloppement dun capteur

intelligent de vision pour lattelage virtuel

Soutenue publiquement le12 juillet 2005 devant la commission d'examen :

Membres du jury :

Prsident : M. F. CABESTAING Matre de ConfrencesHDR, LAGIS, USTL.

Rapporteurs : M. P. MARCHE Professeur, Ecole Nationale Suprieure

dIngnieurs de Bourges.

M. J M. THIRIET Matre de Confrences HDR, CRAN Universit

Henri Poincar Nancy I.Examinateurs : Mme M. BAYART Professeur, LAGIS, USTL (Directrice de Thse)

M. J. BOONAERT Matre de Confrences, GIP, Ecole des Mines de

Douai (Co-directeur de Thse)

Cette thse a t prpare dans le cadre dune collaboration entre le Laboratoire dAutomatique etde Gnie Informatique et Signalde Lille et le Dpartement deGnie Informatique et productique de lEcole des Mines

de Douai.


3/226

Remerciements

Ce travail a t effectu dans le cadre dune collaboration entre le Laboratoire

dAutomatique, Gnie Informatique & Signal LAGIS et le Dpartement Gnie

Informatique et Productique GIP de lEcole des Mines de Douai.

Je tiens remercier, Monsieur Philippe Hasbroucq, Directeur de dpartement GIP de

m'avoir accueilli dans son dpartement.

Je suis heureux dexprimer toute ma gratitude envers Madame Mireille Bayart,

Professeur PolytechLille et responsable de lquipe Sret de Fonctionnement des

Systmes Dynamiques qui ma fait confiance en me proposant ce sujet de thse, ainsi que

pour sa riche exprience scientifique dont elle ma fait profiter.

Jexprime ma vive reconnaissance Monsieur Jacques Boonaert, Matre de Confrences

lEcole des Mines de Douai, qui a co-dirig ce travail et qui la enrichi en instillant le got

de lapplication des cas rels. Quil trouve ici lexpression de ma gratitude pour la

confiance, les conseils et les suggestions aviss quil ma prodigus ainsi que pour ses

qualits scientifiques et humaines exceptionnelles dont il a fait preuve en co-dirigeant ce

travail.

Je remercie Monsieur Franois Cabestaing, Matre de Confrences HDR lUniversit

des Sciences et Technologies de Lille, pour lhonneur quil ma fait en acceptant de

prsider ce jury de soutenance de thse.

Je souhaite galement remercier, Messieurs Pierre March, Professeur lEcole

Nationale Suprieure dIngnieurs ENSI de Bourges et Jean-Marc Thiriet, Matre de

Confrences HDR au CRAN Universit Henry Poincar Nancy I, pour lhonneur quils mont

fait de juger ce travail en qualit de rapporteurs.

Je voudrais galement remercier, Monsieur Philippe Desodt, Professeur lEcole des

Mines de Douai et Responsable de lquipe SPI, pour mavoir accueilli aux sein de son

quipe toute la dure de ma thse.

Enfin, sans donner une liste exhaustive ou sans m'embarquer dans un rcit que seulsles destinataires comprendraient, de peur d'en oublier, je tiens remercier particulirement,

tous le personnel de lquipe SPI du dpartement GIP, pour la bonne ambiance qui ont su

apporter tout au long de ma prsence au sein de lquipe et pour les qualits personnelles de

chacun et chacune.

Dans ces moments de remerciements, jai une pense particulire pour Monsieur

Daniel Manier, qui nous a quitter tout jamais en laissant aprs lui un norme vide!

Pour terminer, mes remerciements sadressent ma famille, mes parents qui mont

aid sur tous les plans et dont les mots ne sauront exprimer ma reconnaissance, et ma sur

et mon frre.


4/226

Sommaire

INTRODUCTION GENERALE ....................................................... ........................................................... ....... 5

1. CONTEXTE DE LA THSE ........................................................ ........................................................... 52. CADRE DE LA THSE.............................................. ............................................................. ................ 6

3. OBJECTIF DE LA THSE........................................................ ............................................................ 11

4. PLAN DU MMOIRE ......................................................... ............................................................ ...... 13

LES VEHICULES INTELLIGENTS : ETAT DE LART.................................................. ............................ 14

I.1. INTRODUCTION..................................................... ....................................................... ...................... 14

I.2. LA CONDUITE AUTOMATISE DES VHICULES.............................................. ........................... 17

I.2.1. QUE FAUT-IL AMLIORER, LES VHICULES OU LES INFRASTRUCTURES ?............. 17

I.2.2. QUELLES SONT LES EXIGENCES QUE DOIT SATISFAIRE UNE APPLICATION ITS ? 18

I.2.3 QUEL TYPE DE CAPTEURS UTILISER ? .................................................... ........................... 19

I.3. LA VISION DANS LE DOMAINE DES VHICULES INTELLIGENTS........................................... 20

I.4. LE SUIVI DE LA ROUTE.............. ........................................................... ............................................ 22

I.4.1. DTECTION DES MARQUAGES AU SOL .................................................................... ......... 22

I.4.2. DTECTION DES OBSTACLES............................ ................................................................... 25

I.5. LES TENDANCES RELATIVES A LVOLUTION DES MATRIELS........................................... 29

I.6. LES VHICULES PROTOTYPES................................................ ........................................................ 30

I.7. CONCLUSION......................................................................................... .............................................. 31

LES CAPTEURS INTELLIGENTS............................................................ ...................................................... 33

II.1. INTRODUCTION........................................................... ........................................................ ............... 33

II.2. POURQUOI METTRE LINTELLIGENCE AU SEIN DES CAPTEURS ?......................................... 34

II.2.1. LITINRAIRE DE LINFORMATION............................................ ......................................... 34

II.2.2. CE QUON ATTEND DUN CAPTEUR INTELLIGENT.................................. ....................... 36

II.3.3. FONCTIONS ASSOCIES LINTELLIGENCE DES CAPTEURS................................ 37

II.3.4. FONCTIONS DE LINTELLIGENCE DANS LE TRAITEMENT DE LINFORMATION..... 39

II.3. LES APPROCHES DE RALISATION DES CAPTEURS INTELLIGENTS..................................... 39

II.4. MODLISATION DU CONCEPT DU CAPTEUR INTELLIGENT :.................................................. 40

II.5. LE CAPTEUR INTELLIGENT EN TANT QUQUIPEMENT INTELLIGENT ............................... 41II.6. DOMAINES DAPPLICATIONS DES CAPTEURS INTELLIGENTS.............................. ................. 42

II.7. LA CONCEPTION DES CAPTEURS INTELLIGENTS..................................................................... . 43

II.7.1. APPROCHE FONCTIONNELLE ........................................................... .................................... 43

II.7.1.1. LA DCOMPOSITION FONCTIONNELLE.......................................................... ................ 43

II.7.1.2. LA DCOMPOSITION PAR FLOTS DE DONNES............................................................ 44

II.7.2. APPROCHE INFORMATIONNELLE .................................................. ..................................... 44

II.7.3. APPROCHE COMPORTEMENTALE ............................................................. .......................... 45

II.7.4. APPROCHE HYBRIDE....................................................... ....................................................... 46

II.7.5. APPROCHE ORIENTE OBJET ............................................................... ................................ 46

2


5/226

II.8. LE CAPTEUR INTELLIGENT DDI LATTELAGE VIRTUEL ................................................. 47

II.8.1. BESOINS SUPPLEMENTAIRES......................... ................................................................ ...... 48

II.8.2. SPCIFICATIONS DES BESOINS DU SYSTME DATTELAGE VIRTUEL...................... 48

II.8.2.1. LES CONSOMMATEURS EXTERNES................................................................................. 49

II.8.2.2. LES SERVICES QUE DOIT FOURNIR LE SYSTME........................................................ 50II.8.3. ARCHITECTURE OPRATINNELLE DU SYSTME DATTELAGE VIRTUEL ................ 63

II.9. CONCLUSION.......................................................................................... ............................................. 65

APPLICATION : ATTELAGE VIRTUEL .......................................................... ............................................ 66

III.1. INTRODUCTION........................................................... ....................................................... ................ 66

III.2. LES CONTRAINTES ET LES EXIGENCES DE LAPPLICATION................................................... 68

III.2.1. AU NIVEAU DE LAPPLICATION ..................................................... ..................................... 68

III.2.2. AU NIVEAU MATRIEL .................................................. ........................................................ 70

III.3. DCOMPOSITION FONCTIONNELLE DU CAPTEUR STROSCOPIQUE DVELOPP......... 70

III.3.1. ACQUISITION...................................................... ....................................................... ............... 72

III.3.1.1. LES DISPOSITIFS DACQUISITION DIMAGES .................................................. ............. 73

III.3.1.2. LA TAILLE DU CAPTEUR................... ................................................................ ................. 77

III.3.1.3 LE MODLE GOMTRIQUE DE LA CAMRA ............................................................... 77

III.3.1.4. CHAMPS DE VISION VOLUME DE TRAVAIL ............................................................... 86

III.3.2. LE SYSTME DE STROVISION................ ..................................................................... ..... 89

III.3.2.1. UNE CONFIGURATION GOMETRIQUE PARTICULIERE ............................................. 89

III.3.2.2. DSCRIPTION DU SYSTME DE STROVISION MIS EN PLACE............................... 90

III.3.3. LA CALIBRATION..................................................... ......................................................... ...... 93

III.3.3.1. LA CALIBRATION PHOTOGRAMTRIQUE...................................................................... 95

III.3.3.2 LA CALIBRATION HYBRIDE................................................................ .............................. 97

III.3.3.3. LAUTOCALIBRATION (SELF-CALIBRATION) ....................................................... ...... 101

III.3.3.4 LA CALIBRATION DUN CAPTEUR STROSCOPIQUE ............................................. 108

III.3.4. MISE EN UVRE DE LA CALIBRATION HYBRIDE ......................................................... 110

III.3.4.1. BINARISATION DE LIMAGE...................................................... ...................................... 112

III.3.4.2. DTECTION DES RECTANGLES ET EXTRACTION DES COINS DE LA MIRE ......... 113

III.3.4.3. ORGANISATION DES COINS DTECTS........................................................................ 114

III.4.4.4. EVALUATION DES PERFORMANCES DE LA CALIBRATION DU SYSTMESTROSCOPIQUE....... ................................................................ ................................... 116

III.3.5. DTECTION DE LA PLAQUE DIMMATRICULATION........................... .......................... 128

III.3.5.1. LA SEGMENTATION STATISTIQUE ................................................. ............................... 129

III.3.4.2. RSULTATS EXPERIMENTAUX....................................... ................................................ 138

III.3.6. LECTURE DE PLAQUE DIMMATRICULATION................................................................ 140

III.3.6.1. SEGMENTATION DES CARACTRES ............................................................. ................ 141

III.3.6.2. RECONNAISSANCE DES CARACTRES..................................................................... .... 146

III.3.6.3. EVALUATION DES PERFORMANCES DE LA PROCDURE DE LECTURE DE LA

PLAQUE................................................................................................................................. 155

3


6/226

III.3.7. LALGORITHME DE TRACKING.............................................................. ............................ 156

III.3.7.1. INTERET DE LA DEMARCHE ........................................................... ................................ 156

III.3.7.2. LA DMARCHE GLOBALE...................... ........................................................... ............... 156

III.3.7.3. MISE EN UVRE DU FILTRE........................................................................................... . 159

III.3.8. EXTRACTION DES INFORMATIONS NCESSAIRES AU SUIVI DU VHICULE ......... 160III.3.8.1. LE MODE NORMAL DU FONCTIONNEMENT DU CAPTEUR STROSCOPIQUE... 161

III.3.5.2. LE MODE DU FONCTIONNEMENT DGRAD DU CAPTEUR STROSCOPIQUE. 174

III.4.CONCLUSION ........................................................ ........................................................... .............. 186

CONCLUSION GNRALE .............................................. ....................................................... ..................... 188

RFRENCES BIBLIOGRAPHIQUES ................................................ ....................................................... . 192

ANNEXE A.................................................. ........................................................... ........................................... 205

A. Lobjectif des camras........ ........................................................... ....................................................... 205

A.1. Paramtres caractristiques dun objectif........................... ........................................................ 205

A.1.1. LA FOCALE : .......................................................... ......................................................... ..... 205

A.1.2. LE DIAPHRAGMME : ................................................................ .......................................... 205

A.1.3. LE FOCUS : .................................................. ........................................................... .............. 206

A.2. La Qualit dun objectif ............................................................... .............................................. 206

A.2.1. LA QUALIT DU MATRIAU........................................................... ................................. 206

A.2.2. LA RPONSE SPECTRALE.................................................................................... ............. 206

A.2.3. LA DISTORSION.......................... ........................................................... ............................. 206

ANNEXE B .................................................. ............................................................ .......................................... 207

B. Le transfert des images ......................................................... .......................................................... ...... 207

B.1. Le transfert numrique................................................................... ............................................ 207

B.1.1. LA NORME RS 422 OU EIA 422 .......................................................... ......................... 207

B.1.2. LA NORME RS 644 OU EIA 644 .......................................................... ......................... 208

ANNEXE C.................................................. ............................................................ .......................................... 209

C Le modle de la distorsion des lentilles ........................................................... ..................................... 209

ANNEXE D.................................................. ............................................................ .......................................... 211

D.1. Le dtecteur de Harris............................................ ................................................................. .............. 211

ANNEXE E .................................................. ............................................................ .......................................... 213

E.1. Le calcul de la matrice fondamentale ........................................................... ........................................ 213ANNEXE F .................................................. ............................................................ .......................................... 215

F.1. Dtail de lextraction des paramtres intrinsques de la camra partir de la matrice fondamentale .. 215

F.2 Extraction des quations de Kruppa partir de la transformation pipolaire ....................................... 216

ANNEXE G.................................................. ............................................................ .......................................... 221

G.1. Dimensions des plaques......................... ........................................................... .................................... 221

4


7/226

Introduction Gnrale

INTRODUCTION GENERALE

1. CONTEXTE DE LA THESE

Si de nombreux aspects de notre vie sont devenus plus agrables grce l'utilisation de

technologies avances, il a fallu longtemps au secteur du transport pour combler son retard en

la matire. Aujourd'hui, ces progrs sont devenus incontournables. Les vhicules deviennent

de plus en plus srs, mais en contrepartie de plus en plus complexes; il est donc ncessaire

d'avoir recours l'automatisation pour prendre en charge les fonctions volues maintenant

disponibles. A cela se rajoute un trafic plus intense et un environnement plus dense. Il faut

pouvoir compter sur des systmes rapides et robustes pour prolonger la perception humaine.

Ces technologies, qui visent accrotre la scurit, le rendement et la commodit de laconduite, sont actuellement en cours de conception et de dveloppement. Ces systmes

doivent fonctionner en troite collaboration avec le conducteur. Le concepteur d'un vhicule

intelligent doit intgrer des technologies et des systmes disparates pour crer une machine

cohrente qui complte efficacement le conducteur humain.

Ainsi, le pari des chercheurs et des constructeurs automobiles est le dveloppement dun

vhicule intelligent , utilisant les avances rcentes en lectronique et en informatique. Le

vhicule intelligent doit pouvoir :

- Suivre la route,

- Se tenir dans la file correcte,

- Dtecter les pitons,

- Grer les inter-distances avec les autres vhicules,

- Adapter sa vitesse en fonction des conditions du trafic et des caractristiques de la

route,

- Changer la file pour suivre les vhicules et viter les obstacles,

- Trouver litinraire le plus court dans lenvironnement urbain,

- Echanger les informations avec linfrastructure et les autres vhicules,

- Etc !

Si le terme vhicule intelligent parat encore un peu prsomptueux, il traduit

cependant la part dj trs importante mais toujours croissante des systmes embarqus dans

les vhicules daujourdhui, puisque ceux-ci reprsentent environ 30% du cot total du

vhicule [Har.04].

5


8/226

Introduction Gnrale

Certains des systmes directement issus de travaux de laboratoire sont dsormais

disponibles sur les vhicules actuels. Parmi les plus clbres, nous pouvons citer linjection

lectronique, les airbag, lABS (Anti Bloking System), le rgulateur de vitesse ou encore le

systme daide la vision nocturne. Dautres dispositifs plus rcents sont en cours de tests et

concernent le concept des vhicules intelligents pour la ville appels communment Cybercars .

Paralllement aux efforts consentis pour amliorer lagrment et la scurit des

vhicules, les recherches se concentrent sur les systmes visant accrotre le rendement et

les conditions de circulation propres aux infrastructures dj en place. Ainsi, de nombreuses

quipes de recherche travaillent sur le concept de train de vhicules, emprunt au monde

ferroviaire, et bas essentiellement sur la notion dattelage virtuel . Les buts poursuivis

sont, entre autres, loptimisation de la circulation routire et lamlioration de la scurit sur

les autoroutes et les rseaux secondaires. Les retombes conomiques potentielles sont

nombreuses, que ce soit au niveau des constructeurs automobiles quau niveau des nouveaux

services que lutilisation des technologies associes aux vhicules intelligents permet de

proposer aux usagers de la route.

Ceci explique en partie pourquoi lamlioration ou loptimisation de la circulation

routire sont des problmatiques qui ont t tudies depuis longtemps. La possibilit de crer

dsormais des systmes daide la conduite accessibles au plus grand nombre ne fait

quaccrotre lintrt que celles-ci suscitent auprs de nombreux chercheurs et de grands

constructeurs automobiles.

2. CADRE DE LA THESE

Le travail prsent dans cette thse est le rsultat de la collaboration entre le

dpartement Gnie Informatique et Productique de lEcole des Mines de Douai (EMD GIP)

et le Laboratoire dAutomatique et Gnie Informatique et Signal (LAGIS). Il sinscrit dans le

cadre du programme AViVA ( Attelage Virtuel pour Vhicules Autonomes) du projet

AutoRIS ( Automatique pour la Route Intelligente et Sre ) men par le Groupement de

Recherche en Automatisation Intgre et Systmes Hommes-Machines (GRAISyHM). Ce

projet, soutenu par 10 Laboratoires et organismes de recherche de la Rgion Nord pas deCalais ( EMD GIP, ERASM, ESTAS (INRETS), GEMTEX (ENSAIT), LASL (ULCO),

LABOGP (FSA Bethune), LAGIS (EC Lille et USTL), LAMIH (UVHC), LEOST

(INRETS)), concerne le dveloppement des concepts de routes et de vhicules intelligents

afin doptimiser la circulation routire, amliorer la scurit, prserver lenvironnement et

proposer de nouveaux services aux usagers.

Il sagit principalement de concevoir et de dvelopper des systmes embarqus pour

laide la conduite et / ou lautomatisation de certaines tches qui peuvent amliorer les

conditions de circulation. Pour laide la conduite, lobjectif est dassister le conducteur dans

des situations difficiles (dtection dobstacles, vision nocturne, rgulation de vitesse, etc)

6


9/226

Introduction Gnrale

ou encore dautomatiser la conduite pour effectuer des tches spcifiques (dont lattelage

virtuel est un exemple). Dautres entits de recherche visent dvelopper des systmes daide

la navigation. Lobjectif de laide la navigation est de proposer aux usagers des transports

intelligents (vhicules touristiques, bus, etc) une nouvelle gamme de services tels que les

informations en temps rel sur les itinraires, des informations touristiques, des services derservations de chambres dhtels ou encore tout service susceptible dintresser le

conducteur au cours de son dplacement.

Le travail prsent ici concerne laide la conduite. Nous nous sommes intresss plus

particulirement la perception de lenvironnement lavant du vhicule afin dextraire les

informations ncessaires la mise en uvre dun attelage virtuel pour vhicules autonomes.

Cette approche vise remplacer les liaisons matrielles caractrisant les attelages mcaniques

(dont un exemple est fourni dans la figure ci-dessous) par des chanes informationnelles : le

but est damliorer la fois la scurit et la flexibilit des vhicules en convoi.

Vhicule tracteur

liaison

Vhicule tract

~ amortissement

~ raideur

Longueur en rgime

permanent

C

T

T

yT

xT

Figure 1 : Exemple de liaison physique simple.

Lquivalent virtuel de cette liaison doit donc exhiber des proprits fonctionnelles

quivalentes (la liste ci-dessous nvoquant que celles qui nous intressent le plus

directement) :

- Assurer une certaine interdistance entre vhicules.

- Amener le vhicule tract sur une trajectoire compatible avec un suivi correct du

tracteur . Par correct , on entend une trajectoire qui satisfasse les contraintes

lies la scurit et le confort des personnes transportes et des autres usagers de

la route, des matriels utiliss et des infrastructures.

- Pouvoir spcifier le comportement dynamique de la liaison (par le biais par exemple

de paramtres similaires lamortissement et la raideur). Ces paramtres pouvant

tre adapts en ligne en fonction des conditions opratoires : conduite surautoroute, conduite en ville, etc.

7


10/226

Introduction Gnrale

- Pouvoir adapter la distance intervhiculaire en fonction de ces mmes conditions

opratoires. Il est en effet clair quen fonction de la vitesse absolue des vhicules

impliqus dans la liaison, les distances de scurit doivent tre augmentes.

La mise en uvre dune telle liaison virtuelle suppose donc que le vhicule tract

soit capable par lui-mme dapprcier la position relative du vhicule tracteur ( en faitla position relative en tant que telle, mais aussi lorientation et la vitesse relatives, aussi bien

linaire quangulaire). Lentit responsable (le pilote ) de la conduite du vhicule tract

doit donc, partir des grandeurs mesurables associes aux lments de lattelage, extraire des

informations exploitables et pertinentes, capables de le renseigner sur cette configuration

relative. A partir de celles-ci, compte tenu de lobjectif assign (distance intervhiculaire

principalement) et des paramtres de fonctionnement courant ( amortissement , erreur

admise, etc.) le pilote agit sur les organes permettant la manuvre du vhicule, savoir :

- Le volant (angle de braquage).- Lacclrateur.

- La commande de frein.

Linteraction entre les diffrents lments impliqus dans la mise en uvre dune liaison

virtuelle telle que nous venons de la dcrire est reprsente sur la figure suivante (figure 2).

Pilote

Angle de braquage

Action sur lacclrateur

Action sur les freins

Vhicule

tract

Distance,

orientation et

vitesses

relatives

Modification de la

Configuration rela-

-tive des vhicules

capteursgrandeurs mesurables

Informations exploitables

objectifs Paramtres de fonctionnement

Figure 2 : Interactions entre les constituants de la liaison virtuelle.

On voit que ce pilote se trouve lintersection entre laspect perception de

lenvironnement et laspect commande du vhicule. Il est donc clair que la conception

dune liaison virtuelle mobilise les disciplines connexes ces deux domaines. Ainsi, comme

le montre la figure 3, lextraction des informations pertinentes partir des mesures recueillies

sur le systme sera du ressort de la partie perception , tandis que llaboration dune loi de

commande sappuyant sur ces donnes et tenant compte de lobjectif et des paramtres de

fonctionnement, est dvolue laspect commande du problme.

8


11/226

Introduction Gnrale

Figure 3 : Organisation interne du pilote .

Le travail expos dans le prsent mmoire est relatif la partie perception de

lenvironnement . Il sagit pour nous de dfinir et de mettre au point un capteur permettant

de fournir les donnes ncessaires au contrleur pour piloter le vhicule tract .

Plusieurs approches peuvent alors tre adoptes, qui diffreront essentiellement par la

technologie des capteurs utiliss :

- Technologie par mission-rception : Elle consiste utiliser des capteurs mettanten uvre une technique base sur la rflexion dune onde mise par le capteur lui-

mme. On peut ranger dans cette catgorie des dispositifs tels que les radars, sonars et

lidars.

- Technologie par rception simple : Il sagit de capteurs exploitant un signal prsent

de faon naturelle et spontane dans lenvironnement. Les camras vidos sont

typiques de ce type de capteurs.

La technologie par mission-rception nimplique en gnral pas de traitements

complexes, grce la slectivit que procure les techniques employes, et les mesures

obtenues sont directes. Cependant, ds lors que des performances leves sont ncessaires,

cette technologie peut savrer chre et prsente dans tous les cas linconvnient majeur

dinterfrences entre capteurs du mme type, ds lors quils sont utiliss en grand nombre sur

une surface rduite (par exemple par des vhicules sur une route).

A contrario, les technologies par rception simple ncessitent des traitements

complexes afin dextraire linformation pertinente du bruit et ses performances sont

limites dans certaines situations (par exemple dans le brouillard ou lobscurit pour ce qui

concerne les capteurs dimages). En dpit de ces difficults, cette technologie prsente deux

avantages dterminants pour les transports intelligents.

9


12/226

Introduction Gnrale

Le premier dentre eux est le cot, qui reste faible comparativement la technologie par

mission-rception, ceci en partie grce aux rcentes avances techniques touchant les

dispositifs impliqus dans ce premier type de capteur.

Le second est directement li la nature de ces capteurs, qui les prserve de faon

intrinsque des interfrences entre dispositifs identiques. Cest en particulier pour ces deux

raisons que nous avons opt pour le dveloppement dun capteur par rception simple

rpondant des contraintes de cots strictes. Compte-tenu de la richesse des informations

quil est mme de procurer, celui-ci a pris la forme dun capteur de vision stroscopique, se

composant de deux camras et dune unit de traitement compact et conomique, que ce soit

financirement et nergtiquement.

La strovision est une technique qui utilise deux camras ou plus. Cette technique

ncessite des traitements complexes et sensible aux mouvements du vhicule et aux erreurs de

calibration. Dune manire gnrale, il est clair que toutes les techniques bases sur la visionsont sensibles certaines conditions mtorologiques et dclairage (nuit, brouillard).

Nanmoins, la strovision prsente des avantages trs intressants (certains de ceux cits ci-

dessous ne lui tant pas spcifiques):

Une quantit dinformations la fois trs importante et trs riche.

La possibilit de pouvoir sappliquer dune faon gnrique (sapplique tout

objet).

La reconstruction 3D sans requrir dinformations trs prcises sur la scneobserve.

Le Suivi des vhicules dans les courbes, l o le radar choue.

Une grande flexibilit, dans la mesure o un capteur de strovision permet

limplmentation des deux autres techniques en parallle (ce qui reprsente une

proprit intrinsque trs intressante).

La nature non intrusive de ce capteur (capteur passif), lui pargne les problmes

dinterfrences.

Le cot relativement modique dun systme de strovision bas sur des

composants standards le rend attractif en comparaison de capteurs actifs dots de

performances adaptes lapplication (radars, lidars, etc.)

Ces avantages font du capteur de strovision un outil de choix pour la perception de

lenvironnement du vhicule et justifie son emploi dans le cadre de notre projet. Malgr tout,

il est clair que son utilisation dans le domaine des transports nest pas sans poser certains

problmes.

10


13/226

Introduction Gnrale

Lobjectif principal du capteur stroscopique au sein de notre application est dextraire

linformation utile au contrle du vhicule (vitesse et distance relatives, orientation, etc)

partir du couple dimages pris au mme instant de deux points de vue diffrents.

Connaissant le modle de projection de chacune des deux camras, il sagit de calculer

les coordonnes 3D (par triangulation passive dans notre cas) dun ensemble de points

appartenant la scne observe partir de leurs projections sur les deux images. Pour y

parvenir, nous devons faire face aux problmes suivants :

Estimer le modle de projection de chacune des deux camras, cest dire calibrer

le capteur stroscopique.

Rsoudre le problme de la mise en correspondance. Ceci revient savoir associer

un pixel dans une image donne sa contrepartie dans lautre image,

correspondant la projection du mme point de la scne. Ce processus doit treeffectu en respectant les contraintes temps rel et de fiabilit propre

lapplication envisage. Une technique de mise en correspondance efficace et

rapide est prsente dans [Zay.03a].

Effectuer la reconstruction tridimensionnelle. Les problmes potentiels sont

principalement lis la calibration du capteur stroscopique et la triangulation.

Ne drogeant pas aux autres techniques mettant en uvre une rception simple ,

lexploitation de la strovision dans le cadre des transports routiers ncessite la mise en place

dun certain nombre dalgorithmes de traitement et danalyse dimages fortement coupls

entre eux, devant tre la fois robustes et rpondre des contraintes temporelles strictes

(surtout pour des application telles que le suivi automatique de vhicules). Cest en particulier

lobjectif de cette thse que daboutir un systme efficace et cohrent permettant de

respecter de telles contraintes de performances et de cot, ceci grce lemploi de mthodes

adaptes aux conditions imposes par un usage routier et par lexploitation de matriel

compatible avec le prix de la voiture de monsieur tout-le-monde .

3. OBJECTIF DE LA THESE

La technique fondamentale mise en uvre dans notre capteur, ( savoir la strovision)est un processus qui, partir de deux ou plusieurs images dune mme scne prises de

positions diffrentes, permet de retrouver la structure 3D de la scne observe. La

reconstruction 3D dune scne est assure par lexploitation conjointe des proprits

colorimtriques de la scne et des caractristiques gomtriques des camras.

Dans son principe, lattelage virtuel repose sur la capacit du capteur dvelopp

fournir des informations concernant la position et lorientation du vhicule prcdant celui

auquel il est li. Si on dsigne par tracteur le vhicule auquel on souhaite satteler, le

capteur doit tre capable dexploiter une (voire des) entit(s) inhrente(s) au vhicule tracteur,qui permettrait au besoin de le singulariser parmi des vhicules strictement identiques par

11


14/226

Introduction Gnrale

ailleurs. Le choix de cette entit est une problmatique en soi, puisque celle-ci doit exhiber

plusieurs proprits, savoir :

Cette entit doit tre prsente sur tous les vhicules tracteurs potentiels de faon

naturelle (ou plutt ds la sortie de lusine), puisque nous ne voulons pas modifier

lapparence de ceux-ci.

De faon (presque) antagoniste la proprit prcdente, lentit choisie doit prsenter

des variations de sorte pouvoir singulariser un vhicule prcis de faon univoque.

Le vhicule suiveur se trouvant ncessairement derrire le vhicule tracteur, lentit

choisie doit tre obligatoirement larrire du vhicule tracteur.

Elle doit tre facile distinguer de son environnement et doit prsenter des

proprits gomtriques similaires pour tous les vhicules, afin que les algorithmesdvelopps soient gnriques tous les vhicules tracteurs potentiels.

Figure 4 : Exemple descne observe par le systme de localisation.

Les proprits nonces ci-dessus permettent de dresser une partie des spcifications de

notre capteur stroscopique, compte tenu de la ncessaire adquation devant exister entre

lentit dtecter et le couple algorithme / architecture afin de respecter nos contraintes de

temps de rponse et de robustesse. Les autres spcifications du capteur (dimensionnelles,

optiques, etc..) dcoulent directement des conditions dexploitation de celui-ci.

Dans cette thse, nous proposons donc un capteur stroscopique intelligent - de part sa

structure et lunit de traitement qui lui y associe - qui permet lextraction des informations

ncessaires la tche dattelage virtuel. Sa disposition gomtrique particulire lui permet

galement de proposer un fonctionnement adquat dans le cas de dfaillance dune seule

camra. Les lignes directrices de cette thse taient de proposer une solution matrielle bon

march, flexible et embarquable (compacit, disponibilit, basse consommation lectrique,

solidit, etc), mettant en uvre une solution logicielle modulaire, robuste et rapide,

accessible tous et permettant une volution continue en toute simplicit.

12


15/226

Introduction Gnrale

4. PLAN DU MEMOIRE

Lorganisation retenue pour ce mmoire est la suivante : aprs une prsentation dtaille

de la problmatique de lattelage virtuel et la justification des choix effectus en matire de

capteurs, le chapitre 1 dresse ltat de lart des vhicules intelligents puis prsente les

approches les plus communment adoptes dans le cadre de cette thmatique, en insistant plus

particulirement sur la conduite automatique de vhicule . Il passe en revue les solutions

exprimentales les plus prometteuses et les prototypes dvelopps travers le monde. Les

exemples prsents ont pour point commun de sappuyer sur la vision par ordinateur afin de

percevoir lenvironnement du vhicule. Bien entendu, le panorama prsent na pas prtention

lexhaustivit car seules nont t retenues ici les approches juges les plus intressantes du

point de vue de notre problmatique.

Dans le chapitre 2, nous introduisons la notion de capteurs intelligents et prsentons

les diffrentes dfinitions la base de ce concept. Le caractre utile du capteur intelligentpasse ncessairement par lanalyse de lacheminement de linformation, raison pour laquelle

une attention particulire est accorde ce point. Nous prsentons ensuite les diffrentes

architectures de capteurs intelligents et le rle de lintelligence dans ces derniers. Nous

abordons galement les diffrentes mthodes permettant dintgrer cette intelligence au

capteur. Enfin, nous passerons en revue les approches de conception des capteurs intelligents

que nous mettrons en application pour identifier les diffrents services et fonctionnalits que

doit approprier le capteur stroscopique intelligent pour raliser la tche de lattelage virtuel.

Cest le chapitre 3 qui constitue le cur de ce travail, puisquil sintresse laralisation et la mise en uvre de capteur stroscopique intelligent destin permettre la

mise en oeuvre dun attelage virtuel. Lune des particularits de ce travail est de se baser

uniquement sur les caractristiques visuelles dun vhicule banal, sans quil soit ncessaire

dinstrumenter le vhicule suivi (le tracteur ). Une dmarche bien particulire sera dtaille

tout au long de ce chapitre. Les rsultats obtenus montrent la faisabilit et lefficacit dune

telle approche.

Nous dtaillerons les diffrentes phases de lextraction des informations ncessaires

lattelage virtuel, depuis lacquisition des images stro en passant par la calibration descamras, la dtection de lentit dintrt, la certification de celle-ci, le suivie 2D et 3D et

pour finir lextraction des informations de position et dorientation intervhiculaire. Nous

prsentons par ailleurs dans ce chapitre une technique permettant le suivi du vhicule tracteur

avec une seule camra dans le but de pallier les dfaillances que peut subir notre systme au

cours de son fonctionnement.

13


16/226

LES VEHICULES INTELLIGENTS :

ETAT DE LART

Chapitre

Actuellement, lautomatisation de la conduite automobile est

sujette un grand intrt. En effet, ses potentialits sont nombreuses

et sduisantes, quil sagisse de loptimisation des infrastructures,

de lamlioration de la mobilit, de la minimisation des risques et du

temps de parcours et, par voie de consquence, de la consommation

dnergie.

Ce chapitre prsente les approches les plus communment utilises

dans le cadre de la thmatique vhicules intelligents , et plus

spcifiquement dans le contexte de la conduite automatique de

vhicule . Il passe en revue les solutions exprimentales les plus

prometteuses et les prototypes dvelopps travers le monde. Ceux-ci se

basent essentiellement sur des techniques dIntelligence Artificielle et sur

la Vision par ordinateur afin de percevoir lenvironnement du vhicule.

Nont t retenues ici que les approches juges les plus

intressantes du point de vue de notre problmatique. La fin du chapitre

est loccasion dvoquer les perspectives dvolution pour les dcennies

venir de ce domaine en constante mutation que constitue les

vhicules intelligents .

I.1. INTRODUCTION

u cours des dernires dcennies une grande importance a t donne aux systmes

de transport afin damliorer les conditions de scurit, doptimiser l'exploitation des

rseaux routiers, de diminuer la consommation d'nergie et de prserverl'environnement.

Les efforts consentis pour rsoudre ces problmes ont ouvert un nouveau domaine de

recherche et d'application, savoir, la conduite automatise de vhicule, dans lequel des

nouvelles techniques sont exploites pour automatiser entirement ou partiellement les tches

14


17/226

Chapitre 1 Les vhicules Intelligents : Etat de lart

de la conduite.

Les diffrentes tches en question sont reprises dans la liste ci-dessous (qui na pas

prtention lexhaustivit) :

Suivre la route,

Se tenir dans la file correcte,

Se maintenir une distance sredesautres vhicules,

Dtecterles pitons,

Adapter la vitesse du vhicule en fonction des conditions de trafic et descaractristiques de la route,

Changer de file pour suivre les vhicules et viter les obstacles,

Trouver l'itinraire le plus court vers une destination donne,

Se dplacer et stationner dans lenvironnement urbain.

L'intrt pour les technologies des systmes de transport intelligents (ITS) est apparu

depuis une vingtaine dannes quand le problme de la mobilit des personnes et des

marchandises commenait se poser avec une plus grande acuit, favorisant ainsi la

recherche de solutions alternatives.

Des institutions gouvernementales ont activ cette phase initiale de prospection aumoyen de divers projets impliquant un grand nombre dunits de recherche qui ont travaill

dans une voie cooprative afin de produire plusieurs prototypes et de mettre en uvre les

solutions pressenties, toutes bases sur des approches assez diffrentes les unes des autres.

En Europe, le projet PROMETHEUS1a commenc cette tape exploratoire en 1986. Le

projet a impliqu plus de 13 constructeurs automobiles et plusieurs units de recherches

gouvernementales et universitaires de 19 pays europens. Dans ce cadre, un certain nombre

dapproches diffrentes des ITS2ont t conues et mises en application.

Aux Etats-Unis la majeure partie des initiatives a t lance afin de traiter le problme

de la mobilit, impliquant plusieurs universits, centres de recherches et compagnies

automobiles. Aprs cette phase pilote, le gouvernement amricain a tabli le NAHSC3

[Bis.97] en 1995.

1PROgraM for an European Traffic with Highest Efficiency and Unprecedented Safety2Intelligent Transportation Systems, comme indiqu prcdemment.3NAHSC:National Automated Highway System Consortium

15


18/226


Au Japon, o le problme de mobilit est beaucoup plus important, quelques prototypes

de vhicules ont t dvelopps dans le cadre de diffrents projets. A linstar de ce qui sest

produit aux USA, lAdvanced Cruise-Assist Highway System Research Association

(AHSRA) a t fonde en 1996 de manire impliquer un grand nombre d'industriels de

lautomobile et de centres de recherches [Tok.97], qui ont conjointement dveloppdiffrentes approches relatives la conduite automatise de vhicule.

Nous pouvons galement citer le projet coopratif international ATLANTIC4 qui a

dbut en 2001, impliquant plusieurs laboratoires de recherches europens et Nord

Amricains. Ce projet se dcompose en 8 thmatiques5 de recherches distinctes sur les

systmes de transports intelligents [Gin.04].

Les rsultats principaux de cette premire tape se rsument dune part une analyse

profonde du problme et dautre part au dveloppement d'une tude de faisabilit,

indispensable la comprhension des exigences et des implications de ce quil est convenudappeler dornavant la technologie ITS .

Le domaine de lITS entame maintenant sa deuxime phase, quon peut caractriser par

une maturit dans ses approches et par lavnement de nouvelles possibilits technologiques

qui permettent le dveloppement des premiers produits exprimentaux. Un certain nombre de

prototypes de vhicules intelligents ont t conus, mis en oeuvre et tests sur route. La

conception de ces prototypes rsulte aussi bien de lanalyse critique des rsultats issus

directement de la recherche sous-jacente que de lapport dautres disciplines, parmi lesquelles

la Robotique, lIntelligence Artificielle, lInformatique, les Tlcommunications,lAutomatique, le Traitement du Signal, pour ne citer que celles-ci.

Initialement, les dispositifs technologiques les plus adapts au problme de la perception

dans le cadre du problme pos (camras infrarouges, radars, sonars, etc.) taient drivs

dapplications militaires trs coteuses. Cependant, grce leffet conjugu de lengouement

croissant pour les applications ITS et du progrs de la production industrielle, la technologie

daujourdhui offre des capteurs et des systmes de traitement des prix trs comptitifs.

Pour valuer et comparer les diffrentes approches, ces prototypes de vhicules

automatiques sont quips d'un grand nombre de capteurs et de calculateurs.

LEurope, de son ct, finance depuis de nombreuses annes des projets sur

llectronique embarque et les vhicules intelligents. Aujourdhui, au-del des

dveloppements industriels potentiels pour laide la conduite ou la conduite automatise, la

vocation de ces projets est clairement de fdrer les recherches et les dveloppements des

diffrents acteurs europens. Parmi les diffrents projets en cours, Carsense [Lan.01] runit 12

4ATLANTIC: AThematicLong-term Approach to Networking for the Telematics and ITS Community5http://www.atlan-tic.net/

16


19/226


partenaires6depuis janvier 2000 : Les constructeurs automobiles, des quipementiers et des

instituts de recherche. Lobjectif de ce projet est de proposer un systme daide la conduite

faible vitesse (de lordre de 30 km/h) aussi complet que possible, adapt des situations

complexes comme la conduite en ville. Le concept cl de ce systme repose sur les

performances de lensemble des capteurs quipant le vhicule : radars, lasers, camras,capteurs ultrasons, etc.. . Le but est den extraire suffisamment dinformations pour bien

valuer lenvironnement du vhicule et tre capable de prendre une dcision tout en respectant

les contraintes temporelles imposes par ce type dapplication. Deux autres projets majeurs,

financs par la commission europenne ont dbut en 2001 pour une dure de trois ans :

CyberCars7 [Par.03] lanc en aot 2001 et CyberMove8 [Ram.04] lanc en dcembre 2001.

Les deux projets runissent treize partenaires9. Il convient par ailleurs de citer le projet

ARCOS10[Arc.03] qui a dbut au mois de janvier 2002.

Comme nous lavons prcis au dbut de ce mmoire, dans le cadre de notre projet de

recherche sur les vhicules intelligents et les ITS, nous nous intressons plus particulirement

aux systmes bass sur la vision par ordinateur. Avant toute chose, il est ncessaire de revenir

de faon plus dtaille sur les motivations qui sont la base du dveloppement de tels

dispositifs, en prcisant quelles sont leurs particularits et les contraintes qui sy appliquent.

Une attention toute particulire sera consacre aux approches les plus reprsentatives ou au

moins les plus applicables , au problme de lattelage virtuel tel que nous lavons introduit.

Pour terminer, nous tenterons de tracer les grandes lignes des perspectives dvolution des

vhicules intelligents.

I.2. LA CONDUITE AUTOMATISEE DES VEHICULES

Avant dadopter une stratgie dautomatisation de la conduite, il est lgitime dexplorer

les diffrentes faons daborder le problme. Cest le but des sections qui suivent.

I.2.1. QUE FAUT-IL AMELIORER, LES VEHICULES OU LES

INFRASTRUCTURES ?

Lautomatisation de la conduite automobile peut se baser sur des modifications de la

structure routire ou (de faon non exclusive) sur des modifications des vhicules eux-mmes.Selon les spcificits de lapplication, chacune de ces deux alternatives possde des avantages

6Partenaires du projet Carsense : Autocruise, BMW, CRF, Thales, INRETS-LEOST, Renault, IBEO, Jena-Optronik, INRIA, LIVIC,

TRW Automotive, ENSMP.7Cybernetic technologies for the car in the city.8Cybernetic transportation systems for the cities.9 Partenaires du projet CyberCars : INRIA (France), RUF (Danemark), FIAT research (Italie), Universit de Bristol (GB), FROG

Navigation Systems (Pays-bas), Yamaha (Japon), Robosoft (France), Technion (Isral), TNO (Pays-bas), Universit de Southampton (GB),

Serpentine (Suisse), Universit de Coimbra (Portugal), Autos et Energies (Suisse).

Partenaires du projet CyberMove : Les 13 partenaires cits ci-dessus ainsi que GEA (Suisse).

17


20/226


et des inconvnients. L'amlioration des infrastructures routires peut apporter des bnfices

aux types de transport bass sur des itinraires pr-dfinis, comme cest le cas pour les

transports en commun et la robotique industrielle (pour exemple la transitique base sur

un filoguidage ou un dispositif assimilable). Cependant, cette approche exige une organisation

et un entretien complexes et tendus qui peuvent devenir encombrants et extrmement chersdans le cas des rseaux routiers de grandes dimensions. Une restructuration de

l'environnement ne peut tre raisonnablement applique qu un sous-ensemble rduit du

rseau routier (par exemple une route entirement automatise que seuls des vhicules

automatiques, publics ou privs, pourraient emprunter). Pour cette raison, les systmes qui se

raliseront court terme doivent pouvoir tirer profit des infrastructures dj existantes, ce qui

autorise de substantielles conomies en matire dinfrastructure en comparaison de la

premire solution voque. Par consquent, les travaux des chercheurs sorientent plus

essentiellement sur lamlioration des vhicules.

I.2.2. QUELLES SONT LES EXIGENCES QUE DOIT SATISFAIRE UNE

APPLICATION ITS ?

Comme tous les autres, les systmes de transport intelligents disposent de certaines

spcificits qui sont directement lies leur domaine dapplication. A ces spcificits

sassocient des contraintes particulires.

Ainsi, pour [Ber.00], n'importe quel systme embarqu pour une application ITS doit

satisfaire certaines exigences vitales :

Le systme final doit tre assez robuste pour s'adapter aux diffrents tats et

changements denvironnement, de route, de trafic, d'clairage, ainsi qu des

conditions mtorologiques variables.

Les systmes embarqus propres aux applications ITS sont des systmes de sret

critique pour lesquels un haut degr de fiabilit est exig. Par consquent, le projet

doit tre approfondi et rigoureux pendant toutes ses phases, de la spcification des

exigences la conception et la mise en oeuvre. Une phase intensive de mise

l'preuve et de validation est donc d'une importance capitale.

Afin de rendre la technologie ITS accessible au plus grand nombre, et par

consquent rendre cette dernire attractive pour les industriels du secteur, la

conception d'un quipement ITS doit intgrer ds le dpart des contraintes de cot

stricts11. Les dpenses de tout ordre (comme la consommation lectrique) doivent

tre tenues aussi basses que possible, puisque les performances du vhicule (quelles

soient techniques ou conomiques) ne doivent pas tre affectes ngativement par

l'utilisation du systme ITS.

11Le cot du systme embarqu ne doit pas dpasser 10 % du prix de vhicule.

18


21/226


Le matriel et les capteurs du systme doivent tre compacts et discrets. Ils ne

doivent par ailleurs pas dtonner vis--vis du style du vhicule.

Enfin, puisque les systmes ITS doivent tre dclenchs et contrls par un

oprateur humain, ils ont besoin d'une interface homme-machine conviviale, simple,

ractive et efficace.

I.2.3 QUEL TYPE DE CAPTEURS UTILISER ?

Lensemble des capteurs utiliss dans le cadre de la Robotique Mobile dintrieur

(Indoor) ne sapplique pas avec le mme bonheur lorsquil sagit dquiper un systme ITS,

destin affronter le monde extrieur dans des conditions trs variables. Ainsi, les capteurs

tactiles et les capteurs acoustiques sont inappropris pour les applications impliquant des

vhicules moteur voluant vitesse leve [Ber.00], du fait de la proximit que ncessitent

les premiers et de la sensibilit au mouvement relatif lair qui affecte les seconds.

Les capteurs base de laser et les radars exploitent la rflexion dun signal mis par le

dispositif sur un obstacle. La mesure elle-mme repose principalement sur la dtermination

dun temps de vol ou par la caractrisation dune onde de battement (issu du produit entre

signal mis et signal rflchi). Etant lorigine du signal permettant la mesure, nous les

classifierons en tant que capteur par mission-rception . Leurs principaux inconvnients

sont la basse rsolution spatiale (en gnral) et leur temps dacquisition relativement

important.

Les capteurs bass sur la vision, ntant pas lorigine du signal permettant la mesure,sont a contrario dfinis en tant que capteurs par mission simple et ont un avantage

intrinsque par rapport leurs homologues par mission rception qui est (par essence) la

facult dacqurir les donnes sans modifier l'environnement (capteur non intrusif).

Malheureusement, de par leur nature mme, les capteurs de vision sont davantage perturbs

que les radars par le brouillard, le manque ou lexcs de lumire, etc. En somme, mme si les

effets peuvent tre exacerbs ou, au contraire attnus, les capteurs de vision sont sensibles

aux mmes perturbations que la vision humaine elle-mme.

En outre, les capteurs par mission-rception possdent quelques particularits qui leursdonnent des avantages sur la vision dans certaines applications spcifiques : ils effectuent

certaines mesures (comme celle du mouvement) d'une faon plus directe que la Vision en

exigeant moins de ressources en calcul car devant acqurir une quantit considrablement

infrieure de donnes pour parvenir lestimation voulue.

En dpit de ces indniables qualits, le problme principal des capteurs par mission-

rception est l'interfrence entre capteurs du mme type, qui peut devenir critique lorsquun

grand nombre de vhicules se dplacent simultanment dans le mme environnement (comme

dans le cas de vhicules automatiques roulant sur des autoroutes intelligentes.).

19


22/226


Il est clair quun tel problme ne se pose pas dans le cadre de l'utilisation de capteurs par

rception simple, tels que des camras. Ceci constitue donc un atout majeur pour lapplication

envisage.

Le tableau 1 regroupe de faon synthtique les forces et faiblesses de chacune de ces

deux familles de capteur :

Remarque : Evidemment, la vision naugmente pas ncessairement les capacits de dtection

au-del des possibilits humaines (en prsence dun important brouillard ou la nuit en

labsence dclairage spcifique, par exemple), mais elle peut par contre aider le conducteur

en cas de dfaillance (manque de concentration, fatigue, etc.)

- Par nature, sensibles aux

conditions dacquisition.

- Trs peu (voire pas du tout) intrusifs.PPaarr RRcceeppttiioonn

ssiimmppllee (( ddiittss iiccii

PPaassssiiffss1122))

- Interfrences entre les capteurs

du mme type.

- Mesures directes,

- Exigent comparativement moins de

ressources de calcul,

- Robustesse vis--vis de certaines

conditions de fonctionnement

dgrades.

PPaarr EEmmiissssiioonn

RRcceeppttiioonn ((ddiittss iiccii

AAccttiiffss1122))

IInnccoonnvvnniieennttssAAvvaannttaaggeessLLeessccaapptteeuurrss

Tableau I.1 : Comparaison entre capteurs actifs 12et capteurs passifs 12.

La nature non intrusive des capteurs passifs en gnral et la richesse que procure la

vision en particulier fait de cette dernire une approche incontournable dans le domaine des

vhicules intelligents.

I.3. LA VISION DANS LE DOMAINE DES VEHICULES

INTELLIGENTS

Des questions importantes doivent tre soigneusement traites durant la phase de

conception des systmes de vision ddis aux applications automobiles. Les paragraphes qui

suivent traitent de ces dernires :

12G. Hash, entre autres, dfinit un capteur actif par sa facult produire une forme dnergie (en gnral sous forme lectrique) lorsquil

est excit par le signal mesurer, tandis quun capteur passif modifie certaines de ses caractristiques (par exemple sa rsistance) sous

linfluence de ce signal Ici, le terme actif dsigne des capteurs devant exciter leur environnement pour produire un signal

exploitable- alors que le terme passifs se rapporte des capteurs utilisant un signal spontanment disponible.

20


23/226


En premier lieu, les systmes ITS sont plus exigeants que dautres applications

en terme des contraintes temporelles (temps-rel). En effet, le temps de

rponse du systme se doit dtre en accord avec la vitesse de dplacement du

vhicule, qui peut tre leve. De faon antagoniste, les applications de Vision

ncessitent le traitement dun flux important de donnes. Le dfi que posent lestechniques de Vision artificielle dans le contexte de ce type dapplication est

donc dtre capable de traiter une grande quantit de donnes de faon fiable et

en temps-rel. Des architectures et des techniques spcifiques la satisfaction

de cette double contrainte sont, par consquent, un domaine de Recherche trs

actif [Cab.99, Har.04, Iss.04, Lab.04, Per.05].

Deuximement, dans le domaine de l'automobile, aucune supposition ne peut

tre faite sur les paramtres principaux (comme par exemple l'clairage de la

scne observe ou le contraste des tons) influant directement sur les

informations prises en compte par le capteur de vision. Par consquent, le

traitement ultrieur doit tre assez robuste pour s'adapter des conditions

environnementales diffrentes (comme le soleil, la pluie, le brouillard) et

leurs changements seffectuant avec des dynamiques trs variables, tels que les

transitions entre le soleil et l'ombre ou l'entre ou la sortie d'un tunnel.

Pour finir, d'autres problmes-cls, tels que la tolrance aux mouvements

propres du vhicule (par exemple roulis, tangage, etc.) et les drives dans la

calibration des camras, doivent aussi tre traits.

Les avances rcentes en informatique et dans les technologies des capteurs ont favoris

l'utilisation de la vision galement dans le domaine des vhicules intelligents. Les progrs du

matriel informatique, en particulier au niveau du degr d'intgration et de la diminution de la

tension d'alimentation, permettent de produire des machines de vision plus puissantes, moins

dispendieuses en nergie (et donc plus facilement embarquables ), des prix accessibles.

De nombreux autres facteurs13doivent tre pris en compte lors de la conception et du

choix dun dispositif dacquisition dimages. Les choix peuvent se porter sur de la Vision

monoculaire (une seule camra), ou binoculaire (strovision), voire multiculaire (approche multi camras). Dautres paramtres importants sont lis langle de prise de

vue, qui se doit dtre adapt lapplication envisage (surveillance globale des abords du

vhicule ou accostage, par exemple), de mme que la rsolution et la profondeur14des images.

Les contraintes fixes doivent par ailleurs permettre de faire un choix entre lexploitation

dimages en couleurs ou en niveaux de gris.

13Si nombreux que lnumration ci-dessous est ncessairement incomplte !14Profondeursignifie le nombre de bits par pixel

21


24/226


Au-del des considrations sur la structure du capteur et la nature des donnes retenues,

d'autres caractristiques, intrinsques au capteur, doivent tre prises en considration, tels que

le temps dintgration et la dynamique du capteur.

Conclusion : Bien que fortement exigeante et extrmement complexe analyser ; la richesse

des informations fournies par la Vision (dont il a t valu quelle constitue 90% des

donnes exploites par un conducteur dans sa tche de pilotage) en fontun des moyens les

plus puissants pour percevoir lenvironnement et a, de ce fait, t largement utilise pour

traiter un grand nombre de problmes dans le domaine de la conduite automatique, [Cou.02,

Ste.02, Lab.02].

I.4. LE SUIVI DE LA ROUTE

Lesuivi automatique de la routeest sans doute lune des approches ayant suscit le plus

de travaux ces dernires dcennies. Sa mise en uvre repose sur deux modulescomplmentaires assurant les tches suivantes :

- La dtection des lignes sparant les diffrentes files de la chausse, la

modlisation de la route, la dtermination de la position relative du

vhicule par rapport la voie et l'analyse de la direction des autres

vhicules.

- La dtection et la localisation des obstacles se trouvant ventuellement sur

la trajectoire actuelle du vhicule.

En effet, la dtection et la localisation des obstacles est une partie intgrante de la tche

du suivi automatique de la route. De ce fait, ces deux thmatiques de recherche dans le

domaine des transports intelligents se sont forgs une destine commune. Dans ce qui suit,

nous voquons plus en dtails la dtection des marquages au sol et la dtection des obstacles.

I.4.1. DETECTION DES MARQUAGES AU SOL

Dans la plupart des prototypes de vhicules intelligents dvelopps travers le monde,

le suivi de la route est divis en deux tapes, du type perception et action :initialement, la position relative du vhicule est calcule par rapport la voie, et ensuite les

actionneurs le maintiennent dans la configuration correcte. Quelques exemples des stratgies

qui peuvent tre adoptes pour rsoudre le problme du contrle latral sont prsents dans

[Tay.99].

Cependant, certains des premiers systmes n'taient pas bass sur la dtection

prliminaire de la position du vhicule par rapport la route, mais dterminaient directement

les commandes des actionneurs (steering wheel angles) partir des images acquises. Ainsi,

22


25/226


dans le cadre du projet ALVINN15[Joc.93a], le systme est bas sur une approche par rseaux

de neurones : il est capable de suivre la route aprs une phase danalyse dun grand nombre

d'images. Quoiquil en soit, la position des marquages sur la route tant utile dautres sous-

systmes de dispositifs comparables, la localisation de ceux-ci est de toute faon

gnralement excute.

Bien entendu, les systmes tels que ceux prcdemment cits ne sont pleinement

efficaces que lorsque les files sont matrialises par des lignes au sol. Dautres ralisations,

telles que le SCARF [Cri.91] et PVR16III [Kim.95], ont t conues pour exploiter des routes

peu structures. Ces systmes sont bass sur l'utilisation de camras couleur et exploitent

lhypothse qu'une route est colore de faon homogne afin de dtecter celle-ci dans les

squences dimages.

Dans plusieurs cas, la dtection de la route est rduite la dtection de certaines

structures spcifiques cette dernire. Ces mthodes simplifient la dtection, mais doiventnanmoins faire face deux problmes majeurs qui sont :

La prsence des ombres, qui produit de pseudo-objets sur la surface de la route

et en modifie localement la texture. La plupart des groupes de recherche font face

ce problme en utilisant des algorithmes de filtrage d'images trs sophistiqus

gnralement appliqus des images en niveau de gris. Dans de plus rares cas, des

images en couleur sont utilises. Le vhicule intelligent MOSFET17[Mic.97] utilise

par exemple un algorithme de segmentation couleur maximisant le contraste entre le

marquage des lignes et la route.

Les marquages sur la route occults par dautres vhicules. Pour faire face ce

problme, certains systmes traitent seulement une rgion de la route o l'absence

d'autres vhicules peut tre raisonnablement suppose. Ainsi, les vhicules

intelligents LAKE et SAVE traitent la partie d'image correspondant aux 12 mtres

les plus proches devant le vhicule. Des travaux tels que [Cod.97] ont montr que

cette approche permet de manuvrer le vhicule sur les autoroutes sans risque.

Sappuyant sur une technique toute autre, le systme RALPH18 [Pom.96] rduit

la

partie de l'image traite grce aux rsultats d'un module de dtection d'obstacle base de radar. Le groupe de recherche du Laboratoire Rgional Des Ponts et

Chausses de Strasbourg exploite lhypothse qu'il doit toujours y avoir un contraste

chromatique entre la route et son environnement (ou les obstacles), au moins dans

15ALVINN: Autonomous Land Vehicle In a Neural Net16SCARF: Supervised Classification Applied to Road Following

PVR: POSTECH Vehicle Road17MOSFET: Michigan Off-road Sensor Fusing Experimental Testbed.18RALPH: Rapidly Adapting Lateral Position Handler

23


26/226


une composante de couleur. En sappuyant sur cette hypothse, le concept de

saturation chromatique [Cha.98] est utilis pour sparer les composantes.

En raison des contraintes physiques et de continuit, le traitement de l'image entire peut

tre rduit l'analyse dune rgion d'intrt. C'est la stratgie gnralement adopte en

exploitant des connaissances a priorisur l'environnement de la route. Par exemple, le systme

dvelopp par le groupe de recherche de Robert Bosch GmbH [Gol.98] utilise un modle

dynamique de la route et du vhicule afin de dterminer la partie de la route o il est

susceptible de trouver les marquages au sol.

Lhypothse raliste dune largeur fixe de la route (en premire approximation) permet

de perfectionner le critre de recherche, en limitant cette dernire aux marquages presque

parallles. Le vhicule PVR III [Kim.95] utilise les rseaux de neurones et des algorithmes de

vision afin daccomplir cette tche. De faon analogue, le systme RALPH [Pom.96] traite la

partie de limage correspondant 20 70 m devant le vhicule. Leffet de perspective estcontrebalanc par calcul sur cette zone de limage, la courbure de la route est ensuite estime

en comparant cette zone un certain nombre de modles comportant des marquages

parallles.

La reconstruction gomtrique de la route est simplifie par des suppositions concernant

sa forme. Les groupes de recherche de lUniversitat der Bundeswehr [Lt.98] et Daimler-

Benz [Fra.98] dtectent la route en se basant sur un modle spcifique: les marquages au sol

sont modliss sous la forme de clothodes19. Lavantage dune telle modlisation est que la

connaissance de deux paramtres est suffisante pour dfinir compltement la localisation dumarquage au sol et permet de dterminer dautres grandeurs telles que la compensation

latrale et langle de direction. Dautres groupes de recherche utilisent une reprsentation

polynomiale des marquages au sol. Ainsi, le vhicule intelligent MOSFET [Mic.97] exploite

pour ce faire des paraboles, une transformation simplifie de Hough tant ensuite employe

pour accomplir la procdure dadaptation.

Dautres systmes sappuient quant eux sur un modle gnrique de la route. Par

exemple, le systme ROMA [Tok.97] utilise une approche de la Vision base de contours.

Un modle dynamique permet le traitement de petites rgions en temps rel. Les contoursforms par des pixels qui ont une valeur de direction de gradient significative font lobjet

dune procdure de tracking (poursuite). Dune manire analogue, un modle triangulaire

gnrique de la route a t dvelopp pour le vhicule exprimental MOB-LAB par les

groupes de recherche de Universit Di Parma [Bro.95] et Istito ElectroTecnicoNazional

[Den.94] G.Ferraris.

La connaissance a priorides paramtres de calibration du systme de vision et certaines

hypothses sur ltat de la route (route plate en particulier) simplifient la mise en

19Dans une clothode la courbure dpend linairement de la rfrence curviligne.

24


27/226


correspondance entre les points des images dune part et les points des images et leurs

coordonnes dans un repre li la scne observe dautre part.

Remarque:Pour dterminer la distance avec un obstacle ou encore la courbure de la

route, la grande partie des systmes prsents prcdemment supposent que la route devant levhicule est plate.

Le systme GOLD20[Ber.98] implment sur le vhicule intelligent ARGO, ainsi que le

systme RALPH, exploitent lhypothse que la route est localement plane. La corrlation

temporelle entre les images successives est gnralement utilise pour valider le rsultat.

Hypothse Avantages Inconvnients

Rgion dintrt - Analyse temps-rel, - Le choix de la rgion dintrt est

critique.

Largeur de la route fixe - Amlioration des critres derecherche,

- Robustesse vis--vis des

phnomnes de type ombres .

- Nest pas adapte des routes dont

la largeur est variable.

Forme de la route - Robustesse par rapport auxombres,

- Simplification de la phase de

reconstruction de la gomtrie de la

route,

- Contrle simplifi.

- Ncessit dune grande puissance

de calcul,

- Ncessite une bonne adquation

route relle / modle.

Les connaissances a

priori de la route

surface / inclinaison

- Simplification de la mise en

correspondance entre les pixels des

images et les coordonnes relles

(dtermination des distances avec

les obstacles et de la courbure de la

route).

- Les hypothses (par exemple, route

plate) ne sont en gnral satisfaites

quen premire approximation,

- la recalibration du systme

stroscopique est souvent

ncessaire.

Tableau I.1 : Avantages et inconvnients des hypothses classiques faites dans lecadre de la dtection de routes.

I.4.2. DETECTION DES OBSTACLES

Certains systmes limitent la dtection des obstacles la localisation des autres

vhicules, ils sappuient alors principalement sur la recherche de modles spcifiques dans

limage, procd qui peut tre utilement renforc par des considrations de forme et de

symtrie des objets recherchs (les vhicules).

20GOLD: Generic Obstacle and Lane Detection.

25


28/226


Lalgorithme de dtection dobstacles dvelopp lUniversitat der Bundswehr [Lt.98]

se base sur la dtection des contours et la modlisation des obstacles ; le systme est capable

de dtecter et traquer jusqu 12 objets autour du vhicule. Les variables continuellement

mises jour et associes aux obstacles sont : la distance, la vitesse relative, lacclration

relative, la position latrale, la vitesse latrale et la taille.

Dans lexemple cit prcdemment, la dtection des obstacles exploite des modles

spcifiques, de ce fait le traitement dune seule image suffit, mais lapproche manque

defficacit dans le cas o lobstacle ne correspondrait pas suffisamment aux modles.

Une dfinition plus gnrale, qui compliquera videmment les algorithmes, considre

que tout objet se trouvant sur le chemin du vhicule est un obstacle. Autrement dit, toute

dformation de la route correspondra un obstacle potentiel. Dans ce cas, la dtection des

obstacles est rduite lidentification de lespace libre devant le vhicule :

Figure I.1 : Les techniques de dtection utilises pour les diffrentes dfinitions desobstacles considres[Ber.00].

Ladoption de cette dfinition exige lutilisation de techniques de dtection plus

complexes ; les plus connues sont :

Lanalyse de type flux optique.

Le traitement dimages non monoculaires.

Dans le premier cas plusieurs images sont acquises par le mme capteur des instantsdiffrents. Dans le deuxime cas, plusieurs camras acquirent des images simultanment de

26


29/226


diffrents points de vue. En plus de leur complexit intrinsque cause par la quantit de

donnes traiter, ces techniques doivent tre suffisamment robustes vis--vis des

imprcisions, incertitudes et indterminations causes par le mouvement du vhicule et les

drives dans la phase de calibration des camras.

La technique duflux optiqueexige lanalyse dune squence de deux images au moins.

Un vecteur 2D des mouvements horizontaux et verticaux de chaque pixel est alors calcul

dans lespace image. Le rsultat est utilis pour estimer le mouvement. Certains systmes

extraient le dplacement directement de lodomtre ; les obstacles sont dtects en analysant

la diffrence entre les domaines de mouvements prdits et rels. Le systme ROMA [Kru.95]

intgre un module de dtection dobstacles qui est bas sur la technique du flux optique et sur

lanalyse des donnes fournies par un odomtre. De la mme faon, ASSET-2 21 est un

systme compltement temps rel pour la segmentation et la dtection des objets qui se

dplacent de faon autonome. Sa particularit essentielle rside dans le fait quil nexige pas

la calibration de la camra. Il traque les objets et il est capable de traiter correctement les

occultations des obstacles. Chaque nouvel objet automoteur qui entre dans la scne initie

automatiquement une nouvelle procdure de tracking. Initialement, ASSET-2 construit un

domaine de flux clairsem et segmente ensuite limage obtenue en rgions prsentant des

variations de flux homognes. La corrlation temporelle [Smi.95] est utilise pour filtrer le

rsultat, dont on amliore ainsi lexactitude.

En ce qui concerne le traitement des images non-monoculaires, ce dernier exige la mise

en correspondance des pixels des diffrentes images : deux images pour la strovision

binoculaire et trois dans le cas de la strovision trinoculaire. Lavantage danalyser desstros images (deux ou trois images) au lieu dune squence dimages monoculaires se

rsume dans la possibilit de dtecter directement la prsence dobstacles (par exemple grce

lanalyse des disparits), ce qui nest pas possible pour la vision monoculaire. De plus, dans

des conditions limites o le vhicule et les obstacles ont des vitesses faibles ou nulles,

lapproche base de flux optique ne dtecte pas les obstacles, tandis que la strovision, elle,

nest pas prise en dfaut.

Le projet UTA22du groupe de recherche Daimler-Benz visait dvelopper un systme

intelligent (Stop & go) lintrieur de la ville en adoptant la strovision pour extrairelinformation 3D en temps rel. Le prototype dvelopp [Fra.98] est par ailleurs capable de

reconnatre les signes du trafic, les balises de signalisation, les pitons, les passages protgs

et les lignes darrt.

Le groupe de recherche de MIT23, a dvelopp un systme de strovision pour la

dtection tridimensionnelle des routes et la visualisation du trafic, qui peut tout aussi bien tre

21ASSET-2:A Scene Segementation Establishing Tracking v222UTA: Urban Traffic Assistant.23MIT: Massachussetts Institute of Technology.

27


30/226


adapt d'autres applications. Le systme est capable de sparer les vhicules partiellement

chevauchs et de les distinguer depuis leurs ombres.

En outre, pour diminuer la complexit intrinsque de la strovision, des contraintes

spcifiques au domaine sont gnralement adoptes.

Dans le systme GOLD, la suppression de l'effet de perspective dans les images stro

[Bro.99a], permet d'obtenir deux images qui ne peuvent diffrer lune de lautre quen

prsence dun ou plusieurs obstacles ou si lhypothse de planit de la route nest pas

respecte. Dans le cas contraire, il sagit alors dun systme dtectant l'espace libre devant le

vhicule.

Dune faon similaire, lunit de recherche de lUniversit de Californie [Kol.95], a

dvelopp un algorithme qui rectifie l'image gauche en utilisant le point de vue de l'image

droite, dtectant ainsi les obstacles partir de lanalyse des disparits. Dans cette optique, unfiltre de Kalman est utilis pour suivre les obstacles.

Des algorithmes de dtection dobstacles plus rcents ont t dvelopps dernirement.

Nous pouvons citer titre dexemple lalgorithme de dtection dobstacles avec un

stroscope compos de deux camras matricielles dans le cadre du projet ARCOS [Lab.04]

ou encore la technique de dtection dobstacles rapide base sur un stroscope compos de

deux camras linaire (voir [Har.04]), ces techniques ont le mrite dexploiter uniquement les

proprits gomtriques de la projection de la scne sur les camras pour pouvoir dtecter un

obstacle.

Le tableau I.3 compare les points forts et les points faibles des diffrentes approches

relatives au problme de la dtection d'obstacles.

Les approches

adoptes

Avantages Inconvnients

Lanalyse dune seule

image

- des algorithmes simples,

- traitement rapide,

- pas dinfluence du

mouvement du vhicule.

- perte dinformations

concernant la profondeur

des scnes si des

suppositions spcifiques nesont pas faites,

- naboutit pas si le

modle ne correspond pas.

Flux optique - dtection gnrique desobjets,

- permet le calcul du

dplacement et de la

vitesse relative des

obstacles.

- traitements complexes,

- sensible au mouvement du

vhicule et aux erreurs de

calibrage,

- naboutit pas si le vhicule

ou lobstacle a une vitesse

nulle.

28


31/226


La strovision - dtection gnrique desobjets,

- permet la reconstruction

3D.

- traitements complexes

(des contraintes

spcifiques peuvent

rduire la complexit),

- sensible au mouvement duvhicule et aux erreurs decalibrage.

Tableau I.3 : Comparaison entre les diffrentes approches de dtection dobstacles.

Comme mentionn ci-dessus, diffrentes techniques ont t proposes dans la littrature

et values sur des prototypes afin de rsoudre le problme du suivi de route, mais seulement

quelques-unes d'entre elles fournissent une solution intgre, (comme par exemple la

dtection des routes et la dtection d'obstacle) justifiant la poursuite de recherches destines

lamlioration des rsultats et la mise au point des traitements plus rapides et plus efficaces.

I.5. LES TENDANCES RELATIVES A LEVOLUTION DES

MATERIELS

Dans les premires annes des applications ITS un grand nombre de solutions ont t

proposes et beaucoup dentre elles taient bases sur des matriels spcialiss. Ce choix tait

justifi par le fait que le matriel disponible sur le march un prix raisonnable n'tait pas

assez puissant pour pouvoir traiter les images en temps rel. Par exemple, les chercheurs de

l'Universitt Der Bundeswehr [Dic.95, Joc.93b, Joc.98, Bro.97] ont dvelopp leur propre

architecture du systme.

En plus du choix des capteurs appropris et du dveloppement des algorithmes

spcifiques, un grand pourcentage de cette premire tape de recherche tait consacr la

conception, la mise en oeuvre et aux essais des nouvelles plates-formes matrielles. En fait,

quand une nouvelle architecture d'ordinateur fait son apparition, il faut prendre en

considration non seulement le matriel et les aspects architecturaux (tel que le jeu

d'instructions, les intercommunications, les Entres / Sortie, etc.) mais aussi les solutions

logicielles applicables.

Ces dernires annes, l'volution technologique a tout chang: presque tous les groupes

de recherche utilisent des composants directement disponibles sur le march pour leurs

systmes.

Par exemple, le NavLab 5 (vhicule du Carnegie Mellon University) et ARGO (le

vhicule de Di Parma Universit) ont utilis des systmes bass sur des processeurs

universels. Grce la disponibilit des rseaux ultra-rapides, quelques solutions MIMD24ont

24MIMD: Multiple Instruction Multiple Data.

29


32/226


mme t explores. Ces dernires sont composes dun petit nombre de processeurs

performants et interconnects, comme dans le cas du vhicule VaMoRs-P [Lt.98] de

l'Universitt der Bundeswehr o lancien systme a t remplac par trois PCs (dual Pentium

II) connects viaun rseau rapide bas sur Ethernet.

Les tendances actuelles [Ber.00], cependant, semblent converger vers une architecture

hybride, dans laquelle le processeur universel puissant est p

Vehicules Intelligents Etude et developpement d'un capteur intelligent de vision

Documents

Transcript of Vehicules Intelligents Etude et developpement d'un capteur intelligent de vision