Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement...

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1

Traitement d'images

Hugues BENOIT-CATTIN


I. Introduction

Objectif

Compréhension des techniques de traitement d'images mise en

oeuvre dans le domaine des télécommunications


Ce n'est pas cequi nous intéresse !

HBC

Traitementd'images

Traitementd'images


• Domaines d'application

Vision industrielle

Imagerie médicale

Imagerie satellite

Microscopie

Télécommunications

Animations, Images de synthèse

....


• I. Introduction

• II. Représentations & Acquisition

• III. Pré-traitement & Amélioration

• IV. Compression

• V. Segmentation

• VI. Introduction à l'indexation

• VII. Introduction au tatouage

• VIII. Conclusion

Plan

Remerciements à A. Baskurt, C. Odet pour les parties II, III, V


Scène, objets 2D 3D...Eclairage

Image 2D,3D,...

Formation de l’image

Image numérique

Numérisation

Image numérique

RestaurationReconstruction

Corrections- radiométriques- géométriques


Image numérique Indexation

CompressionSegmentation

Tatouage

Reconnaissancede formes

BDO

Transmission

Décision


II. Représentation & Acquisition

• 1. Représentation continue

• 2. Représentation échantillonnée

• 3. Voisinage, connexité, distance

• 4. Acquisition : échantillonnage, quantification, bruit

• 5. Représentations fréquentielles

• 6. Représentations pyramidales

• 7. Représentation de la couleur


II.1 Représentation continue

Image = fonction d’au moins deux variables réelles Image : f(x,y) image 2D

Volume : f(x,y,z) «image» 3D Séquence d’image : f(x,y,t) Séquence de volumes : f(x,y,z,t) «image» 4D

Les valeurs prises par f(.) peuvent être Scalaires (intensité lumineuse)

Vectorielles (couleur (RVB, ..), imagerie multispectrale, image de paramètres...)

Réelles ou complexes


• Une image 2D f(x,y) scalaire réelle peut être vue comme une surface en 3D :

Interprétation altimétrique des images, bassin versant, détection de ligne de crêtes, dénivellation ...

• Si f(.) représente une intensité lumineuse

Cette représentation est utiliséequel que soit le paramètre représenté par f(.)( Température, pression,....)Correspondance entre niveau de gris et grandeur physique.


• Opérations sur les images continues :

Toutes opérations réalisables «sur le papier» sur les fonctions continues à variables réelles

Transformée de Fourier bidimensionnelle (2D)

Filtrage, convolution, corrélation, intégration, dérivation, traitements non linéaire...

• On utilisera souvent la notation «continue» pour

représenter et manipuler des images numériques (discrètes, échantillonnées, quantifiées)

• Le traitement numérique de l’image sera parfois une «discrétisation» d’une opération en continu


II.2 Représentation échantillonnée

• Echantillonnage d’une fonction f(x,y)

fe(x,y) = f(x,y).i j ( x - i x , y - j y )

x pas d’échantillonnage dans la direction x

y pas d’échantillonnage dans la direction y

x

xy

ijx - i x , y - j y ) Peigne de Dirac 2D


• Le poids de chaque Dirac est :

– Soit la valeur de f(x,y) en x = i x et y = j y– Soit la valeur «moyenne» de f(x,y) dans une région

entourant (i x , j y) (f(x,y) est pondérée et intégrée dans la région R)

~( , )f i x j y

Caméra CCD Caméra à tube


~( , ) ( , ) ( , , , )f i x j y f x y h x y i x j y dxdy

R

~( , ) ( , ) ( , )f i x i y f x y h i x x j y y dxdy

R

• Dans le cas général on aura (cas variant) :

• Si h(.,.) est identique en tout point (x,y), on aura (cas invariant) :

h représentera la réponse impulsionnelle du système de prise de vue. C’est une opération de convolution, donc de filtrage.

f x y f i x j y x i x y j yeji

( , )~

( , ) ( , )

• L’image échantillonnée est donc :

• Dans un ordinateur, l’image (numérique) sera représentée parune matrice (tableau 2D) : f i j f i x j y[ , ]

~( , )


• f [i,j] est appelé «valeur du PIXEL (i,j) »(Pixel: PICture ELement)

• Pour visualiser une image, on remplit une région rectangulaire (Pixel) avec un niveau de gris (ou de couleur) correspondant à la valeur du pixel. En général les niveaux de gris (ou de couleur) utilisé pour la visualisation sont compris entre 0 et 255 (code de longueur fixe sur 8 bits).

0.1 0.230.15 0.50

f [i,j]

50 11575 250

Niveau de gris Affichage


• La maille (répartition des pixels) est le plus souvent carrée (Dx=Dy) ou rectangulaire

• On utilise parfois une maille hexagonale qui possède des propriétés intéressantes pour les notions de voisinage et de distance.


II.3 Voisinage, connexité, distance

• Beaucoup de traitements font intervenir la notion de voisinage

• Un pixel possède plusieurs voisins (4 ou 8)

• On parlera de connexité 4 ou 8

La région grise forme :UN seul objet en connexité 8DEUX objets en connexité 4


Distance Euclidienne d f f i k x j l ye ( , ) ( ) ( )' 2 2 2 2

Distance City-Block d f f i k x j l yc ( , )

longueur du chemin en connexité 4

Distance de l’échiquier d f f i k x j l yb ( , ) max( , )

Distance entre deux pixels f [i,j] et f ’[k,l]


II.4 Acquisition : échantillonnage / quantification

Effets de l'échantillonnage : pixelisation

256 x 256 pixels 64 x 64 pixels 16 x 16 pixels

• Contours en marche d’escalier• Perte de netteté• Détails moins visibles/ moins précis• Perte de résolution


Effets de la quantification à l'acquisition• CAN sur les systèmes d’acquisition d’images

• Codage de la valeur de chaque pixel sur N bits (En général 8 bits)

8 bits (256 niv.) 2 bits (4 niv.)4 bits (16 niv.)

• Apparition de faux contours• Bruit de quantification• Effet visible à l’œil en dessous de 6/7 bits• Quantification sur 8 bits pour l’affichage


Bruits liés à l'acquisition

Les images sont souvent entachées de bruit, parfois non visible à l’œil, et qui perturberont les traitements

Diaphragme F/4

• Optimiser les conditions d’éclairage• Attention à l’éclairage ambiant• Mais... diaphragme ouvert = faible profondeur de champ• Mais... éclairage important = dégagement de chaleur

F/8 F/16


Correction de l'éclairage

Eclairage non uniforme !


• Flou de bougé/filé dû à un temps de pose/intégration trop long

• Effet de lignage dû au balayage entrelacé des caméras vidéo

Cet effet disparaît avec les caméras à balayage progressif non entrelacé

Cet effet est limité par l’usage d’obturateur rapide et/ou d’éclairage flash

Une bonne acquisition Des traitements facilités


II.5 Représentations fréquentielles

Notion de fréquence spatiale

Transformée de Fourier

Transformée Cosinus


Notion de fréquence spatiale Basses fréquences

Zones homogènes, continues

Hautes fréquences Détails, contours


Variation sinusoïdale rapide

(fréquence) des niveaux de gris

dans une direction donnée

f x y A f x f yx y x y( , ) sin( ) 2 2

x

y


Transformée de Fourier 2D

• Image = images sinusoïdales (A,f,)

dxdy))yfxf(j2exp()y,x(f)f,f(F yxyx

• F = image complexe (module & phase)

x

y

fx

fy

(Module deF(fx , fy)


fx

fy

Hautefréquence

Images sinusoïdales Impulsions de Dirac

fx

fy

Basse fréquence


Transformée de Fourier Discrète 2D (DFT)

F u vMN

f m n jmu

M

nv

Nn

N

m

M

( , ) [ , ]exp( ( ))

12

0

1

0

1

Image échantillonnée (M x N) pixels, la DFT est donnée par :

u

v


Propriétés de la DFT 2D

• Identiques au 1D

• Périodique en u,v (période M,N)

• F(0,0) = composante continue = moyenne des NG

• Conservation de l ’énergie |f(m,n)|² = |F(u,v)|²

• f réelle F symétrique conjuguée (mod. pair, arg. impair)

• Séparable

• Algorithme rapide (FFT) : N².log2 (N)

• Convolution circulaire = DFT


Importance de la phase

Module

DFT - DFT-1

Module

Phase


Echantillonnage & Aliasing

• Si le théorème de Shannon n’est pas respecté lors de l’échantillonnage d’une image continue, il y a repliementde spectre

• Ceci se traduit dans les images par des figures de Moiré,c’est à dire des formes fausses qui n’existaient pas dans l’image d’origine

• Les caméras matricielles types CCD induisent systématiquementdu repliement de spectre. L’image d’entrée ne devra donc pascontenir trop de hautes fréquences ( Ne passez pas à la télé avecun costume rayé ! )


Sansrepliement

RemarqueDFT périodique

EchantillonnéeContinue !


Avec repliement

EchantillonnéeContinue !


Transformée Cosinus Discrète

M2

.v)1j2(cos.

N2

.u)1i2(cos).j,i(f.

N.M

)v(c).u(c.4)v,u(C

1N

0i

1M

0j

0 u pour N1)u(c

0 u pour N2)u(c Avec


Propriétés de la DCT 2D

• Linéaire, séparable

• Coefficients réels

• C(0,0) = composante continue = moyenne des NG

• Concentration d ’énergie en basse-fréquence

• Algorithme rapide (via la FFT) : N².log2 (N)

compression d ’images


II.6 Représentations pyramidales

Pyramides Gaussiennes & Laplaciennes

Sous-Bandes / Transformée en ondelettes

Traitement multirésolution : Coarse To Fine


Pyramides Gaussiennes & Laplaciennes


• Burt & Adelsson (1983)

• Filtrage passe-bas 2D de type gaussien

Compression d ’images

Analyse et segmentation d ’images


Décomposition en sous-bandes / ondelettes

• Esteban/Galland 1977 - Woods/O ’Neil 1986 - … - Mallat (1989)

• Filtres FIR 1D, 2D

• Filtres IIR 1D, 2D

Une Décomposition


Une reconstruction

• Décomposition / Reconstruction sans pertes cascades


Pyramidale(itérée en octave)

Adaptative


• Réversible

• Concentration d ’énergie

• Spatio - fréquentiel

Analyse & Compression


II.7 Représentation de la couleur

RGB

CMY

YUV / YIQ

HSL

Palettes


0

255

255

255

Maxwell triangleR+G+B=255

black

blue

green

red

white

Rouge Vert Bleu (RGB)

• Synthèse additive de la couleur (perception d ’une source)

• Œil, Moniteur, Carte graphique …

• Images 24 bits (3*8 bits)

16 M de couleurs >> 350 000

• NG : R=G=B


Cyan Magenta Jaune (CMY)

• Synthèse soustractive de la couleur

Objet éclairé absorbant un certain nombre de fréquences

• Extension CMYK pour l ’impression en quadrichromie

Y

M

C

1

1

1

B

G

R

K

'Y

'M

'C

)Y,M,Cmin(

)Y,M,Cmin(Y

)Y,M,Cmin(M

)Y,M,Cmin(C

Y

M

C


YUV (PAL) / YIQ (NTSC)

• Y = intensité lumineuse = TV N&B

• UV / IQ = information chrominance

B

G

R

.

311.0522.0211.0

322.0274.0596.0

114.0587.0299.0

Q

I

Y

B

G

R

.

100.0515.0615.0

437.0289.0147.0

114.0587.0299.0

V

U

Y

• YUV >> RGB pour la décorrélation de l ’information

Compression d ’images couleur

• DVB YUV 4:2:0

7.1:V

3.5:U

93:Y

6.30:B

2.36:V

2.33:R


Hue Saturation Lightness (HSL)

• Le cerveau réagit à :

la longueur d ’onde dominante (teinte)

la contribution à la luminosité de l ’ensemble (saturation)

l ’intensité par unité de surface = luminance

• Y = L

• UV coordonnées polaire HS

22UV

1UV

VUS

)U/V(tanH


0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Palettes de couleur

• 16 Millions de couleurs 256 couleurs = palettes (GIF, BMP)

• Image indexée = Palette (couleur sur 24 bits) + matrice d ’index

visualisation en fausses couleurs


• I. Introduction



• IV. Compression

• V. Segmentation




Plan


III. Pré-traitements & Amélioration

• 1. Opérations pixel à pixel

• 2. Opérations sur un voisinage : filtrage

• 3. Transformations géométriques


• Pourquoi pré-traiter une image ? Pour corriger les effets de la chaîne d ’acquisition

• Correction radiométriques et/ou géométriques • Réduire le bruit : Restauration, Déconvolution

Améliorer la visualisation Améliorer les traitements ultérieurs (segmentation,

compression …)


• Comptage des pixels ayant un niveau de gris (NG) donné• Histogramme densité de probabilité des niveaux de gris

III.1 Opérations pixel à pixel

Histogramme des niveaux de gris

Modification d'un pixel indépendamment de ses voisins

Niveau de gris


Transformation des niveaux de gris : f

• v=f(u) avec u niv. gris de départ, v niv.gris d'arrivée

• f peut prendre une forme quelconque

Modification d ’histogramme

v

255u0

255

0 0u

v

0

255

255


v=f(u)

v

u0 255

• Recadrage linéaire des niveaux de gris

255


• Seuillage binaire

• Négatif


• Egalisation d'histogramme


– Non-linéaire, Logarithme, Extraction de plans binaires,– Ecrêtage, Compression-dilatation de dynamique,– Spécification d’histogramme,– Codage en couleur, Pseudo-couleur, ....

• Autres transformations

Segmentation basée sur les niveaux de gris (multi-seuillage)


III.2 Opérations sur un voisinage : filtrage

Modification d'un pixel en fonction des ses voisins

Filtrage linéaire• Domaine spatial : filtres FIR 2D (masque), filtres IIR• Domaine fréquentiel dans le plan de Fourier

Filtrage non-linéaire dans le domaine spatial

Image f(x,y) Filtreh(x,y)

Image filtrée g(x,y)

g(x,y) = h(x,y)*f(x,y) (convolution bidimensionnelle)G(u,v) = H(u,v) . F(u,v)


• Convolution par une réponse impulsionnelle finie appeléeMasque de Convolution

g i j h k l f i k j lk l W

( , ) ( , ) ( , )( , )

f est l’image de départh est le masque de convolutionW défini un voisinage

• Un pixel f(i,j) est remplacé par une somme pondérée de lui-même et des pixels de son voisinage

Filtrage spatial FIR 2D : masque de convolution


• Exemple : Filtre moyenneur

h k l M Nsi M k M et N l N

sinon( , ) ( )( )

1

2 1 2 10

W: voisinage 2x2 k=0,1 l=0,1 1/4 1/4

1/41/4h(k,l) = 1 /4 pout tout (k,l)

k

l

0 1

0

1

0 1 2 21 1 2 11 2 0 0

3/4 6/4 7/4 x5/4 5/4 3/4 xx x x x

0 1 1 x1 1 0 xx x x x

( En ne conservantque la valeur entière )


(zoom)

Moyenneur2x2


• Utilisation de voisinages très divers : Rectangulaires 2x2, 3x3, 4x4, 5x5, 7x7, 1x2, 2x1, 1x3, 3x1... En croix, «Circulaires»...

• Valeurs des coefficients:Constants(Moyenneur), Gaussiens…

• Effets de filtrage passe-bas : image plus «flou»:, contours moins

précis mais réduction du bruit haute fréquence

• Le principe du masque de convolution sera utilisé pour d’autrestraitements (Détection de contours)• L’utilisation d’un voisinage entourant un pixel est un principe très général en traitement de l’image

• Remarques


Filtre moyenneur 3x3 (k=-1,0,1 l=-1,0,1), Valeur constante h(k,l)=1/9

• Exemple : réduction du bruit


• Exemple : réhaussement de contours

0 -1 0-1 5 -1 0 -1 0

= Image d’origine + Laplacien 0 -1 0-1 4 -1 0 -1 0


Filtres FIR 2D et plan de Fourier

g(x,y) = h(x,y)*f(x,y) G(u,v) = H(u,v) . F(u,v)

• Filtrage : N².(L-1) + N² vs. N².Log2N + N²

• Synthèse de filtres• 1D 2D• Echantillonnage en fréquence• Fenêtre


C’est un filtre passe-bas, peu sélectif, anisotrope

Masque 3x3

h(k,l)

u

v

H(u,v)

TFD 2D

• Filtre Moyenneur


h x yx y

( , ) exp( ) 1

2 22

2 2

2 • Filtre Gaussien

- Filtre IIR version tronquée à K et échantillonnée masque FIR

h(k,l) H(u,v)

- C’est un filtre passe-bas isotrope peu sélectif.- H(u,v) est aussi une gaussienne

TFD 2D


DFT

DFT-1

Filtrage

• Fenêtrage fréquentiel


• Illustrations


• Remplacer le pixel central par la valeur médiane du voisinage

1 3 2 43 1 4 22 3 2 11 2 3 3

1 1 2 2 2 3 3 3 4

. . . .

. 2 . .

. . . .

. . . .

Filtrage non linéaire 2D : filtre Médian


• Avantage par rapport au filtrage linéaire les bords sont conservés

Filtre linéairede largeur 3

Filtre médianvoisinage 3


• Notion de causalité 2D

• Le choix du balayage est arbitraire • Le pixel présent ne dépend que des pixels du passé• Voisinage = pixels du passé entourant le pixel présent

g i j h f i j h k l g i k j lk l W

( , ) ( , ) ( , ) ( , ) ( , )( , )

0 0

Pixels du passé

Pixels du futur Pixel du présent

Exemple: balayage colonne puis ligne

Principe du filtrage IIR 2D

• Filtrage récursif

• Remarques


• Objectif Corriger les déformations dues au système de prise de vue

f(x,y) = f’(x’,y’) avec x’=h1(x,y) et y’=h2(x,y)

• Exemple : transformation affine (translation, rotation)

f

e

y

x

dc

ba

y

x

'

'

Remarque : les paramètres a,b,c,d peuvent ne pas être les mêmes pour toutesles régions d’une image

III.3 Transformations géométriques


• Problème

x,y,sont des valeurs discrètes (image échantillonnée) x=kx , y=lyet x’=h1(kx , ly) et y’=h2(kx , ly) ne seront pas nécessairement des multiples entiers de x et y

x

y

k k+1

l

l+1

x

y

m m+1

n

n+1

P1 P2

P3P4


Solution: Interpolation m

n Q

P1

P3P4

P2

f’(Q)=f’(mx,ny) = G[f(P1),f(P2),f(P3),f(P4)]avec f(P1)=f (kx, ly) f(P2)=f ((k+1)x,ly) f(P3)=f ((k+1)x,(l+1)y) f(P4)=f (kx, (l+1)y) • Plus proche voisin: f(Q)=f(Pk) , k : dk=min{d1,d2,d3,d4}• Interpolation linéaire

d4

f Qf P d

d

k kk

kk

( )( ) /

/

1

4

1

4

1

• Interpolation bilinéaire, fonctions spline, Moindre ², ....


x’= x+0.5 yy’= y

128x128

y

x x’

y’

• Warping Placage de texture animation ...


• I. Introduction



• IV. Compression

• V. Segmentation




Plan


IV. Compression

• 1. Introduction

• 2. Approches directes

• 3. Approches par transformation

• 4. Compression de séquences d'images


IV.1 Introduction

Historique

Objectifs

•1952 : Codeur entropique (Huffman)

•1978 : DCT (Pratt)

•1980 : Vectoriel (Linde-Buzo-Gray)

•1986 : Sous-bandes (Woods)

•1986 : Vectoriel sur treillis (Fisher)

•1989 : JPEG•1989 : MPEG-2

•1989 : Ondelettes (Mallat, Daubechies)

•1990 : Fractales (Jacquin)

•1996 : SPIHT•1996 : MPEG-4•1997 : MPEG-7•1998 : JPEG2000

Réduction du volume occupé par les images numériques pour faciliter leur transfert et/ou leur stockage


Applications

• Imagerie médicale Télémédecine

• Imagerie spatiale

• Imagerie sous-marine

• Archivage divers (Musée, BNF, Empreintes ...)

• Vidéo conférence / visiophone (64 kb/s)

• Télésurveillance

• Video On Demand

• Télévision numérique (150 Mb/s)

...


Classification des méthodes de compression

Sans pertes / avec pertes contrôlées Sans pertes (Huffman, Quadtree)

• image originale = image comprimée TC limité (#3)

Avec pertes contrôlées

• On perd l'information qui se voit peu TC augmente

• Recherche d'un compromis Tc / Qualité

Directe / Transformation Directe Quantification & codage des pixels de l'image

Transformation Quantification & codage des coeff. transformés

image Quantification CodageTransformation bits


Evaluation d'une méthode compression Dépend de l'application

• Taux de compression (Tc)

• Qualité

compriméfichier du Volume

originale image VolumeTc

2

10)ˆ,(

12log10

XXEQMRSB

b

dB

1

0

21

0 .

ˆ)ˆ,(

M

j

ijijN

i NM

XXXXEQM

• Critère mathématique (RSB)

• Critères subjectifs- Courbes ROC (médecine)

- Notations subjectives (TV)

Ex : image (512x512x8bpp) avec Tc=10 512x512x8/10=26215 bits 0.8 bpp

Avec


• Autres critères

• Vitesse d'exécution : codeur /décodeur

• Complexité- Additions / multiplications

- Soft / Hard

• Résistance au bruit de transmission

• Intégration de post-traitements- Prise en compte du récepteur (homme / machine)

• Coût financier

• Scalability


IV.2 Approches directes

Codage Huffman Codage arithmétique Codage par longueur de plage Codage type dictionnaire

Quantification scalaire

Quantification vectorielle

Méthodes prédictives

Approche quadtree

Codage fractale

Codeurs de source(Th. Information)


Codage Huffman (1952)

- Algorithme de génération d'un codage optimal symbole parsymbole.

- Code à longueur variable codes longs pour probas faibles

Extraction des probabilités Création de l'arbre Création de la table d'Huffman Codage

Lecture de la table d'Huffman Création de l'arbre de décodage Lecture séquentielle et décodage

On transmet la table + les codes en binaire

• Algorithme


Rq : code d'échappement= Huffman + fixe


Codage Arithmétique (1976)

Huffman 1 symbole = 1 mot-code Arithmétique 1 flot de symboles = nbre en virgule flottante

m=0 ; M=1 ;Tant que !(fin de fichier)

{i = symbole suivant;soit [ai ; bi] associé à i ;s = M-m ;M = m + s.bi ;m = m + s.ai ;

}Renvoyer m, le compacté du fichier

N = nombre codé ;Faire

{trouver i / N [ai ; bi[ ;sortir i ;s = bi - ai ;

N = (N - ai) / s ;}

Tant qu'il reste un symbole à lire

Codeur Decodeur

JBIG Codage des Fax type IV


• Exemple

si pi [ai ; bi[ Huffi 0.1 [0.0 ; 0.1[ 111

A 0.1 [0.1 ; 0.2[ 110

E 0.1 [0.2 ; 0.3[ 101

I 0.1 [0.3 ; 0.4[ 100

B 0.1 [0.4; 0.5[ 0111

G 0.1 [0.5 ; 0.6[ 0110

L 0.2 [0.6 ; 0.8[ 00

S 0.1 [0.8; 0.9[ 0100

T 0.1 [0.9 ; 1.0[ 0101

0.43722077 = ?

10111010 10100100 11011001 0101111000 00011101 10110010 11010100


Arithmétique Huffman

+ de calcul Proba très élévée 1 bitPeu de symboles ()

Run Length

Codeurs statistiques

- Dépendants de la qualité de la statistique

- Statistique connue par le décodeur


Codage par longueur de plage (Run length coding)

• CCITT, Fax groupe III Huffman sur les plages de 0 précédant les 1

000001111100000000000000000 5w5b17w

000000000001111100000000000 11w5b11w

A B C C C C C C A B C A B C A B !6C A B C A B C

Coder le nombre de symboles identiques

• JPEG Huffman sur les plages de 0 précédant les coeff. DCT


Coder une extension de la source de longueur variable

1977 : LZ (Lempel & Ziv) 1984 : LZW (Welch)

Dictionnaire de symboles incrémenté dynamiquement apprentissage

Fichier codé = suite des adresses des mots du dico

! Gérer l'incrément des bits d'adresse

PKZIP, ARJ LZW + Huffman

Codage de type dictionnaire (1977)


Codeur LZW

ID = {Ci,Wi} , P=

Tant que (symboles à coder)C = symbole suivantSi PC ID

P = PCSinon

sortir WP

PC IDP=C

Fin siFin tant que

sortir WP

Décodeur LZW

ID = {Ci,Wi}cW = 1er code ; sortir s(cW)

Tant que (codes à lire)pW = cWcW = code suivantSi (s(cW) ID)

sortir s(cW)P = s(pW)C = 1er symbole de s(cW)PC ID

SinonP = s(pW)C = 1er symbole de s(pW)sortir s(PC)PC ID

Fin siFin tant queABBABABAC.. . .


Quantification scalaire

• Traitement pixel à pixel

Diminuer le nombre de niveaux de gris utilisés : Nnq < Nnp

• Problèmes- Comment choisir les seuils de quantification (si) ?- Comment choisir les niveaux de quantification (qi) ?


Quantification scalaire uniforme linéaire

• Seuils répartis de façon uniformeNnq

ssPQ ii

minmax1

• C'est un quantificateur linéaire

A

Bqp

BpAr

ˆ

.

minminmax

1minmax

1

NnqB

NnqA

• Niveaux = milieux des seuils2

1 iii

ssq

avec


Quantification scalaire uniforme optimale

• Seuils répartis de façon uniformeNnq

ssPQ ii

minmax1

• Niveaux = Barycentre (histogramme)

Quantification optimale (Loyd-Max : 1960)

• Minimise l'erreur de quantification

ij

ppMin 2)ˆ(

• Algorithme itératif très long pour des distributions inconnues

• Tables pour des dist. gaussiennes, laplaciennes, ...

• Fait le travail du codeur !


Exemple de comparaison (peppers : 512x512x8bpp)

Uni Uni o. Maxq1 32 38 30S1 63 63 52q2 95 86 75S2 127 127 121q3 159 167 157S3 191 191 180q4 223 209 205

Remarque Efficacité variable du codeur entropique !


Image originale

Q. uni. opt. : RSB 23,8 dB

Q. uni. lin. : RSB 22,5 dB

Q. Max : RSB 24,2 dB


Quantification vectorielle

• Extension de la quantification scalaire

Pixel Vecteur = bloc de pixels contigus• Vecteur de taille et forme variable

Approche optimale : Linde Buzo Gray (1980)

• Phase d'apprentissage : dictionnaire de vecteurs• Vecteur = représentant d'une région de Voronoï de taille variable• Dictionnaire connu du codeur /décodeur

Phase d'apprentissage délicate Temps de recherche dans le dictionnaire

Approche treillis


Méthodes prédictives (1974)

Exploitent la corrélation entre pixel voisin

x̂1 : 1 ordred' Prédicteur

x̂75,0

75,05,0 : 3 ordred' Prédicteur

Modulation par Impulsions Codées Différentielles (MICD)DPCM

– Propagation des erreurs– Prédicteurs non optimaux

Adaptation aux statistiques locales


IV.3 Approches par transformation


• Une Transformation Réversible (sans perte) Orthogonale (énergie conservée) Rapide

Représentation différente de l'image

Décorrélation Gain en performances

Temps de calcul supplémentaire

DCT JPEGOndelettes SPIHT, JPEG2000


Compression DCT bloc : JPEG (1989)

• DCT bloc 8x8 homogénéité locale de l'image l'erreur de quantification est localisée au bloc


• Schéma général


• Matrice de normalisation allocation des bits aux coeffs avant quantification par arrondi

9910310011298959272

10112012110387786449

921131048164553524

771031096856372218

6280875129221714

5669574024161314

5560582619141212

6151402416101116

9999999999999999

9999999999999999

9999999999999999

9999999999999999

9999999999996647

9999999999562624

9999999966262118

9999999947241817

Matrice chrominance

Matrice luminance


• Lecture zig-zag prise en compte de la répartition spatiale de l'énergie pour faire apparaître de longues plages de coeffs nuls

• Codage du coeff DC DPCM d'ordre 1 + Huffman


• Codage des coeffs AC Codage hybride : runlength + ... + Huffman

- Huffman = Code (plage de 0 + catégorie)162 codes : 10catx16lp+2(EOB+16)

Cat. Intervalle des coefficients AC

1 -1 _ 1,2 -3, .. ,-2 _ 2, .. ,33 -7, .. ,-4 _ 4, .. ,74 -15, .. ,-8 _ 8, .. ,155 -31, .. ,-16 _ 16, .. ,316 -63, .. ,-32 _ 32, .. ,637 -127, .. ,-64 _ 64, .. ,1278 -255, .. ,-128 _ 128, .. ,2559 -511, .. ,-256 _ 256, .. ,511

10 -1023, .. ,-512 _ 512, .. ,1023


AC | huffman | signe | k-1 bits |

• Exemple 0 -2 -1 02 -1 046 111001 0 0 / 00 0 / 11011 0 / 1010

• Extrait de la table d'Huffman des AC

Plage de Zéros Catégorie Code0 1 000 2 010 3 1000 4 1011. . .1 1 11001 2 1110011 3 11110011 4 111110110. . .2 1 110112 2 11111000. . .3 1 111010. . .

16 11111010EOB 1010


• Remarques

JPEG = méthode générale à adapter ...

Très performant à taux faibles (#10)

Effets de blocs à taux élevés

Tc = 10 / RSB = 30.1 dB Tc = 20 / RSB = 28.7 dB


IV.4 Compression de séquences d'images

Supprimer la redondance spatiale ou intra-image

approches 2D

Supprimer la redondance temporelle ou inter-image

utiliser le déjà vu et le mouvement


Les normes MPEG H261 (1988)

La base de la compression de séquences d'images- Block matching- DCT bloc + Run length + DPCM

MPEG 1 (1988-92)Vidéo + Audio / 1.5 Mbs CDI

MPEG 2 (1990-94)4-30 Mbs TV numérique (Digital Video Broadcasting)

MPEG 4 (1996-99)L'approche multimédia interactif

MPEG 7 (1997-01) Indexation & recherche d'information


Les bases de H261 à MPEG2

3 types d'images : 3 codages


• Images I (intra)- Codées JPEG'- Point d'accès séquence (0.5s)- Tc faible

• Images P (Prédites)- Prédites à partir de I ou P- Codage DPCM des vecteurs mvt- Codage JPEG* de l'erreur de prédiction- Tc élevé- Propagation de l'erreur

• Images B (Bidirectionnelles)- Interpolées à partir des I P- Tc le plus élevé


GOP

• 2 paramètres de réglage- N : distance inter-I (#12)- M : distance inter-P (#3)


Estimation du mouvement par block matching- Blocs 16x16- Compromis simplicité / efficacité- Rapide : algorithme logarithmique


Le codage des images P

1- Calcul des Vj entre

2- Synthèse de Ip(n) :

3- Calcul de l'erreur : E(n) = Ip(n) - I(n)

4- Codage JPEG* de E(n)4bis- Mémorisation de

5- Codage DPCM des Vj

)1(ˆ)( nI nI et

)()1(ˆ)( nInInV p

)(ˆ nI


Codeur MPEG2


Décodeur MPEG2


Codage et TVnum

• Numérisation brute : 200 Mb/s

• DVB # DVD = MPEG2 MP@ML

- 720 x 480/576 (30/25 Hz) avec IPB

- 4 Mb/s (PAL/SECAM) à 9 Mb/s (studio)

- Tc de 40 à 18


V. Introduction à la segmentation

La segmentation est un traitement bas-niveau qui consiste à créerune partition de l'image I en sous-ensembles Ri appelés régionstelles que :

i

i

jiji

ii

RI

RRji

R

0 ;

0

,

Une région est un ensemble de pixels connexes ayant despropriétés communes qui les différencient des pixels des régionsvoisines.


Le choix d'une technique est lié :

A la nature de l'image (éclairage, contours, texture ...)

Aux opérations en aval de la segmentation

- Compression- RF, interprétation- Mesure

Aux primitives à extraire (droites, régions, textures,...)

Aux contraintes d'exploitation (tps réel, mémoire ...)

Pas de norme ! Pas de méthode unique ! Pas de recette !


VI. Introduction à l ’indexation Texte écrit recherche d'info. sur le contenu (symbolique du mot)

Images Contenu d'une image texte ! Indexation manuelle dans des bases de données Augmentation exponentielle du nombre d'images

Un défi

Automatisation de l'indexation d'images par le contenu Interfaces et moteurs de recherche adaptés

Rque : Analyse d'une image = quelques sec.


Problème posé Retrouver des images semblables à celles que cherche

l'utilisateur• Que cherche l'utilisateur ? exemples, mots clés• Quelles mesures considérer sur les images ?• Quelles fonctions de ressemblance ?

Contraintes de robustesse• rotation• échelle• éclairage


VII. Introduction au tatouage

Protéger la propriété des images numériques

Objectif

Watermark = signal inséré dans l'image• Unique identifie l'image• Multiple identifie la source

• visible facile à enlever, propriétaire visible• invisible difficile à enlever, piéger les truands

2 types


• Impossible à enlever sans dégrader l'image• Résiste au scaling, cropping, coding, modif histogramme• Invisible mais extractible• En nombre suffisants

Contraintes !

• Original + watermark # original• watermark signature électronique

Remarques


• Domaine spatial (peu résistant)– flip des bits de poids faible de quelques pixels

– Modifications d'amplitude (YUV)

• Domaine fréquentiel – Modifications de coefs TFD / TCD / Sous-bandes

Quelles approches

Compromis entre (invisibilité / indélébilité)


VIII. Conclusion

Image numérique Indexation

CompressionSegmentation

Tatouage

Rec. formes

BDO

Transmission

Décision

• Image Multimédia• Des techniques complexes

et prometteuses

• Dimension affective forte• Au cœur de nouveaux

services & usages

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement...

Documents

Transcript of Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement...