Caract erisation des performances minimales d’estimation ...Vineeth, Mathieu, rançois, Jean-F...

Caracterisation des performances minimales d’estimation

pour des modeles d’observations non-standards

Chengfang Ren

To cite this version:

Chengfang Ren. Caracterisation des performances minimales d’estimation pour des modelesd’observations non-standards. Traitement du signal et de l’image. Universite Paris Sud - ParisXI, 2015. Francais. <NNT : 2015PA112167>. <tel-01237145v2>

HAL Id: tel-01237145

https://tel.archives-ouvertes.fr/tel-01237145v2

Submitted on 1 Feb 2016

HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, estdestinee au depot et a la diffusion de documentsscientifiques de niveau recherche, publies ou non,emanant des etablissements d’enseignement et derecherche francais ou etrangers, des laboratoirespublics ou prives.

https://hal.archives-ouvertes.fr

https://tel.archives-ouvertes.fr/tel-01237145v2

Université Paris-Sud

E ole Do torale S.T.I.T.S.

Laboratoire des Signaux et Systèmes

Dis ipline : Physique

Thèse de do torat

Soutenue le 28 septembre 2015 par

Chengfang Ren

Cara térisation des performan es minimales d'estimation

pour des modèles d'observations non-standards

Composition du jury :

Président du jury : Cédri Ri hard Professeur des universités (Université Ni e Sophia-Antipolis)

Rapporteurs : Jean-Yves Tourneret Professeur des universités (INP - ENSEEIHT Toulouse)

Philippe Forster Professeur des universités (Université Paris-Ouest)

Examinateur : Karim Abed-Meraim Professeur des universités (Université d'Orléans)

Dire teur de thèse : Alexandre Renaux Maître de Conféren e (Université Paris Sud)

En adrant de thèse : Éri Chaumette Professeur ISAE (ISAE)

En adrant de thèse : Jérme Galy Maître de Conféren e (Université Montpellier)

Laboratoire des Signaux et Systèmes

Université Paris-Sud/ Centrale-Supéle /CNRS/UMR 8506

3 rue Joliot-Curie, Plateau du Moulon, 91192 Gif-sur-Yvette, Fran e

À mes parents, à mes amis, à mes profs

et à M. Bornes professeur de mathématiques au ly ée Voltaire.

Remer iements

Ces trois années de thèse ont été ri hes en dé ouvertes tant sur le plan s ientique que sur

le plan humain. Maintenant que ette page se tourne, j'exprime mes profonds remer iements à

toutes les personnes qui m'ont a ompagnée dans ette aventure.

Je tiens d'abord à remer ier les personnes qui m'ont fait l'honneur d'a epter de faire partie

de mon jury de thèse. Je remer ie Jean-Yves Tourneret et Philippe Forster qui ont a epté de

rapporter ette thèse. Leurs ommentaires, ritiques et suggestions ont ontribué à améliorer la

qualité du manus rit. Je remer ie Cédri Ri hard de m'avoir fait l'honneur de présider le jury

de thèse. Je remer ie Karim Abed-Meraim de m'avoir fait l'honneur et le plaisir de parti iper

a tivement à mon jury de thèse.

La qualité de l'en adrement et l'environnement dont j'ai béné ié ont été remarquable. C'est

pourquoi il est important pour moi d'adresser mes sin ères remer iements à toutes les personnes

qui m'ont aidé à soutenir ette thèse. En tout premier, mer i à Alex, mon dire teur de thèse, de

me faire partager ses re her hes. Sa disponibilité et ses nombreuses expli ations très pédagogiques

et m'ont rapidement permis d'apprendre et de omprendre les notions de bornes. Mer i également

pour les réunions hors labo très instru tives sur le plan professionnel et sur le plan humain.

Mer i à mes en adrant Éri et Jérme pour m'avoir appris à allier intuition, rigueur et téna ité

dans le travail de re her he. Leurs idées et leurs nombreux onseils m'ont permis de publier

autant. Je suis toujours admiratif devant les ompéten es de programmation d'Éri . Mer i à

vous trois de m'avoir permis de voyager malgré le petit budget que l'on dispose.

Je remer ie les her heurs que j'ai eus l'o asion de ollaborer durant ma thèse. Mer i à Nabil

El Korso pour sa vision de la re her he. Mer i à Pas al Larzabal pour ses onseils. Mer i à Julien

Le Kerne pour les trois mois de ollaboration fru tueuse passée à l'université de Nottingham de

Ningbo en Chine. Je tiens à remer ier les personnels du laboratoire pour leur disponibilité et leur

enthousiasme. Mer i à Frédéri Desprez, l'informati ien, pour le développement et la maintenan e

du Cluster qui m'a été grandement utile pendant les trois années de thèse et notamment durant

mon séjour à Ningbo. Mer i à Christophe Vignat, professeur ex eptionnel, pour m'avoir partagé

"sa boîte à outil" pour al uler des intégrales et sa passion autour des mathématiques.

Je remer ie mes ollègues do torants et post-do torants, François, Pierre, José, Amadou,

Li, Long, Yuling, Benjamin, Vineeth, Mathieu, Jean-François, Zeina, Etienne, Diane, Maxime,

Laurie et Johanna pour tous les moments que nous avons partagés à la pause, au CESFO et

aux onféren es. Mer i Elsa pour les parties de Badminton à midi, mer i à A hal, ave qui j'ai

partagé le rle de représentant des do torants, mer i à Olivier pour les balades en vélo à Lyon et

mer i à Stéphanie pour m'avoir appris Tikz. Une petite pensée à mes amarades, Adrien, Batou,

Vi tor, Kevin, Arnaud, Ali e et Cyril, qui vont bientt soutenir. Et d'autres, Virginie, Lu ien et

Eugénie, qui viennent de ommen er. Je leur souhaite tous bon ourage !

Enn mer i à ma famille. Mer i à mes parents pour leur amour et leurs en ouragements.

v

Mer i de m'avoir laissée libre de mes hoix, tout en me permettant de le faire dans les meilleures

onditions. Tout ela n'aurait pas été possible sans vous et sans votre soutien.

Chengfang

18 o tobre 2015

vi

Rien n'est impossible, seules les limites de nos esprits

dénissent ertaines hoses omme in on evable.

Mar Levy

Et si 'était vrai...

Résumé

Dans le ontexte de l'estimation paramétrique, les performan es d'un estimateur peuvent

être ara térisées, entre autre, par son erreur quadratique moyenne (EQM) et sa résolution

limite. La première quantie la pré ision des valeurs estimées et la se onde dénit la apa ité

de l'estimateur à séparer plusieurs paramètres. Cette thèse s'intéresse d'abord à la prédi tion

de l'EQM "optimale" à l'aide des bornes inférieures pour des problèmes d'estimation simultanée

de paramètres aléatoires et non-aléatoires (estimation hybride), puis à l'extension des bornes

de Cramér-Rao pour des modèles d'observation moins standards. Enn, la ara térisation des

estimateurs en termes de résolution limite est également étudiée. Ce manus rit est don divisé

en trois parties :

Premièrement, nous omplétons les résultats de littérature sur les bornes hybrides en

utilisant deux bornes bayésiennes : la borne de Weiss-Weinstein et une forme parti ulière

de la famille de bornes de Ziv-Zakaï. Nous montrons que es bornes "étendues" sont plus

pré ises pour la prédi tion de l'EQM optimale par rapport à elles existantes dans la

littérature.

Deuxièmement, nous proposons des bornes de type Cramér-Rao pour des ontextes d'es-

timation moins usuels, 'est-à-dire : (i) Lorsque les paramètres non-aléatoires sont soumis

à des ontraintes d'égalité linéaires ou non-linéaires (estimation sous ontraintes). (ii)

Pour des problèmes de ltrage à temps dis ret où l'évolution des états (paramètres) est

régit par une haîne de Markov. (iii) Lorsque la loi des observations est diérente de la

distribution réelle des données.

Enn, nous étudions la résolution et la pré ision des estimateurs en proposant un ritère

basé dire tement sur la distribution des estimées. Cette appro he est une extension des

travaux de Oh et Kashyap et de Clark pour des problèmes d'estimation de paramètres

multidimensionnels.

Mots lés : Estimation paramétrique, estimateurs au sens du maximum de vraisemblan e,

estimateurs au sens du maximum a posteriori, estimation hybride, analyse de performan e, bornes

inférieures de l'erreur quadratique moyenne, résolution limite statistique.

ix

Abstra t

In the parametri estimation ontext, estimator performan es an be hara terized, inter alia,

by the mean square error and the resolution limit. The rst quanties the a ura y of estimated

values and the se ond denes the ability of the estimator to allow a orre t resolvability. This

thesis deals rst with the predi tion the "optimal" MSE by using lower bounds in the hybrid

estimation ontext (i.e. when the parameter ve tor ontains both random and non-random para-

meters), se ond with the extension of Cramér-Rao bounds for non-standard estimation problems

and nally to the hara terization of estimators resolution. This manus ript is then divided into

three parts :

First, we ll some la ks of hybrid lower bound on the MSE by using two existing Bayesian

lower bounds : the Weiss-Weinstein bound and a parti ular form of Ziv-Zakai family lower

bounds. We show that these extended lower bounds are tighter than the existing hybrid

lower bounds in order to predi t the optimal MSE.

Se ond, we extend Cramer-Rao lower bounds for un ommon estimation ontexts. Pre i-

sely : (i) Where the non-random parameters are subje t to equality onstraints (linear

or nonlinear). (ii) For dis rete-time ltering problems when the evolution of states are

dened by a Markov hain. (iii) When the observation model diers to the real data

distribution.

Finally, we study the resolution of the estimators when their probability distributions are

known. This approa h is an extension of the work of Oh and Kashyap and the work of

Clark to multi-dimensional parameters estimation problems.

Keywords : Parametri estimation, maximum likelihood estimator, maximum a posteriori

estimator, performan e analysis, hybrid estimation, lower bounds on the mean square error,

statisti al resolution limit.

xi

Table des matières

Résumés ix

1 Introdu tion 1

1.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 But de la thèse et résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Bornes hybrides 9

2.1 Introdu tion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2 Inégalité de ovarian e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3 Borne de Cramér-Rao hybride . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.3.1 Forme générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.3.2 Formule de Slepian-Bangs hybride dans le as gaussien . . . . . . . . . . . 16

2.3.3 E a ité du maximum de vraisemblan e maximum a posteriori pour les

modèles linéaires gaussiens . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2.4 Borne de Barankin hybride . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.4.1 Introdu tion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.4.2 Expression générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.4.3 Relaxation des ontraintes . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.4.4 Compression par transformation du noyau . . . . . . . . . . . . . . . . . . 22

2.5 Borne de Barankin-Weiss-Weinstein hybride . . . . . . . . . . . . . . . . . . . . . 23

2.5.1 Combinaison de la borne de Barankin et de la borne de Weiss-Weinstein . 23

2.5.2 Modèle d'observation gaussien à moyenne paramétrée . . . . . . . . . . . 25

2.5.2.1 Analyse de ξ (k, l,ha,hb) . . . . . . . . . . . . . . . . . . . . . . 26

2.5.2.2 Indépendan e de A (θ,ha,hb) par rapport à θr . . . . . . . . . . 26

2.5.3 Appli ation et simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.5.3.1 Analyse spe trale . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.5.3.2 Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.6 Borne de Barankin-Ziv-Zakaï hybride . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.6.1 La famille de bornes de Ziv-Zakaï . . . . . . . . . . . . . . . . . . . . . . . 29

2.6.2 La borne proposée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.6.3 Expression analytique pour le modèle gaussien à moyenne paramétrée . . 30

2.6.3.1 Expression de β (., .) . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.6.3.2 Expression de α (., .) . . . . . . . . . . . . . . . . . . . . . . . . . 32

2.6.4 Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

xiii

3 Bornes de Cramér-Rao non standards 35

3.1 Borne de Cramér-Rao hybride sous ontraintes . . . . . . . . . . . . . . . . . . . 35

3.1.1 Contexte de l'étude et notations . . . . . . . . . . . . . . . . . . . . . . . 35

3.1.2 Borne proposée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

3.1.3 Comparaison ave la borne de Cramér-Rao hybride sans ontraintes . . . 37

3.1.4 Comparaison ave la borne de Cramér-Rao marginale . . . . . . . . . . . 38

3.1.5 Appli ation à l'estimation de fréquen e Doppler . . . . . . . . . . . . . . . 39

3.2 La borne de Cramér-Rao hybride ré ursive . . . . . . . . . . . . . . . . . . . . . . 40

3.2.1 Problématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

3.2.2 Borne ré ursive hybride . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

3.3 La borne de Cramér-Rao déterministe ave erreurs de modèle : appli ation à la

problématique du Radar MIMO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

3.3.1 Rappel sur les bornes de Cramér-Rao désadaptées . . . . . . . . . . . . . 46

3.3.2 Appli ation à l'estimation de la dire tion de départ et d'arrivée pour un

système radar MIMO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

3.3.2.1 Expression générale de la borne de Cramér-Rao désadaptée pour

les erreurs de positions des antennes . . . . . . . . . . . . . . . . 49

3.3.2.2 Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

4 Cara térisation des estimateurs en termes de résolution et de pré ision 53

4.1 Introdu tion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

4.2 Rappels et dénitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

4.3 Une appro he pour la résolution multidimensionnelle . . . . . . . . . . . . . . . . 56

4.3.1 Approximation d'ensembles disjoints . . . . . . . . . . . . . . . . . . . . . 56

4.3.2 Pré ision d'estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

4.3.3 Probabilité de résolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

4.3.4 Cas de distributions gaussiennes . . . . . . . . . . . . . . . . . . . . . . . 59

4.4 Appli ation à la lo alisation de sour es . . . . . . . . . . . . . . . . . . . . . . . . 60

4.4.1 Performan e asymptotique du maximum de vraisemblan e onditionnel . . 60

4.4.2 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

5 Con lusion et Perspe tives 65

A Etude de la matri e C 69

A.1 La borne de Barankin-Weiss-Weinstein hybride . . . . . . . . . . . . . . . . . . . 69

A.2 La borne de Barankin Ziv-Zakaï hybride . . . . . . . . . . . . . . . . . . . . . . . 70

B Re ursive hybrid Cramér-Rao bound for dis rete-time Markovian dynami

systems 73

C On the A ura y and Resolvability of Ve tor Parameter Estimates 79

Liste des gures 93

Bibliographie 95

xiv

Notations

A ronymes

• BCR : borne de Cramér-Rao.

• BCRH : borne de Cramér-Rao hybride

• BBH : borne de Barankin hybride

• BBWWH : borne de Barankin Weiss-Weinstein hybride

• BBZZH : borne de Barankin Ziv-Zakaï hybride

• BCRHC : borne de Cramér-Rao hybride sous ontrainte

• CCLRB : borne de Barankin hybride par ompression du noyau

• EQM : erreur quadratique moyenne.

• FD : matri e d'information de Fisher déterministe.

• FH : matri e d'information de Fisher hybride.

• MV : maximum de vraisemblan e.

• MVMAP : maximum de vraisemblan e / maximum a postériori

• RSB : rapport signal sur bruit.

Symboles mathématiques généraux

• C indique le orps des omplexes.

• R indique le orps des réels.

• Re (z) indique la partie réelle d'un nombre omplexe z.• Im (z) indique la partie imaginaire d'un nombre omplexe z.• Le symbole

∗indique l'opérateur omplexe onjugué.

• minηf (η) , max

ηf (η) indique la valeur minimale ou maximale de l'expression f (η).

• argminηf (η) , argmax

ηf (η) , indique la valeur du ve teur η minimisant ou maximisant

l'expression f (η).• , indique une égalité par dénition

Symboles et opérateurs matri iels

• a, A, les lettres en italiques représentent une quantité s alaire.

• a, les lettres minus ules en gras représentent une quantité ve torielle (ve teur olonne).

• A, les lettre majus ules en gras représentent une quantité matri ielle.

• AT, le symbole

Tindique l'opérateur transposé.

• AH, le symbole

Hindique l'opérateur Hermitien (transposé onjugué).

xv

• IN indique la matri e identité de taille N ×N .

• |A| indique le déterminant de la matri e A.

• ‖.‖ indique la norme L2.

• Ai,j est l'élément orrespondant à la iième

ligne et jième

olonne de la matri e A.

• Ai,: désigne le iième

ve teur ligne de la matri e A.

• A:,j désigne le jième

ve teur olonne de la matri e A.

• Tr (A) =N∑i=1

Ai,i est la tra e de la matri e arrée A de taille N ×N .

• ⊗ est le produit de Krone ker.

• Soient deux matri es A et B ∈ Kn(K = R ou C), alors la relation d'ordre

A B,

signie que la matri e A−B est dénie non-négative i.e. ∀y ∈ Kn, yT (A−B)y ≥ 0.

• Soit A ∈ Kn, A ≺ ∞ signie que ∀y ∈ R

n, yTAy <∞.

• Diag (a) désigne une matri e diagonale dont les éléments diagonaux sont les éléments de

la matri e a.

Symboles relatifs aux probabilités

• CN (m,C) indique une loi gaussienne omplexe ir ulaire multivariée de moyenne m et

de matri e de ovarian e C.

• Pr (.) indique une probabilité.• fX (.) indique la densité de probabilité de X.

• fX,Y (.) indique la densité de probabilité jointe de X et de Y .• fX|Y (.) indique la densité de probabilité de X onditionnelle à Y .• ∼ indique l'opérateur suivre en loi.

• E [.] indique l'opérateur d'espéran e mathématique.

• Ex,θ [.] indique l'opérateur d'espéran e mathématique par rapport à la loi jointe fx,θ (.).• Ex|θ [.] indique l'opérateur d'espéran e mathématique par rapport à la loi onditionnelle

fx|θ (.).

xvi

Chapitre 1

Introdu tion

1.1 Généralités

En traitement statistique du signal, une modélisation probabiliste des données est ee tuée

an de tenir ompte des phénomènes aléatoires omme les bruits de mesures. Cette modélisa-

tion onsiste à dénir, en fon tion des paramètres in onnus, dont eux d'intérêt, la densité de

probabilité des données. Elle peut être établie en se basant sur des onsidérations physiques du

pro essus de mesure et/ou à travers l'histogramme des données. De manière générale, le problème

d'estimation est déni par le s héma suivant : soient x un ve teur d'observation orrespondant

aux données mesurées et θ ∈ Θ les paramètres à estimer. Nous supposons que le modèle d'ob-

servation est paramétrique 'est-à-dire qu'il existe une fon tion déterministe m (.) permettant de

relier les observations x, les paramètres θ et un bruit aléatoire b dont on onnaît les ara téris-

tiques statistiques. Puisque b est une variable aléatoire, nous devons dénir en toute rigueur un

espa e probabilisé (Ω,F ,P) et faire la distin tion entre la variable aléatoire b et une réalisation

du bruit b (ω) ave ω ∈ Ω. Ainsi les observations mesurées peuvent être exprimées en fon tion

des paramètres par la relation x (θ, ω) = m (θ,b (ω)). Par onséquent, nous devons introduireégalement un espa e probabilisé (Ω,F ,Pθ) pour les observations x. De plus, e problème doit

être identiable 'est-à-dire ∀θ1,θ2 ∈ Θ, si θ1 6= θ2, alors ∃A ⊂ Ω de mesure non nulle tel que

∀ω ∈ A, x (θ1, ω) 6= x (θ2, ω). Si ette ondition n'est pas satisfaite alors il est impossible d'esti-

mer de manière distin te es valeurs θ1 et θ2 même dans les onditions idéales 'est-à-dire sans

bruit. Dans toute la suite, nous supposerons que les onditions susmentionnées sont satisfaites

et nous nous aran hirons de es formalismes mathématiques quand il n'y a pas d'ambiguïté.

Nous onsidérons simplement que le bruit b est un ve teur aléatoire (absolument) ontinue

1

et

don que le ve teur d'observations x est également un ve teur aléatoire ontinue qui admet une

densité de probabilité onditionnelle fx|θ. Une fois que le modèle est bien déni, une estima-

tion des paramètres est déduite à partir des données mesurées, du modèle d'observation et des

informations a priori dont on dispose. L'algorithme d'estimation θ est don onstruit à partir

de la densité de probabilité onditionnelle fx|θ et de la densité a priori fθ de θ si θ est égale-

ment onsidéré omme un ve teur aléatoire (estimation bayésienne). Cet estimateur θ dépend

des observations x et on note parfois θ (x) pour souligner ette dépendan e. Cependant, même si

on onnaît parfaitement le modèle d'observation, des erreurs d'estimation se produisent à ause

1. Une variable aléatoire admet une densité de probabilité si elle est absolument ontinue. Par abus de language,

on dit parfois qu'elle est seulement ontinue.

1

2 CHAPITRE 1. INTRODUCTION

du ara tère aléatoire du bruit. En eet, pour une même valeur de paramètre, plusieurs jeux

de données diérents peuvent être mesurés et onduisent à des valeurs d'estimation diérentes.

L'estimateur θ (x) est par onséquent un ve teur aléatoire distribué suivant une loi de proba-

bilité. Pour évaluer la pré ision des estimateurs, il est don né essaire d'introduire des ritères

statistiques qui prennent en ompte ette distribution de données. Idéalement, la onnaissan e

de la loi de probabilité de θ (x) permettrait de ara tériser ses performan es d'estimation. En

eet, par ette loi, nous pouvons quantier les probabilités d'avoir une estimation pro he de

la vraie valeur et obtenir, sous onditions d'existen e, tous les moments statistiques de θ (x).Malheureusement, nous ne onnaissons pas en générale ette loi à l'ex eption de ertains as

simples où on peut obtenir une expression analytique expli ite de l'estimateur θ (x) en fon tion

des données x.

Néanmoins, deux ritères sont fréquemment utilisés pour évaluer les performan es d'un esti-

mateur : le biais, la varian e et l'EQM de l'estimateur. Le biais quantie l'é art moyen entre les

estimées et les vraies valeurs des paramètres

biaisθ= E

[θ (x)− θ

].

et la varian e mesure la dispersion des estimées autour de leurs valeurs moyennes

VARθ= E

[(θ − E

[θ]) (

θ − E

[θ])T]

.

L'EQM mesure la dispersion des estimés autour de la vraie valeur du paramètre et permet de

regrouper le biais et la varian e en un seul ritère

EQMθ= E

[(θ − θ

)(θ − θ

)T]= VAR

θ+ biais

θbiaisT

θ.

Une justi ation on ernant l'utilisation de es ritères est que ertains estimateurs suivent

asymptotiquement une loi gaussienne (par exemple la normalité asymptotique du maximum

de vraisemblan e (MV) [LC03). Don la onnaissan e du biais et de la varian e susent à re-

onstruire la densité de probabilité de es estimateurs. Cependant, es ritères de performan e

n'ont pas en générale d'expression analytique hormis les as d'estimation linéaire en les para-

mètres ave un bruit additif gaussien [Kay93. Pour des problèmes d'estimation non-linéaire, une

valeur appro hée de es termes peut être obtenue par des simulations de type Monte-Carlo. Cette

méthode onsiste d'abord à générer indépendamment des séries de données xii=1···MC en se

basant sur le modèle d'observation, puis de faire une estimation

θ (xi)

i=1···MC

pour haque

série de données et enn une évaluation de l'EQM est donnée par

EQMθ≃ 1

MC

MC∑

i=1

(θ (xi)− θ

)(θ (xi)− θ

)T, (1.1)

oùMC est le nombre de simulations de Monte-Carlo réalisées. D'après la loi des grands nombres,

le membre de droite de (1.1), ommunément appelé l'EQM empirique, tend vers l'EQM de l'esti-

mateur quand MC tend vers l'inni. De plus pour un nombre d'é hantillons MC donné, l'erreur

de quanti ation est proportionnelle à

1√MC

. La vitesse de onvergen e est don relativement

lente, il faut un nombre de tirages onséquent pour avoir un bonne estimation de l'EQM. Par

ailleurs, ette méthode fait appel à l'estimateur θ pour haque série de données xii=1···MC . Son

1.1. GÉNÉRALITÉS 3

oût de al ul est généralement lourd selon la omplexité de l'algorithme θ. Pour remédier à e

problème, des bornes inférieures

2

de l'EQM ont été proposées dans la littérature an de prédire

l'EQM ou la varian e des estimateurs sans biais. Ces bornes présentent plusieurs avantages : pre-

mièrement, elles sont intrinsèques au problème d'estimation et don l'évaluation de es bornes

ne dépend pas de l'estimateur en question. Deuxièmement, la plupart de es bornes ont une

expression analytique ou semi-analytique ( 'est-à-dire sous forme d'intégrale ou de maximisation

suivant un ou plusieurs paramètres) pour les observations à distribution gaussienne [Kay93,

elliptiques [PR10 [GFG14a [BA13 et autres [TRB

+14. Don l'évaluation de es expressions

est rapide numériquement. Troisièmement, ertaines de es bornes minimales sont atteignables

à fort rapport signal sur bruit (RSB) [RFCL06 ou à grand nombre d'observations [LC03, don

elles dé rivent les performan es optimales d'estimation en régime asymptotique, 'est-à-dire que

es bornes donnent l'EQM minimale que l'on peut espérer d'atteindre parmi un ensemble d'es-

timateurs réalisables (non lairvoyants).

Par ailleurs, lorsque le problème d'estimation est non-linéaire par rapport aux paramètres

d'intérêt, on peut distinguer trois zones de fon tionnement pour l'EQM des estimateurs [RB74

(voir la gure 1.1) : une zone dite asymptotique où une faible variation du RSB ou du nombre

d'observation induit une faible variation de l'EQM ; e omportement s'explique par le fait que

les valeurs estimées sont généralement pro hes de la vraie valeur du paramètre. Puis une zone de

dé ro hement apparaît lorsque l'EQM roît onsidérablement pour une faible variation du RSB

ou du nombre d'observations, e phénomène intervient lorsque le maximum global du ritère

n'est plus autour de la vraie valeur. Enn, l'EQM devient quasi onstante dans la zone de non

information ar l'information est omplètement noyée dans le bruit. Le seuil de dé ro hement

délimite don la zone optimale de fon tionnement de l'estimateur. La onnaissan e de e seuil

est don fondamentale, 'est pourquoi un ensemble de bornes ommunément appelées "large

error bounds" sont proposées dans la littérature pour la prédi tion de e seuil. Enn, les bornes

inférieures de l'EQM peuvent servir d'étalon (ben hmark) pour verier en amont, 'est-à-dire

avant de mettre en pla e l'estimateur, si les performan es exigées par le ahier des harges sont

réalistes ou non.

Dans la littérature, les bornes sont lassées en fon tion de la nature des paramètres à estimer.

Nous distinguons essentiellement trois familles de bornes :

1. Les bornes dites "déterministes" sont appliquées aux problèmes d'estimation de para-

mètres non-aléatoires. [Cra46,Rao45,Bar49,CR51,MS69,Gla72,Abe93,FL01,FL02,Cha04,

Rendf

2. Les bornes dites "bayésiennes" sont utilisées lorsque les paramètres d'estimation sont

aléatoires de densité de probabilité a priori onnue. [Van68,BMWZ87,ZZ69,CZZ75,BZ76,

WW85,WW88,BEV95,QCL06

3. Les bornes dites "hybrides" sont des minorants de l'EQM dans le ontexte d'estimation

de paramètres dont une partie est aléatoire de densité de probabilité a priori onnue et

dont le reste est non-aléatoire. [RS87,RM97,Mes06,TT09

La majorité des bornes existantes s'applique uniquement dans le ontexte de l'estimation

lassique, 'est-à-dire estimer les paramètres θ à l'aide des données x et du modèle d'observation

2. Ces bornes sont aussi appelés bornes minimales ou bornes minorantes. La dénomination de es bornes

divergent par le fait qu'elles ne orrespondent pas toujours à la dénition mathématique de "borne inférieure" à

savoir le plus grand des minorants.


Figure 1.1 EQM du maximum de vraisemblan e pour l'estimation de la fréquen e d'une

sinusoïde

x (θ, ω) = m (θ,b (ω)). Or, e ontexte peut être irréaliste pour des problèmes on rets. No-

tamment, ertains s énarios d'estimation peuvent in lure impli itement des ontraintes sur les

paramètres, des paramètres qui évoluent dans le temps ou en ore une modélisation in orre te des

données. On peut se demander si les bornes " lassiques" s'appliquent dans de telles onditions.

Sinon peut-on obtenir des bornes qui permettent de prédire l'EQM optimale dans es situations ?

En plus des erreurs d'estimation, les estimateurs sont limités par leur résolution. En eet, bien

que le modèle d'observation soit parfaitement onnu, les estimateurs ne sont pas en mesure de

donner des estimations distin tes lorsque l'é art entre les paramètres sont en deçà d'une distan e

limite. Nous nous sommes intéressés à l'étude d'un ritère unique qui permet de ara tériser à la

fois la résolution et la pré ision d'un estimateur.

1.2 But de la thèse et résultats

Le travail proposé dans ette thèse a été initialement motivé par les résultats obtenus par

Eri Chaumette [Cha04 et Alexandre Renaux [Rendf qui traitent respe tivement des bornes

deterministes et bayésiennes. L'idée de départ est d'étendre es bornes dans le ontexte de l'es-

timation hybride, 'est-à-dire l'estimation simultanée de paramètres aléatoires et non-aléatoires.

1.2. BUT DE LA THÈSE ET RÉSULTATS 5

Notamment, nous nous sommes aperçus que l'inégalité de ovarian e [LC03,Mes06 est la pierre

angulaire pour unier à la fois des bornes déterministes, bayésiennes et hybrides. Bien qu'en esti-

mation bayésienne, la borne de Weiss-Weinstein [WW88 et les bornes de Ziv-Zakaï [ZZ69 soient

parmis les bornes les plus pré ises, il n'existait pas de version "hybride" de es bornes. Puis, nous

avons étudié des bornes pour des ontextes d'estimation moins lassiques. En eet, peu de bornes

dans la littérature traitent les as où les paramètres d'estimation sont soumis à des ontraintes

d'égalité [GO91,SN98 ou s'attaquent aux problèmes de ltrages à temps dis ret [BZ75,TMN98.

On notera que l'estimation simultanée de paramètres aléatoires et non-aléatoires dans de tels

ontextes n'a jamais été étudiée. Une analyse de performan es a également été menée pour des

problèmes d'estimation en présen e d'erreur de modélisation. Cette dernière reprend les travaux

de [Hub67,Whi82,RH13,GFG14a que nous appliquons au problème de la lo alisation de sour es.

Et enn, lorsqu'on veut estimer plusieurs paramètres de même nature, l'EQM devient insusante

pour ara tériser les performan es d'un estimateur. En eet, pour des problèmes de lo alisation

de sour es [EBRM12,EBRM11, il semble aussi important de savoir si nous arriverons à résoudre

es sour es que de onnaître les erreurs d'estimation. Pour ette raison, nous her hons s'il existe

des ritères qui permettrait à la fois de ara tériser la résolution et la pré ision d'un estimateur.

Les résultats menés tentent de répondre aux problèmes sus-mentionnés. Cette thèse est don

organisée en trois parties :

Premièrement, nous avons proposé deux nouvelles bornes inférieures de l'EQM pour l'es-

timation hybride. La première est basée sur une ombinaison entre la borne de Baran-

kin (version M Aulay-Seidman [MS69) pour les paramètres déterministes et la borne de

Weiss-Weinstein [WW88 pour les paramètres aléatoires tandis que la deuxième est ba-

sée sur une ombinaison entre la borne de Barankin (version M Aulay-Seidman [MS69)

pour les paramètres déterministes et la borne de Ziv-Zakaï (version proposée par Kristine

Bell dans sa thèse [Bel95) pour les paramètres aléatoires. Pour es deux bornes, nous

avons établi la lasse d'estimateurs pour laquelle haque borne est valide et nous avons

proposé des expressions analytiques pour les modèles d'observations gaussiens à moyenne

ou à varian e paramétrés. Les résultats de simulation montrent très lairement un gain

par rapport à la borne de Barankin hybride [RM97, onnue à e jour omme la borne

hybride la plus pré ise. Ces résultats sont dé rits dans le hapitre 2.

La se onde partie de e travail est dédiée à l'étude de bornes inférieures de l'EQM dans

un ontexte non-standard au sens où les paramètres évoluent dans le temps ou sont

sous ontraintes entre eux et où le modèle d'observation n'est plus orre tement spé i-

é. Nous avons étendu les résultats de Gorman et Hero [GO90 on ernant la borne de

Cramér-Rao sous ontraintes d'égalité ( 'est-à-dire lorsque les paramètres sont reliés par

des équations linéaire ou non-linéaire) au as hybride. Lorsque les paramètres ne sont plus

statiques ( 'est-à-dire lorsqu'ils sont régis par une dépendan e temporelle), on parle alors

de problème de ltrage et d'estimation d'état. Dans e ontexte, nous avons proposée une

borne hybride ré ursive de type Cramér-Rao qui prend en ompte les as où l'évolution

des états du système depend des paramètres déterministes. Elle étend ainsi les résultats

de [TMN98. Enn, lorsque les observations mesurées ne suivent pas le modèle supposé,

on dit que le modèle est malspé ié (ou désadapté). Ré emment des bornes sont proposées

pour prédire les estimateurs opérant dans de tels onditions [RH15. Nous avons appliqué

la borne de Cramér-Rao "malspé iée" (appellée également limite de Huber) au as de

l'estimation de dire tions d'arrivée et de départ dans un ontexte de Radar MIMO. Ces

résultats sont présentés dans le hapitre 3.


La troisième et dernière partie on erne la résolution limite statistique. Nous avons pro-

posé une extension de l'appro he de Oh & Kashyap [OK91 et de Clark [Cla95 pour des

problèmes d'estimation de paramètres multidimensionnels. Basée sur la densité de proba-

bilité des valeurs estimées, le ritère proposé permet de ara tériser à la fois la résolution

et la pré ision d'un estimateur. Une illustration de e ritère a été appliquée à travers un

problème de lo alisation de sour e dans lequel nous avons fait une omparaison ave le

ritère de Lee-Yau-Bressler [Lee93,YB92, de Smith [Smi05, de Shahram-Milanfar [SM93

et de Amar-Weiss [AW08. Parmi tous es ritères sus-mentionnés, le ntre semble être

le plus exigeant par le fait qu'il ontraint les valeurs estimées à appartenir à un domaine

restreint. Ces résultats sont dé rits dans le hapitre 4.

Les travaux exposés dans e do ument ont donné lieu aux arti les et ommuni ations

suivants (les deux revues internationales a eptées sont jointes en annexes B et C)

Revues internationales

C. Ren, M. N. El Korso, J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "On the

a ura y and resolvability of ve tor parameter estimates", IEEE Transa tions on Signal

Pro essing, Volume : 62, Issue : 14, Jul. 2014, pp. 3682-3694.

C. Ren, J. Galy, E. Chaumette, F. Vin ent, P. Larzabal and A. Renaux, "Re ursive

hybrid Cramér-Rao bound for dis rete-time Markovian dynami systems", IEEE Signal

Pro essing Letters, Volume : 22, Issue : 10, O t. 2015, pp. 1543-1547.

C. Ren, J. Galy, E. Chaumette, F. Vin ent, P. Larzabal and A. Renaux, "Hybrid

Barankin-Weiss-Weinstein Bounds", en révision mineure pour IEEE Signal Pro essing

Letters.

Congrés ave omité de le ture et a tes

C. Ren, J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "Hybrid lower bound on the

MSE based on the Barankin and Weiss-Weinstein bounds", in Pro . of IEEE Internatio-

nal Conferen e on A ousti s, Spee h, and Signal Pro essing, ICASSP-2013, Van ouver,

Canada.

C. Ren, J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "Une borne inférieure de

l'erreur quadratique moyenne pour l'estimation simultanée de paramètres aléatoires et

non-aléatoires", in Pro . of Colloque GRETSI 2013, Brest, Fran e.

C. Ren, J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "High resolution te hniques

for Radar : Myth or Reality ?", in Pro . of the European Signal Pro essing Conferen e,

EUSIPCO-2013, Marrake h, Moro o.

C. Ren, J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "A Ziv-Zakai type bound for

hybrid parameter estimation", in Pro . of IEEE International Conferen e on A ousti s,

Spee h, and Signal Pro essing, ICASSP-2014, Firenze, Italy.

C. Ren, J. Le Kerne J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "A onstrai-

ned hybrid Cramér-Rao bound for parameter estimation", in Pro . of IEEE International

Conferen e on A ousti s, Spee h, and Signal Pro essing, ICASSP-2015, Brisbane, Aus-

tralia.

C. Ren, M. N. El Korso, J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "Perfor-

man es bounds under misspe i ation model for MIMO Radar appli ation", in Pro . of

1.2. BUT DE LA THÈSE ET RÉSULTATS 7

the European Signal Pro essing Conferen e, EUSIPCO-2015, Ni e, Fran e.

C. Ren, J. Le Kerne J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "Borne de

Cramér-Rao sous ontraintes pour l'estimation simultanée de paramétres aléatoires et non

aléatoires", in Pro . of Colloque GRETSI 2015, Lyon, Fran e.

C. Ren, M. N. El Korso, J. Galy, E. Chaumette, P. Larzabal and A. Renaux, "Une

nouvelle appro he de résolution limite dans le adre d'estimation paramétrique multidi-

mensionnelle", in Pro . of Colloque GRETSI 2015, Lyon, Fran e.

Chapitre 2

Bornes hybrides

2.1 Introdu tion

L'estimation hybride onsiste à estimer un ve teur omposé à la fois de paramètres aléa-

toires et de paramètres non-aléatoires à partir des observations. Contrairement aux estimations

déterministes et bayésiennes où le modèle d'observation est respe tivement paramétrisé par des

in onnues non-aléatoires et par des in onnues aléatoires, le ontexte hybride s'intérresse aux

modèles dépendant simultanément de es deux types d'in onnues. Ce ontexte modèles dépen-

dant simultanément de es deux types d'in onnues. Ce ontexte d'estimation intervient dans

de nombreuses appli ations. On peut iter, par exemple, le modèle linéaire gaussien généra-

lisé [Van02, la alibration d'un réseau d'antennes [RS87, l'estimation de retard pour les signaux

radar [RM97, l'estimation de la phase dans une transmission binaire à modulation de phase

sans signal de référen e [BGR

+08, l'estimation de phase dans les modulations QAM [YGB11,

l'analyse spe trale [TT09, l'estimation onjointe de la fréquen e Doppler et du retard dans un ré-

epteur numérique [VVRB12, l'estimation de paramétres dans les systèmes DS/CDMA [BLS05,

l'estimation de la dire tion d'arrivée pour des antennes déformées dans un ontexte de mé a-

nique des uides [TW07. Malheureusement, le adre d'estimation hybride n'est généralement

pas une simple on aténation d'un problème d'estimation déterministe et d'un problème d'es-

timation bayésienne. En eet, l'estimation hybride n'est pas séparable, dans le sens où nous

ne pouvons pas utiliser les estimateurs déterministes pour les paramètres non-aléatoires et les

estimateurs bayésiens pour les paramètres aléatoires puisque les paramètres déterministes et

bayésiens peuvent être statistiquement dépendants. Par onséquent, les limites de performan e

des estimateurs hybrides ne peuvent pas, en général, être omparées ave les bornes déterministes

et les bornes bayésiennes. C'est pourquoi, les bornes hybrides ont été proposées pour prédire les

performan es en terme d'EQM de tels estimateurs. Historiquement, la première borne hybride est

la borne de Cramér-Rao hybride (BCRH) introduite par Ro kah et S hultheiss dans le ontexte

d'estimation de dire tions d'arrivée et de l'auto- alibration d'un réseau d'antennes [RS87 où la

densité de probabilité a priori des paramètres aléatoires est indépendante des paramètres déter-

ministes. Cependant la BCRH est une borne lo ale ("small error bound"), elle ne permet pas

de prédire les phénomènes de dé ro hement. An de remédier à e problème, Reuven et Messer

ont introduit la borne de Barankin hybride (BBH) [RM97 qui est une extension de la borne de

Barankin [Bar49 onnue pour son aptitude à prédire les dé ro hements. Ré emment, une forme

plus générale de la BCRH a été proposée par Bay et. al. [BGR

+08 lorsque la loi a priori des pa-

ramètres aléatoires dépendent des paramètres déterministes. Une étude approfondie de la BCRH

9

10 CHAPITRE 2. BORNES HYBRIDES

a été faite par Noam and Messer [NM09 en proposant une ondition susante pour que la sous-

matri e on ernant les paramètres déterministes de la BCRH soit égale à la BCR déterministe

en onsidérant les paramètres aléatoires omme des paramètres de nuisan e. Ces travaux ont

notamment montré que la BCRH prédit bien l'EQM asymptotique à fort RSB ou à fort nombre

d'observations, omme les BCRs déterministes et bayésiennes. Parallèlement, la BBH a été éten-

due par Todros et Tabrikian [TT09 en appliquant une transformation de noyau (basée sur des

fon tions noyaux appelées "rapport de vraisemblan e entré"). Cette appro he a permi d'obtenir

une BBH plus pré ise notamment pour la prédi tion du seuil de dé ro hement. Plus ré emment,

nous avons montré qu'une ombinaison de la BBH ave la borne Weiss-Weinstein [WW88 d'une

part et ave la borne de Ziv-Zakaï [BEV95 d'autre part améliorent la prédi tion du seuil de

dé ro hement.

Dans e hapitre, nous rappellerons tout d'abord l'inégalité de ovarian e qui permet de

minorer l'EQM des estimateurs et don d'obtenir des bornes hybrides. Puis nous présenterons

les deux bornes hybrides les plus onnues et utilisées dans la littérature, à savoir la borne de

Cramér-Rao hybride et la borne de Barankin hybride. Le reste de e hapitre sera onsa ré à la

présentation de deux résultats originaux que nous avons obtenus. Il s'agit dans les deux as d'une

nouvelle borne hybride plus pré ise ("tight") que la BBH. La première est basée sur un mélange

entre la borne de Barankin lassique (déterministe) et la borne de Weiss-Weinstein (bayésienne).

La deuxième est une ombinaison entre la borne de Barankin lassique (déterministe) et la borne

de Ziv-Zakaï (bayésienne).

2.2 Inégalité de ovarian e

Il existe dans la littérature de nombreuses inégalités mathématiques qui permettent d'établir

des minorants de l'EQM. Les plus utilisées sont :

L'inégalité de Cau hy-S hwarz pour la génération des bornes déterministes et bayésiennes

de la famille Weiss-Weinstein (généralisable par l'inégalité de Hölder aux moments absolus

d'ordre > 1) ,

L'inégalité de Kotelnikov pour les bornes bayésiennes de la famille Ziv-Zakaï.

L'inégalité de Cau hy-S hwarz admet une forme duale : l'inégalité de ovarian e et la minimi-

sation d'une matri e de Gram sous ontraintes linéaires. Cette dualité à été illustrée dans le as

des bornes déterministes [Cha04 et les bornes bayésiennes de la famille Weiss-Weistein [WW88.

En estimation hybride, l'appro he lassique tend à privilégier l'utilisation de l'inégalité de o-

varian e. Nous onservons ette appro he an de fa iliter les omparaisons ave les travaux

antérieurs.

Théorème Inégalité de ovarian e

Soient x un ve teur d'observation de Ω ⊂ CPet θ ∈ Θ ⊂ R

Mun ve teur de paramètres

à estimer. On suppose que x est un ve teur aléatoire de densité de probabilité onditionnelle

fx|θ (.) et θ est un ve teur de paramètres soit déterministe, soit aléatoire de densité de probabilité

a priori onnue fθ (.), soit hybride 'est-à-dire θ =[θTd θT

r

]Toù θd est un ve teur de paramètres

déterministes et θr est un ve teur de paramètres aléatoires de densité de probabilité a priori

onnue fθr ;θd(.). Si θ (x), appelée estimateur de θ, une fon tion mesurable de Ω dans Θ et

v (x,θ) une fon tion réelle mesurable de Ω × Θ dans RK, K ∈ N

∗, telle que la matri e de

2.2. INÉGALITÉ DE COVARIANCE 11

ovarian e E[vvH

]est dénie positive, E

[θ (x)vT (x,θ)

]≺ ∞ et E

[θvT (x,θ)

]≺ ∞ alors

E

[(θ (x)− θ

)(θ (x)− θ

)T] CV−1CT

(2.1)

ave C = E

[(θ (x)− θ

)vT (x,θ)

]et V = E

[v (x,θ)vT (x,θ)

].

Remarque

1) Le membre de droite de (2.1) n'est pas en général une borne minorante de l'EQM ar

la matri e C dépend de θ. Cependant un hoix judi ieux du ve teur v (x,θ) appliqué pour une

lasse d'estimateurs θ bien pré ise nous permettra d'obtenir une expression de la matri e C

indépendante de θ et don une borne.

2) On appelle parfois CV−1CTla matri e d'information, elle est dénie positive si K ≥M .

3) Quelle que soit la nature des paramètres θ (déterministes, aléatoires ou hybrides), l'in-

égalité (2.1) reste valable. Autrement dit, l'opérateur espéran e E [.] peut moyenner suivant la

distribution fx;θ, fx,θ ou fx,θr ;θd.

Il existe plusieurs démonstrations de ette inégalité. Nous allons reformuler i-dessous la

démonstration proposée par [LC03 à base de l'inégalité de Cau hy-S hwarz. Une autre démons-

tration est proposée dans [Mes06 en utilisant la propriété du omplément de S hur d'une matri e

dénie positive.

Preuve Soit l'ensemble L2 (P) ,

f réelle mesurable |

(∫|f |2 dP

) 12<∞

1

, muni du pro-

duit s alaire suivant : pour toutes fon tions réelles mesurables g (x,θ) et h (x,θ)

〈g, h〉 =∫g (x,θ)h (x,θ) dP = E [g (x,θ) h (x,θ)] , (2.2)

et soit la norme induite

‖g‖ =√〈g, g〉.

On remarque que l'opérateur espéran e entre deux fon tions peut être vu omme le produit

s alaire de es deux fon tions. Soit ψ (x,θ), e (x,θ) des fon tions réelles mesurables telles que

ψ (x,θ) ∈ L2 (P) et e (x,θ) ∈ L2 (P). Par l'inégalité de Cau hy-S hwarz, nous avons

|〈e (x,θ) , ψ (x,θ)〉| ≤ ‖e (x,θ)‖ ‖ψ (x,θ)‖ ,

(rappel |〈e (x,θ) , ψ (x,θ)〉| ,∫|e (x,θ)ψ (x,θ)| dP.) e qui est équivalent à

‖e (x,θ)‖2 ≥ |〈e (x,θ) , ψ (x,θ)〉|2

‖ψ (x,θ)‖2. (2.3)

Soient a ∈ RKet b ∈ R

Mquel onques tels que

ψ (x,θ) = aTv (x,θ) et e (x,θ) = bT(θ (x)− θ

).

1. Admettons que et espa e L2 (P) est bien déni, nous pré iserons plus tard la mesure P et l'espa e mesurable

asso ié.


L'inégalité (2.3) s'é rit don

∥∥∥bT(θ (x)− θ

)∥∥∥2≥

∣∣∣⟨bT(θ (x)− θ

),aTv (x,θ)

⟩∣∣∣2

‖aTv (x,θ)‖2.

Or le produit s alaire est une forme bilinéaire et

∫ ∣∣∣bT(θ (x)− θ

)vT (x,θ) a

∣∣∣ dP ≥∣∣∣∣∫

bT(θ (x)− θ

)vT (x,θ) adP

∣∣∣∣ , (2.4)

on obtient don

bT

⟨(θ (x)− θ

),(θ (x)− θ

)T⟩b ≥

∣∣∣bT⟨θ (x)− θ,vT (x,θ)

⟩a

∣∣∣2

aT 〈v (x,θ) ,vT (x,θ)〉a . (2.5)

Notons C =⟨θ (x)− θ,vT (x,θ)

⟩et V =

⟨v (x,θ) ,vT (x,θ)

⟩, nous avons

bT

⟨(θ (x)− θ

),(θ (x)− θ

)T⟩b ≥

∣∣bTCa∣∣2

aTVa(2.6)

Puisque l'inégalité (2.6) est vraie quelque soit a ∈ RK,

bT

⟨(θ (x)− θ

),(θ (x)− θ

)T⟩b ≥ sup

a∈RK

∣∣bTCa∣∣2

aTVa(2.7)

Comme V est une matri e dénie positive, on peut dénir le produit s alaire suivant ∀a et b

〈a,b〉V = aTVb,

don

bTCa =⟨V−1CTb,a

⟩V.

D'après l'inégalité de Cau hy-S hwarz

∣∣⟨V−1CTb,a⟩V

∣∣2 ≤∥∥V−1CTb

∥∥2V‖a‖2V , (2.8)

où

‖a‖2V = 〈a,a〉V = aTVa.

et l'égalité (2.8) est atteinte si

a = kV−1CTb, ∀k ∈ R.

On a nalement

bT

⟨(θ (x)− θ

),(θ (x)− θ

)T⟩b ≥

∥∥V−1CTb∥∥2V,

⇔bT

⟨(θ (x)− θ

),(θ (x)− θ

)T⟩b ≥ bTCV−1CTb. (2.9)

2.2. INÉGALITÉ DE COVARIANCE 13

Puisque (2.9) est vrai pour tout b ∈ RM

et omme 〈g, h〉 = E [g (x,θ)h (x,θ)] don

E

[(θ (x)− θ

)(θ (x)− θ

)T] CV−1CT . (2.10)

Nous retrouvons l'inégalité de ovarian e. Revenons maintenant sur la mesure P et la tribu

asso iée : P est une mesure de probabilité déterminant la fréquen e d'apparition des évènements

issue d'un pro essus aléatoire. L'expression P dépend du problème d'estimation onsidéré. En

estimation paramétrique, les observations sont aléatoires, don nous devons dénir pour les ob-

servations l'espa e probabilisé

(Ω,F ,Px|θ

)où Ω est l'espa e des observations x, F est la tribu

asso iée et Px|θ est la mesure de probabilité de x sur F . Cette dernière est dénie par l'appli ation

suivante

Px|θ :

F → [0; 1]A→ Px;θ (x ∈ A)

.

Si la variable aléatoire onditionnelle x|θ admet une densité de probabilité ontinue fx|θ alors

Px|θ (x ∈ A) =

∫

x∈AdPx;θ =

∫

x∈Afx|θ (x) dx.

Elle dépend évidemment de θ puisque nous voulons estimer θ à partir de x. Par ailleurs, le ritère

d'identiabilité est déni par la ondition suivante : l'appli ation θ → Px;θ doit être inje tive

∀θ ∈ Θ.

On distingue en général trois types d'estimation : l'estimation est dite déterministe si les

paramètres à estimer sont non-aléatoires, l'estimation est dite bayésienne s'ils sont tous aléatoires

et l'estimation est dite hybride si une partie des paramètres sont aléatoires et l'autre partie est

non aléatoire.

Dans le ontexte d'estimation déterministe, il existe une vraie valeur des paramètres notée

θ0 et le produit s alaire mentionné pré édemment est le suivant : ∀g (x) et h (x) fon tions réellesmesurables de (Ω,F) dans (R,B (R))

〈g, h〉 =∫

Ωg (x)h (x) dPx;θ0

= Ex;θ0[g (x)h (x)] .

La notation x;θ0 (parfois x|θ0) est utilisée i i pour souligner la dépendan e de x par rapport à

la vraie valeur θ0. L'expression

EQMD = Ex;θ0

[(θ (x)− θ

)(θ (x)− θ

)T](2.11)

est appelé l'erreur quadratique moyenne lo ale au point θ0.

Dans le ontexte d'estimation bayésienne, nous dénissons l'espa e probabilisé (Θ,T ,Pθ)pour le paramètre θ ave une mesure de probabilité a priori Pθ. Par onséquent, la variable

jointe x,θ est dénie sur un espa e produit (Ω×Θ,J ,Px,θ) où J = (A,B) |A ∈ F et B ∈ T et Px,θ est la mesure telle que ∀A×B ∈ J , Px,θ (A,B) = Px|θ (A)Pθ (B). Et le produit s alaireest déni par : ∀g (x,θ) et h (x,θ) fon tions réelles mesurables de (Ω×Θ,J ) dans (R,B (R))

〈g, h〉 =∫

Θ

∫

Ωg (x,θ) h (x,θ) dPx,θ = Ex,θ [g (x,θ) h (x,θ)] .


L'erreur quadratique moyenne, dénie par

EQMB = Ex,θ

[(θ (x)− θ

)(θ (x)− θ

)T], (2.12)

est dite globale puisqu'on moyenne par rapport à θ.

Si les paramètres à estimer sont hybrides θ =(θTd θT

r

)Talors nous dénissons l'espa e

probabilisé (Θr,Tr,Pθr;θd) pour le paramètre θr ave une mesure de probabilité a priori Pθr;θd

qui peut dépendre du paramètre déterministe. De même, la variable jointe x,θr;θd est dénie

sur un espa e produit

(Ω×Θ,J ,Px,θr;θd

)où J = (A,B) |A ∈ F et B ∈ Tr et Px,θr ;θd

est la

mesure telle que ∀ (A,B) ∈ J , Px,θr ;θd(A,B) = Px|θ (A)Pθr ;θd

(B). Le produit s alaire est dénipar : ∀g (x,θ) et h (x,θ) fon tions réelles mesurables de (Ω×Θ,J ) dans (R,B (R))

〈g, h〉 =∫

Θr

∫

Ωg (x,θ) h (x,θ) dPx,θr;θd

= Ex,θr ;θd[g (x,θ) h (x,θ)] .

L'erreur quadratique moyenne, dénie par

EQMH = Ex,θr ;θd

[(θ (x)− θ

)(θ (x)− θ

)T], (2.13)

est à la fois moyennée par rapport à la variable θr et lo ale au point θd.

2.3 Borne de Cramér-Rao hybride

La borne la plus onnue dans la littérature est la borne de Cramér-Rao. C'est historiquement

la première borne qui a été publiée dans la littérature. Cette borne a été beau oup étudiée et

appliquée pour son expression analytique simple, son lien ave l'information de Fisher et sa

relation ave l'EQM asymptotique du maximum de vraisemblan e.

2.3.1 Forme générale

Soit θ =[θTd θT

r

]T ∈ Πd × Πr un ve teur de paramètres à estimer à partir des observations

x ∈ Ω. Si la densité de probabilité onditionnelle des observations fx,θr;θd(.) est dérivable par

rapport au ve teur de paramètres θ, alors la borne de Cramér-Rao hybride s'obtient en hoisissant

le ve teur

v (x,θr;θd) =∂ ln fx,θr ;θd

(x,θr;θd)

∂θ, (2.14)

dans l'inégalité de ovarian e (2.1). Nous obtenons alors

Ex,θr;θd

[(θ (x)− θ

)(θ (x)− θ

)T] CV−1CT ,

où la matri e V est donnée par

V = Ex,θr ;θd

[∂ ln fx,θr;θd

(x,θr;θd)

∂θ

∂ ln fx,θr ;θd(x,θr;θd)

∂θT

], (2.15)

et la matri e C est

C = Ex,θr ;θd

[(θ (x)− θ

) ∂ ln fx,θr ;θd(x,θr;θd)

∂θT

]. (2.16)

2.3. BORNE DE CRAMÉR-RAO HYBRIDE 15

Si fx,θr ;θdest deux fois dérivable par rapport au ve teur θ =

[θTd θT

r

]Talors la matri e V s'é rit

également

V = −Ex,θr ;θd

[∂2 ln fx,θr ;θd

(x,θr;θd)

∂θ∂θT

]. (2.17)

Cependant, la matri e C dépend a priori de l'estimateur sans hypothèses supplémentaires. Il

existe deux formes de la borne de Cramér-Rao selon la lasse d'estimateurs onsidérée : les

estimateurs sans biais et les estimateurs biaisés. Nous nous intéressons i i à l'expression de ette

borne pour une lasse d'estimateur θ sans biais, 'est-à-dire :

Ex,θr;θd

[θ (x)− θ

]= 0. (2.18)

Cette ondition (2.18) est généralement satisfaite par les estimateurs opérants dans les zones

asymptotiques (à fort RSB ou à grand nombre d'observations). Dans e as, si on note θi le ieme

élément du ve teur θ, alors la i

eme olonne de la matri e C s'é rit

ci = Ex,θr;θd

[(θ (x)− θ

) ∂ ln fx,θr ;θd(x,θr;θd)

∂θi

]

= Ex,θr;θd

[θ (x)− θ

]− Ex,θr ;θd

[∂

∂θi

(θ (x)− θ

)].

Puisque l'estimateur est non biaisé (2.18) et ne dépend que des données

(∂θ(x)∂θi

= 0)

don

Ex,θr ;θd

[∂∂θi

(θ (x)− θ

)]= −ei où ei est un ve teur unitaire qui vaut 1 à la i

eme omposante

et 0 ailleurs. Par onséquent

∀i, ci = ei ⇔ C = I.

Finalement la borne de Cramér-Rao hybride s'é rit simplement

BCRH = E−1x,θr ;θd

[∂ ln fx,θr;θd

(x,θr;θd)

∂θ

∂ ln fx,θr ;θd(x,θr;θd)

∂θT

]. (2.19)

Si la densité de probabilité onditionnelle est deux fois dérivable par rapport à θ, alors

BCRH = −E−1x,θr ;θd

[∂2 ln fx,θr;θd

(x,θr;θd)

∂θ∂θT

]. (2.20)

Par analogie ave la borne de Cramér-Rao lassique, on appelle la matri e d'information de

Fisher la quantité

FH , Ex,θr ;θd

[∂ ln fx,θr ;θd

(x,θr;θd)

∂θ

∂ ln fx,θr;θd(x,θr;θd)

∂θT

](2.21)

ou

FH = −Ex,θr;θd


(x,θr;θd)

∂θ∂θT

]. (2.22)

Plus les valeurs diagonales de la matri e FH sont grandes et plus l'EQMminimale pour ha un des

paramètres θ sera petite. Cependant, il y a très peu de résultats sur les onditions d'atteignabilité

de ette borne. A notre onnaissan e, un seul papier [NM09 ompare la borne de Cramér-Rao

hybride à la borne de Cramér-Rao déterministe lorsqu'on onsidère que les paramètres aléatoires

sont des paramètres de nuisan es. Pour le as des estimateurs biaisés, le raisonnement est similaire

et son expression est disponible dans [Eld06.


2.3.2 Formule de Slepian-Bangs hybride dans le as gaussien

Il existe une expression plus simple de la borne de Cramér-Rao losque le modèle d'observation

est gaussien omplexe, 'est à dire que les observations omplexe x vérient

x = m (θ) + b,

où m (.) est une fon tion déterministe dérivable par rapport aux paramètres réels θ et b est un

ve teur aléatoire gaussien omplexe ir ulaire de moyenne nulle et de matri e de ovarian e Σ (θ).On le note aussi x ∼ CN (m (θ) ,Σ (θ)). Pour obtenir ette expression, remarquons d'abord que

la densité de probabilité des données peut s'é rire omme le produit suivant

fx,θr;θd(x,θr;θd) = fx|θr ;θd

(x|θr;θd) fθr ;θd(θr;θd) .

Puisqu'une loi gaussienne est indéniment dérivable, on peut utiliser l'expression (2.22) pour

obtenir l'information de Fisher hybride :

FH = −Ex,θr;θd


(x,θr;θd)

∂θ∂θT

]

= −Ex,θr;θd

[∂2 ln fx|θr ;θd

(x|θr;θd)

∂θ∂θT+∂2 ln fθr;θd

(θr;θd)

∂θ∂θT

]

= −Eθr ;θd

[Ex|θr ;θd

[∂2 ln fx|θr ;θd

(x|θr;θd)

∂θ∂θT

]]− Eθr;θd

[∂2 ln fθr ;θd

(θr;θd)

∂θ∂θT

].

Or FD , Ex|θr ;θd

[∂2 ln fx|θr ;θd(x|θr ;θd)

∂θ∂θT

]est la matri e d'information de Fisher déterministe lors-

qu'on onsidère les paramètres θr et θd ertains. D'après la formule de Slepian-Bangs [Sle54,

Ban71, l'élément (i, j) de matri e FD est donnée par

FDi,j = 2Re

(∂mH (θ)

∂θiΣ−1 (θ)

∂m (θ)

∂θj

)+ Tr

(∂Σ (θ)

∂θiΣ−1 (θ)

∂Σ (θ)

∂θjΣ−1 (θ)

)

don la matri e d'information de Fisher hybride s'é rit

FH = −Eθr;θd[FD]− Eθr;θd

[∂2 ln fθr ;θd

(θr;θd)

∂θ∂θT

](2.23)

Cette expression est beau oup plus rapide à évaluer ar il ne reste plus que des espéran es sur

la loi a priori fθr ;θd.

2.3.3 E a ité du maximum de vraisemblan e maximum a posteriori pour

les modèles linéaires gaussiens

Il existe des propriétés de onsisten e et de onvergen e du maximum de vraisemblan e qui

atteint la borne de Cramér-Rao sous ertaines onditions [LC03. On dit alors que le maximum

de vraisemblan e est e a e. D'après nos onnaissan es, une telle étude n'a jamais été faite dans

le ontexte de l'estimation hybride. Néanmoins, nous pouvons montrer qu'il existe au moins un

estimateur atteignant la borne de Cramér-Rao hybride pour les modèles linéaires gaussiens.

2.3. BORNE DE CRAMÉR-RAO HYBRIDE 17

Soient x ∈ RM

un ve teur d'observations ave M ≥ 2 et θ = [θd θr]T ∈ R

2un ve teur de

paramètres hybrides où θd est un paramètre déterministe et θr est un paramètre aléatoire de

densité de probabilité a priori gaussienne, θr ∼ N(mθr , σ

2θr

)ave mθr ∈ R et σθr > 0. Le

modèle d'observation est dé rit par la relation

x = Hθ + b,

où H est une matri e réelle de taille M × 2 de rang 2 et b représente le bruit de mesure supposé

aléatoire gaussien, b ∼ N(0, σ2IN

), et indépendant de θr. Ainsi la densité de probabilité jointe

de x,θr; θd est donnée par

fx,θr ;θd (x,θr; θd) =e

−1

2σ2 ‖x−Hθ‖2e−1

2σ2θr

‖θr−mθr‖2

(2πσ2)M2(2πσ2θr

) 12

. (2.24)

En utilisant la formule de Slepian-bangs (2.23), l'information de Fisher hybride s'é rit

FH =1

σ2HTH+

1

σ2θre2e

T2 (2.25)

ave e2 = [0 1]T . Il est légitime de se demander si ette performan e prédite est atteignable par

un estimateur. En estimation hybride, peu d'algorithmes ont été développés dans la littérature,

nous pouvons souligner l'estimateur joint du maximum de vraisemblan e maximum a posteriori

(MVMAP) [TT09 qui onsiste à maximiser le ritère suivant :

θMVMAP = argmaxθ∈R2

fx,θr ;θd (x,θr; θd)

= arg minθd,θr∈R

‖x−Hθ‖22σ2

+‖θr −mθr‖2

2σ2θr(2.26)

Le ritère (2.26) est onvexe, le minimum est atteint pour

∂

∂θ

(‖x−Hθ‖2

2σ2+

‖θr −mθr‖22σ2θr

)∣∣∣∣∣θ=θMV MAP

= 0,

⇔−HT (x−Hθ)

σ2+

e2eT2 (θ −mθre2)

σ2θr

∣∣∣∣∣θ=θMV MAP

= 0.

Don , on obtient

θMVMAP = F−1H

(1

σ2HTx+

1

σ2θrmθre2

), (2.27)

ave FH la matri e dénie par (2.25). Pour savoir si la borne de Cramér-Rao s'applique à l'esti-

mateur MVMAP, il faut montrer d'abord que et estimateur est non biaisé. On a,

Ex,θr;θd

[θMVMAP − θ

]= F−1

H

(E

x,θr;θd

[1

σ2HTx− FHθ

]+

1

σ2θrmθre2

)

= F−1H

(1

σ2HT

Ex,θr ;θd

[x−Hθ] +e2e

T2

σ2θrE

x,θr;θd[mθre2 − θ]

)

= 0. (2.28)


Ce qui signie que l'estimateur θMVMAP est un estimateur non biaisé de θ. Don la borne de

Cramér-Rao est appli able pour et estimateur et sa varian e s'é rit

Ex,θr ;θd

[(θMVMAP − θ

)(θMVMAP − θ

)T]

= F−1H E

x,θr ;θd

(

1

σ2HTx+

1

σ2θrmθre2−FHθ

)(1

σ2HTx+

1

σ2θrmθre2−FHθ

)TF−1

H

= F−1H E

x,θr ;θd

(

1

σ2HTb+

e2eT2

σ2θr(mθre2 − θ)

)(1

σ2HTb+

e2eT2

σ2θr(mθre2 − θ)

)TF−1

H .

Puisque b est indépendante de θr, nous obtenons

Ex,θr ;θd

[(θMVMAP − θ

)(θMVMAP − θ

)T]= F−1

H

(1

σ4HT

Ex,θr ;θd

[bbT

]H+

e2eT2

σ4θrE

x,θr;θd

[θ2r])F−1H

= F−1H = BCRH.

Nous déduisons don que l'estimateur MVMAP est e a e pour toute estimation linéaire hy-

bride ave un bruit additif gaussien quel que soit le nombre de mesure M ou la puissan e du

bruit σ2. Ce résultat étend, en un ertain sens, l'e a ité du maximum de vraisemblan e pour

les problèmes linéaires [Kay93. Cependant pour les problèmes d'estimation non-linéaire, nous

ne pouvons pas faire le même raisonnement ar il est en général impossible d'obtenir une forme

expli ite de θMVMAP . Par ailleurs, l'évaluation de l'EQM de l'estimateur MVMAP exhibe sou-

vent un phénomène de dé ro hement que la borne de Cramér-Rao est in apable de prédire. Or

la onnaissan e du seuil de dé ro hement est fondamentale pour délimiter la zone de fon tion-

nement optimale des estimateurs. C'est pourquoi nous verrons dans les se tions suivantes, un

ensemble de bornes permettant de prédire e seuil.

2.4 Borne de Barankin hybride

2.4.1 Introdu tion

Dans la littérature, nous séparons les bornes en deux atégories : les bornes de faible erreur

("small-error bounds") et les bornes de large erreur ("large-error bounds"). Cette séparation fait

la distin tion entre les bornes qui exhibent le phénomène de dé ro hement, en l'o uren e les

bornes de large erreur, et elles qui ne le prédisent pas, en l'o uren e les bornes de faible erreur.

Les représentants types de es deux atégories sont respe tivement la borne de Cramér-Rao pour

les bornes de faible erreur et la borne de Barankin pour les bornes de large erreur.

Rappelons nous que l'inégalité de ovarian e (2.1) permet d'obtenir une borne si la matri e C

est indépendante de θ. Pour ela, nous devons restreindre l'appli abilité des bornes à une lasse

d'estimateurs satisfaisant un ertain nombre de ontraintes. Par exemple, la borne de Cramér-

Rao hybride, présenté à la se tion (2.3), né essite que l'estimateur soit lo alement non biaisé (eq.

2.18). Si nous voulons obtenir une borne plus pré ise (dans le sens où elle majore la BCRH), il

nous faut a priori restreindre davantage la lasse d'estimateurs. En eet, Barankin [Bar49 s'est

intéressé, dans le ontexte d'estimation déterministe, à des estimateurs lo alement non biaisés

2.4. BORNE DE BARANKIN HYBRIDE 19

quelles que soient les vraies valeurs des paramètres, 'est-à-dire

Ex;θd

[θd (x)− θd

]= 0, ∀θd ∈ Πd, (2.29)

où Πd est l'espa e de dénition des paramètres θd. Cette ondition est diérente de elle imposée

par la borne de Cramér-Rao qui onsidère un ensemble d'estimateurs ayant un biais nul à une

valeur pré ise de θd. Cependant, la forme générale de la borne de Barankin est la solution d'une

équation intégrale qui n'a pas de solution analytique. Néanmoins des approximations de ette

ontrainte ont été proposées par M Aulay, Seidman and Hofstetter [MS69,MH71, Abe93 puis

étendues par [CGQL08, TT10a, CRL09. Tous es travaux proposent des bornes al ulables en

pratique et dont la pré ision varie selon la qualité d'approximation de la ontrainte (2.29).

Pour ne pas alourdir le manus ript, nous ne présenterons pas les bornes de Barankin détermi-

nistes et ses extensions. Les le teurs intéressés peuvent onsulter les référen es sus-mentionnées.

Nous nous fo alisons uniquement sur la borne Barankin hybride proposée par Reuven et Mes-

ser [RM97 qui sera utile plus tard pour dériver de nouvelles bornes plus pré ises (voir se tion

(2.5) et (2.6)).

2.4.2 Expression générale

Soit θ =[θTd θT

r

]T ∈ Πd×Πr ⊂ RD×R

Run ve teur de paramètres à estimer à partir des ob-

servations x ∈ Ω. Dans e ontexte d'estimation hybride, l'extension "naturelle" de la ontrainte

proposée par Barankin (2.29) est de se restreindre à la lasse d'estimateurs θ satisfaisant :

Ex,θr ;θd

[θ (x)− θ

]= 0, ∀θ ∈ Πd ×Πr. (2.30)

Pour les mêmes raisons qu'en déterministe, ette ontrainte n'aboutit pas à une forme expli ite

de la borne de Barankin hybride. Une version "dis rétisée" de ette ontrainte a été proposée

dans [RM97 en onsidérant que l'estimateur θ est de biais nul au point θ ∈ Πd × Πr et à un

ensemble de points tests θ + hi|θ + hi ∈ Πd ×Πri=1···N où N est le nombre de points test

onsidérés. Par sou i de simpli ité, notons la variable jointe x,θr;θd , x,θ. Les ontraintes

onsidérées sont don

Ex,θ

[θ (x)− θ

]= 0

Ex,θ+hi

[θ (x)− θ

]= hi, i = 1 · · ·N .

(2.31)

Pour obtenir ette borne, la fon tion v (x,θ) = [v1 (x,θ) v2 (x,θ) · · · vN (x,θ)]T est donnée

par : pour tout i = 1 · · ·N

vi (x,θ) =

fx,θ(x,θ+hi)fx,θ(x,θ)

− 1, θ ∈ Θ,

0, sinon,

où Θ est un ensemble déni par

Θ = θ|fx,θ (x,θ) > 0, x ∈ Ω . (2.32)

En appliquant l'inégalité de ovarian e (2.1), nous obtenons

Ex,θ

[(θ (x)− θ

)(θ (x)− θ

)T] CV−1CT


où l'élément (i, j) de la matri e V est déni par

Vij = Ex,θ

[(fx,θ (x,θ + hi)

fx,θ (x,θ)− 1

)(fx,θ

(x,θ + hj

)

fx,θ (x,θ)− 1

)]

= Ex,θ

[fx,θ (x,θ + hi) fx,θ

(x,θ + hj

)

f2x,θ (x,θ)

]− 1, (2.33)

et le iemeve teur olonne de la matri e C est donné par

ci = Ex,θ

[(θ (x)− θ

)(fx,θ (x,θ + hi)

fx,θ (x,θ)− 1

)]

= Ex,θ

[(θ (x)− θ

) fx,θ (x,θ + hi)

fx,θ (x,θ)

]− Ex,θ

[θ (x)− θ

]

= Ex,θ+hi

[θ (x)− θ

]− Ex,θ

[θ (x)− θ

]. (2.34)

D'après les onditions de biais (2.31), nous avons

ci = hi. (2.35)

Remarquons que les ontraintes (2.31) ne sont pas né essaires pour obtenir le résultat (2.35). Un

relâ hement des ontraintes est possible et sera dis uté dans la se tion (2.4.3).

La borne de Barankin hybride ave N points test pour un ensemble de points test θ + hi ∈ Θi=1···Ns'exprime don sous la forme suivante :

BBH (H) = HQ−1HT ,

où H = [h1 h2 · · · hN ] et les éléments (i, j) de la matri e Q sont

Qi,j = Ex,θ

[fx,θ (x,θ + hi) fx,θ

(x,θ + hj

)

f2x,θ (x,θ)

]− 1. (2.36)

Sous réserve d'existen e, la meilleure borne de Barankin ave N points test est donnée par

BBH = maxh1 h2 ··· hN

H (Q)−1HT

. (2.37)

Nous remarquons que la meilleure borne de Barankin ave N points test né essite la maximisation

d'un ritère suivant N ve teurs de même dimension que le ve teur de paramètre θ. Notons que

l'espéran e jointe peut être dé omposée en deux espéran es imbriquées Ex,θ [.] = Eθ

[Ex|θ [.]

].

Ré emment, des expressions analytiques de l'espéran e onditionnelle suivante

η (hi,hj) , Ex|θ

fx|θ (x|θ + hi) fx|θ

(x|θ + hj

)

f2x|θ (x|θ)

,

ont été proposées par [VRBM14, eq. (13) et eq. (15) pour les modèles gaussiens à moyenne

paramétrée ou à ovarian e paramétrée. Ces résultats ont permis de réduire onsidérablement le

oût de al ul de ette borne.

2.4. BORNE DE BARANKIN HYBRIDE 21

2.4.3 Relaxation des ontraintes

En reprenant les al uls du ve teur ci (2.34), il sut de se restreindre à la lasse d'estimateurs

satisfaisant

Ex,θ+hi

[θ (x)− θ

]− Ex,θ

[θ (x)− θ

]= hi. (2.38)

pour obtenir la borne de Barankin (2.37). La ondition susmentionnée (2.38) est bien né essaire

et susante. Nous essayons dans la suite d'interpréter les onséquen es de ette ontrainte sur

θ. Si nous dé omposons l'estimateur hybride en deux parties θ (x) =[θT

d (x) θT

r (x)]T

où θd est

un estimateur de θd et θr est un estimateur de θr alors es deux estimateurs sont soumis aux

ontraintes

Ex,θr+hri;θd+hdi

[θd (x)− (θd + hdi)

]= Ex,θr ;θd

[θd (x)− θd

](2.39)

Ex,θr+hri;θd+hdi

[θr (x)− (θr + hri)

]= Ex,θr ;θd

[θd (x)− θr

](2.40)

ave hi =[hTdi h

Tri

]T. Etudions d'abord la deuxième égalité (2.40). Si nous notons 1Πr (θr) la

fon tion indi atri e qui vaut 1 si θr ∈ Πr et 0 sinon, alors :

Ex,θr+hri;θd+hdi


]

= Eθr+hri;θd+hdi

[Ex|θr+hri;θd+hdi


]]

=

∫

Rr

Ex|θr+hri;θd+hdi


]fθr ;θd

(θr + hri;θd+hdi) 1Πr (θr) dθr

=

∫

Rr

Ex|θ′r;θd+hdi

[θr (x)− θ′

r

]fθr;θd

(θ′r;θd+hdi

)1Πr

(θ′r − hri

)dθ′

r,

en utilisant un hangement de variable θ′r = θr + hri. Si 1Πr (θr) = 1Πr (θr − hri) pour tout

θr ∈ Πr, impliquant que le domaine Πr n'est pas ompa t, alors

Ex,θr+hri;θd+hdi


]= Eθr ;θd+hdi

[Ex|θr ;θd+hdi

[θr (x)− θr

]]

= Ex,θr ;θd+hdi

[θr (x)− θr

]. (2.41)

D'après (2.40) et (2.41), la ondition sous-ja ente que doit vérier θr (x) est

Ex,θr ;θd+hdi

[θr (x)− θr

]= Ex,θr;θd

[θd (x)− θr

], (2.42)

autrement dit Ex,θr ;θd

[θr (x)− θr

]= µr ∈ R

r, ∀θd ∈ Πd. En faisant la même étude pour θd (x),

nous avons

Ex,θr+hri;θd+hdi


]= Ex,θr ;θd+hdi


],

et par l'égalité (2.39), nous obtenons

Ex,θr ;θd+hdi


]= Ex,θr ;θd

[θd (x)− θd

]. (2.43)


Ce qui signie Ex,θr;θd

[θd (x)− θd

]= µd ∈ R

D, ∀θd ∈ Πd. Nous pouvons résumer les onditions

de validité des bornes de Barankin hybrides "usuelles" par trois ontraintes fondamentales :

• (R1) : Ex,θr ;θd

[θ (x)− θ

]= µ ∈ R

D+R, ∀θd ∈ Πd.

• (R2) : hdi ∈ RDtel que θd + hdi ∈ Πd,

• (R3) : hri ∈ RRtel que 1Πr (θr − hri) = 1Πr (θr) , ∀θr ∈ Πr.

Une autre interprétation de la ondition (R3) est donnée par

∀θr ∈ RR, 1Π0

r(θr) =

0 si

∑

hr∈A

(∑

l∈Z1Πr

(θr + lhr)

)= 0,

1, sinon,

. (2.44)

où A et Π0rsont des sous-ensemble de R

R, e qui signie en général que Πr peut être un sous

ensemble dis ret de RRou un sous-ensemble d'intervalles de RR

. Cependant, pour que la borne de

Cramér-Rao hybride existe, hr doit être innitésimal [RM97, III.A, e qui impose que Πr = RR.

Enn, notons que, sous la ontrainte (R3), nous avons Ex,θr ;θd

[fx,θ(x,θ+hi)fx,θ(x,θ)

− 1]= 0, la borne

de Barankin hybride est alors ompressible (dans le sens où on peut réduire le nombre de points

test) en utilisant les fon tions noyaux mentionnées dans [TT09.

2.4.4 Compression par transformation du noyau

L'augmentation du nombre de points test et la re her he pré ise des valeurs optimales de

es points s'avèrent oûteuses en temps de al ul pour la borne de Barankin hybride (eq. 2.37).

Par onséquent, deux stratégies d'optimisation ont été proposées dans la littérature : la première

est de prendre un nombre de points test raisonnables et d'ee tuer le pro essus d'optimisation

pour es points test [CGQL08. La se onde est de prendre beau oup de points test répartis

de manière uniforme sur l'espa e des paramètres puis d'ee tuer une transformation linéaire,

basée sur les parti ularités de la densité de probabilité des observations, qui permet de réduire

le nombre de points tests par élimination de redondan es [TT10a. Cette méthode s'aran hit

de l'étape d'optimisation par le fait que le nombre de points test au départ est onséquent. Le

papier [TT09 montre qu'une transformation linéaire, sous forme dis rète ou intégrale, par des

fon tions noyaux basées sur le rapport de vraisemblan e entré permet de générer une large

famille de bornes de Barankin hybrides lorsque la loi a priori des paramètres aléatoires est

indépendante des paramètres déterministes, 'est à dire fθr;θd= fθr ∀θd ∈ Πd. Nous montrons

i i que es résultats peuvent être étendus au as général où la densité a priori des paramètres

aléatoires peut dépendre des paramètres déterministes pour la lasse d'estimateurs satisfaisant

(R1). Notons dans la suite v (x,θ,h) , v (x,θ,hr,hd) et onsidérons le as simple d'un ve teur

de paramètre hybride omposé d'un seul paramètre déterministe et d'un seul paramètre aléatoire,

'est à dire θ = [θd, θr]T. De e fait, la ontrainte de biais (2.34) devient

(hdihri

)= Ex,θr ;θd

[(θ (x)− θ

)v (x,θ, hri, hdi)

]. (2.45)

Soit α (τ ,h) = α (τ , hr, hd) , τ ∈ Φ ⊂ R, alors sous les onditions (R1)(R2) et (R3), θ vérie :

N∑

i=1

α (τ , hri, hdi)

(hdihri

)= Ex,θr ;θd

[(θ (x)− θ

) N∑

i=1

α (τ , hri, hdi) v (x,θ, hri, hdi)

]. (2.46)

2.5. BORNE DE BARANKIN-WEISS-WEINSTEIN HYBRIDE 23

Si de plus la fon tion α (τ ,h) est intégrable par rapport à h sur Λθ , h|θ + h ∈ Πd ×Πr,∀τ ∈Φ, alors l'équation (2.46) est, à une onstante de normalisation près, une approximation numé-

rique de l'équation intégrale suivante :

∫

Λθ

α (τ ,h)hdh = Ex,θr|θd

[(θ (x)− θ

) ∫

Λθ

α (τ ,h) v (x,θ,h) dh

], (2.47)

ave l'élément diérentiel dh = dhrdhd. Soit

ηα (x,θ, τ) =

∫

Λθ

α (τ ,h) v (x,θ,h) dh (2.48)

et

Γα (τ) =

∫

Λθ

α (τ ,h)hdh, (2.49)

alors sous la ontrainte (2.47), les matri es V (2.33) et C (2.35) deviennent

V = Ex,θr ;θd

[ηα (x,θ, τ )

2]=

∫

Λ2θ

α (τ ,h)K(h,h′)α

(τ ,h′) dhdh′

(2.50)

et

C = Γα (τ) , (2.51)

où K (h,h′) = Ex,θr ;θd

[v (x,θ,h) vT (x,θ,h′)

], e qui orrespond à [TT09, eq (18) et (19) dans

le as d'une unique fon tion α (, ). Par onséquent, la borne de Barankin hybride est ompressible

par transformation du noyau ηα (x,θ, τ ).

2.5 Borne de Barankin-Weiss-Weinstein hybride

Parmi toutes les bornes bayésiennes [RFL

+08,TT10b, la borne de Weiss-Weinstein [WW88

est onnue pour être l'une des bornes les plus pré ises. Cependant, nous ne pouvons pas obtenir

ette borne dans le ontexte hybride ar il n'existe pas de borne de Weiss-Weinstein déterministe

dans le as général. En eet, l'obtention de ette dernière aboutisse à des ontraintes sur les

estimateurs qui sont di ilement interprétables [Rendf, CRL10. L'idée prin ipale est don de

ombiner de manière astu ieuse la BBH et la borne de Weiss-Weinstein pour s'aran hir de ette

problématique. A l'aide de l'inégalité de ovarian e, nous présentons i i une nouvelle famille de

bornes ombinant une généralisation de la BBH introduite dans [TT09 et la borne de Weiss-

Weinstein.

2.5.1 Combinaison de la borne de Barankin et de la borne de Weiss-Weinstein

Soit θ =[θTd θT

r

]T ∈ Πd×Πr ⊂ RD+R

un ve teur de paramètres à estimer à partir des obser-

vations x ∈ Ω. Soient θ (x) un estimateur de θ et hii=1···N un ensemble de points tests tels que

les relations (R1), (R2) et (R3) sont vériées. Pour obtenir la borne de Barankin Weiss-Weinstein

hybride (BBWWH), nous séparons le ve teur v (x,θ) en deux parties de tailles respe tives I ≥ 1et J ≥ 1, I + J = N où

vi (x,θ) =

fx,θ(x,θ+hi)fx,θ(x,θ)

− 1, θ ∈ Θ,

0, sinon,, 1 ≤ i ≤ I (2.52)


et

vI+j (x,θ) =

fmjx,θ(x,θ+hI+j)

fmjx,θ

(x,θ)− f

1−mjx,θ (x,θ−hI+j)

f1−mjx,θ (x,θ)

, θ ∈ Θ,

0, sinon,

, 1 ≤ j ≤ J (2.53)

où vn (x,θ) désigne le n

iemeélément du ve teur v (x,θ), Θ est déni par (2.32) et les puis-

san es mjj=1···J sont stri tement omprises

2

entre 0 et 1. Si nous restreignons les D premières

omposantes des ve teurs hI+j, j = 1 · · · J à zéro, 'est-à-dire hI+j =[0T hT

r(I+j)

]T, alors la

nouvelle borne hybride notée BBWWH est obtenue en appliquant l'inégalité de ovarian e (2.1).

Son expression est donnée par

BBWWH = suph1,··· ,hI∈Λθ

hI+1,··· ,hN∈∆θ

0<mI+1,··· ,mN<1

CV−1CT

, (2.54)

où Λθ = h|θ + h ∈ Πd ×Πr et ∆θ =h =

[hTd hT

r

]T |hd = 0 et θr + hr ∈ Πr

et

C = [h1 · · ·hI µ (mI+1,hI+1)hI+1 · · ·µ (mN ,hN )hN ] , (2.55)

ave

µ (m,h) = Ex,θr |θd

[fm (x,θ + h)

fm (x,θ)

]. (2.56)

L'obtention de la matri e C est détaillée en annexe A.1. Et les éléments de la matri e V sont

données par

∀ (i, i′) ∈ [|1, I|]2 ,Vi,i′ = Qi,j déni par l'équation (2.36) (2.57)

∀ (i, j) ∈ [|1; I|]× [|I + 1, N |] ,

Vi,j = ξ (1,mj ,hi,hj)− ξ (1, 1 −mj,hi,−hj)− µ (mj,hj) + µ (1−mj,−hj) ,

Vj,i = Vi,j . (2.58)

∀ (j, j′) ∈ [|I + 1, N |]2 ,

Vj,j′ = ξ(mj,mj′ ,hj ,hj′

)− ξ

(1−mj,mj′ ,−hj ,hj′

)

−ξ(mj , 1−mj′,hj ,−hj′

)+ ξ

(1−mj, 1−mj′ ,−hj,−hj′

). (2.59)

ave

ξ (k, l,ha,hb) = Ex,θ

[fkx,θ (x,θ + ha) f

lx,θ (x,θ + hb)

fk+lx,θ (x,θ)

]. (2.60)

Notons que l'obtention d'une expression analytique de la BBWWH né essite uniquement la

formulation analytique de ξ (k, l,ha,hb) puisque µ (m,h) = ξ (m, 0,h,0). Nous verrons dans lase tion suivante (2.5.2) qu'il est possible de simplier l'expression (2.60) dans le as gaussien à

moyenne paramétrée. Par ailleurs, la BBWWH (2.54) permet de déterminer une nouvelle famille

de bornes basée sur la même transformation linéaire (dis rète ou intégrale) que pour la borne de

2. En pratique, la valeur optimale de mj , qui permet d'obtenir la BBWWH la plus pré ise, est souvent égale

à

12.


Barankin hybride (voir la se tion 2.4.4). De plus, nous pouvons retrouver ertaines bornes de la

littérature en jouant sur le nombre des points test I et J à savoir :

• Si I > 0, J = 0, θ = θd, nous retrouvons toutes les approximation de la borne de Barankin

déterministe [TT10a,CGQL08,CRL09

• Si I > 0, J = 0, θ =[θTd θT

r

]T, nous avons les bornes de Barankin hybrides omprimées par

une transformation du noyau [TT09,

• Si I > 0, J > 0, θ = θr, nous retrouvons toute la famille de bornes de Weiss-Weinstein

bayésiennes [TT10b, (38),

• Si I > 0, J > 0, θ =[θTd θT

r

]T, nous obtenons l'extension de la famille de bornes de Weiss-

Weinstein [TT10b, (38) aux as d'estimation hybride pour une lasse d'estimateurs hybrides

vériant (R1) (R2) et (R3) quel que soit le lien statistique entre les paramètres déterministes et

bayésiens.

2.5.2 Modèle d'observation gaussien à moyenne paramétrée

Bien que l'évaluation numérique des bornes est moins lourde que elle de l'EQM des esti-

mateurs, ela peut prendre du temps si nous ne réussissons pas simplier les espéran es (2.60).

Les expressions analytiques de Slepian-Bangs [Sle54, Ban71 ont grandement simplié la borne

de Cramér-Rao. C'est pourquoi, nous proposons une analyse des expressions analytiques de la

BBWWH dans le as général du modèle d'observation gaussien à moyenne paramétrée :

x = m (θ) + b, (2.61)

où x ∈ CP, θ =

[θTd θT

r

]Test le ve teur de paramètre à estimer omposé de θd ∈ R

Dun ve teur

de paramètres déterministes et θr ∈ RRun ve teur de paramètres aléatoires de densité de proba-

bilité a priori onnue. La fon tion omplexe m (.) est déni sur RD+Ret est à valeur dans C

P. Le

ve teur b est un bruit aléatoire gaussien omplexe ir ulaire entrée et de matri e de ovarian e

σ2P I que l'on note b ∼ CN(0,σ2P I

). Les données observées sont également aléatoires de densité

de probabilité onditionnelle x|θ ∼ CN(m (θ) , σ2P I

). Ce modèle d'observation est largement

utilisé dans une pléthore de problèmes d'estimation en traitement du signal tel que : l'analyse

spe trale [SM05, le traitement d'antenne [Van02, les ommuni ations numériques [PS08, et .

L'obje tif de ette se tion est don d'analyser les onditions requises pour obtenir une expression

analytique des matri es V et C. Pour ela, une ondition susante est de trouver une expression

analytique de ξ (k, l,ha,hb) dont la forme générale est donnée par (2.60). Si né essaire, nous

dé omposons de la manière suivante ha =[hTda hT

ra

]Tet hb =

[hTdb h

Trb

]Toù les ve teurs hda

et hdb sont des points test pour les paramètres déterministes et hra et hrb sont les points test

pour les paramètres aléatoires. Pour simplier les expressions, notons les variables θ , θd;θr et

x|θ , x|θr;θd. Nous pouvons exprimer ξ (k, l,ha,hb) par la relation suivante

ξ (k, l,ha,hb) = Eθ

[A (θ,ha,hb)

fkθ (θ + ha) flθ (θ + hb)

fk+lθ (θ)

], (2.62)

ave

A (θ,ha,hb) = Ex|θ

[fkx|θ (x|θ + ha) f

lx|θ (x|θ + hb)

fk+lx|θ (x|θ)

]. (2.63)

Nous allons al uler ξ (k, l,ha,hb) en deux étapes : la première étape est de déterminer une

expression analytique de A (θ,ha,hb) pour le modèle d'observation gaussien. La se onde étape

onsiste à analyser les s énarios pour lesquels ξ (k, l,ha,hb) possède une forme analytique.


2.5.2.1 Analyse de ξ (k, l,ha,hb)

D'après les résultats de [VRBM14, (15), l'expression de A (θ,ha,hb) vérie

σ2n lnA (θ,ha,hb) = ‖km (θ + ha) + lm (θ + hb)− (k + l − 1)m (θ)‖2 (2.64)

−k ‖m (θ + ha)‖2 − l ‖m (θ + hb)‖2 + (k + l − 1) ‖m (θ)‖2 .

Nous remarquons que A (θ,ha,hb) dépend en général de θ onduisant à une expression de

Eθ

[A (θ,ha,hb)

fk(θ+ha)fl(θ+hb)

fk+l(θ)

]di ile à simplier analytiquement. Cependant, siA (θ,ha,hb)

est indépendante de θr, un as largement ren ontré en traitement du signal ( [VB07 et [VRBM14),

une forme analytique de ξ (k, l,ha,hb) est obtenue lorsque la loi a priori est gaussienne de type

N(θr0, σ

2θrI). Dans e as, nous avons A (θ,ha,hb) indépendante de θr, 'est-à-dire A (θ,ha,hb) =

A (θd,ha,hb) ∀θd ∈ Πd, et l'expression de ξ (k, l,ha,hb) est alors donnée par

ξ (k, l,ha,hb) = A (θd,ha,hb) e− 1

2σ2θr

[k‖har‖2+l‖hbr‖2−‖khar+lhbr‖2]. (2.65)

2.5.2.2 Indépendan e de A (θ,ha,hb) par rapport à θr

Notons qu'une ondition susante pour obtenir A (θ,ha,hb) indépendant de θr est la sui-

vante : si ∀h, ∃P une matri e arrée et q un ve teur tel que :

m (θ + h) = P (θr)q (θd,h) et PH (θr)P (θr) = S, (2.66)

où S est une matri e arrée indépendant de θr, alors

• ‖m (θ + h)‖2 = qH (θd,h)Sq (θd,h), ne dépend pas de θr, ∀h,• ‖km (θ + ha) + lm (θ + hb)− (k + l − 1)m (θ)‖2 ne dépend pas de θr, ∀k, l,ha,hb.

En eet, à l'aide de l'hypothèse (2.66), A (θd,ha,hb) vérie la relation suivante :

σ2n lnA (θd,ha,hb) = k (k − 1)qH (θd,ha)Sq (θd,ha) + l (l − 1)qH (θd,hb)Sq (θd,hb)

+ (k + l) (k + l − 1)qH (θd,0)Sq (θd,0) + 2klRe(qH (θd,hb)Sq (θd,ha)

)

−2 (k + l − 1)Re((kqH (θd,ha) + lqH (θd,hb)

)Sq (θd,0)

).

2.5.3 Appli ation et simulation

2.5.3.1 Analyse spe trale

Nous onsidérons i i le problème d'estimation de fréquen e abordé dans [TT09. Il s'agit d'un

problème de référen e dans l'étude du phénomène de dé ro hement. Le modèle d'observation est

le suivant :

x = sejϕc (ω) + b, (2.67)

où x ∈ CPest le ve teur d'observation, c (ω) =

[1 ejω · · · ej(P−1)ω

]Test une isoïde normalisée

et le ve teur bruit b est supposé aléatoire gaussien omplexe ir ulaire entré et de matri e

de ovarian e σ2nI. La phase ϕ ∈ ]−π;π] et l'amplitude s ∈ R+sont des paramètres supposés

in onnus déterministes et la pulsation normalisée ω est un paramètre in onnu aléatoire de densité

de probabilité a priori gaussienne entrée de matri e de ovarian e σ2ω. Par onséquent le ve teurde paramètres à estimer est θ = [s ϕ ω]T . Pour évaluer la nouvelle borne BBWWH, il sut

d'obtenir une expression analytique de ξ (k, l,ha,hb) donnée par la relation (2.60). Puisque les


observations sont distribuées suivant une loi gaussienne, il sut de reprendre le modèle donné

dans la se tion (2.5.2) et de poser m (θ) = sejϕc (ω). En eet, notons que pour tout h =[hs hϕ hω]

T,

m (θ + h) = Diag (c (ω)) (s+ hs) ej(ϕ+hϕ)c (hω) , (2.68)

satisfait la ondition (2.66) où Diag (c (ω)) est une matri e arrée dont les éléments diago-

naux sont les éléments du ve teur c (ω) et les autres éléments sont nuls. Par onséquent, nous

pouvons appliquer la relation (2.64) et nous obtenons pour tout ha = [has haϕ haω]Tet hb =

[hbs hbϕ hbω]T

A (θd,ha,hb) = e1

σ2nP(k(k−1)(s+has)

2+l(l−1)(s+hbs)2+(k+l)(k+l−1)s2)

× e2

σ2n[kl(s+has)(s+hbs)T(haω−hbω,haϕ−hbϕ)−(k+l−1)s(k(s+has)T (haω ,haϕ)+l(s+hbs)T(hbω ,hbϕ))]

,

ave T (hω, hϕ) = cos((P−1)

2 hω + hϕ

)sin(P

2hω)

sin(hω2 )

.

Finalement, l'expression ξ (k, l,ha,hb) est donnée par :

ξ (k, l,ha,hb) = A (θd,ha,hb) e1

2σ2ω[k(k−1)h2

aω+l(l−1)h2bω+2klhaωhbω]

. (2.69)

En onséquen e, une expression analytique de la BBWWH est obtenue en substituant (2.69)

dans l'expression (2.54).

2.5.3.2 Simulation

Nous allons omparer numériquement la BBWWH ave la BCRH, la BBH, la CCLRB et

l'EQM du MVMAP. Les onditions de simulations sont les suivantes : s = 1, ϕ = π4 , σ

2ω = 1

2et N = 25. Les expressions de la BCRH, la BBH, la CCLRB sont données dans [TT09, se tion

5. La BBH et la BBWWH, sont al ulées numériquement en maximisant les points tests h1 ∈[−1; 1] × 0 × 0, h2 ∈ 0 × ]−π;π] × 0 et h3 ∈ 0 × 0 × ]−π;π] sur leur ensemble de

dénition respe tif ave un pas de dis rétisation de δhs = 0.01 pour la première omposante,

de δhϕ = 2π28

pour la se onde omposante et de δhω = π28

pour la dernière omposante. La

CCLRB est obtenue numériquement ave 210 points tests hoisis suivant la même onguration

proposée par [TT09. Finalement, l'estimateur MVMAP onsiste à her her les valeurs optimales

de s ∈ [0; 2], ϕ ∈ ]−π;π] et ω ∈ ]−π;π] qui maximisent la densité de probabilité jointe

fx,ω|s,ϕ (x, ω|s, ϕ) =e− 1

σ2n‖x−sejϕb(ω)‖2− ω2

2σ2ω

(πσ2n)P√

2πσ2ω, (2.70)

'est à dire

θMVMAP = argmaxs,ϕ,ω

fx,ω|s,ϕ (x, ω|s, ϕ) . (2.71)

L'EQM empirique de et estimateur est obtenue ave 1000 tirages de Monte-Carlo.

Nous superposons sur la gure (2.1) la BCRH, la BBH, la CCRLB, la BBWWH et l'EQM

empirique du MVMAP pour l'estimation du paramètre aléatoire ω seulement ar il est onnu

qu'un phénomène de dé ro hement apparaît pour l'estimation de e paramètre. Nous remarquons

d'après ette gure que toutes les bornes prédisent bien le omportement asymptotique à fort

RSB. Cependant la BBWWH proposée est plus e a e à prédire le seuil de dé ro hement par

rapport aux bornes existantes.


−20 −15 −10 −5 0 510

−5

10−4

10−3

10−2

10−1

100

RSB [dB]

EQ

M

MVMAPBCRHBBHCCLRBBBWWH

Figure 2.1 Comparaison des bornes hybrides et de l'EQM du MVMAP en fon tion du RSB.

2.6 Borne de Barankin-Ziv-Zakaï hybride

A travers l'obtention de la borne de Barankin hybride [RM97 et la borne de Barankin Weiss-

Weinstein hybride [RGC

+13, nous avons illustré le prin ipe d'une ombinaison astu ieuse des

bornes déterministes et bayésiennes. Dans le ontexte des bornes bayésiennes (estimation de

paramètres aléatoires seulement), deux grandes familles de bornes sont onnues pour la qualité

de leur prédi tion de l'EQM optimale, à savoir l'EQM de l'estimateur moyenne a posteriori : la

famille de bornes de Weiss-Weinstein et la famille de bornes de Ziv-Zakaï. La première famille

est basée sur l'inégalité de ovarian e onduisant à une extension naturelle de es bornes dans le

ontexte hybride [RGC

+13 (se tion pré edente). La se onde famille [ZZ69,CZZ75,BSEV97 est

basée sur un problème de test d'hypothèses qui n'est pas extensible, à notre onnaissan e, aux as

d'estimation hybride. En eet, la omparaison entre es deux familles de bornes est souvent faite

par des simulations et il n'existe pas de relation générale entre es deux familles sauf pour une

forme parti ulière de la borne de Ziv-Zakaï, mentionnée dans [Bel95, hap 4, qui est obtenable

à la fois par l'inégalité de ovarian e et par l'inégalité de Kotelnikov [Kot59 (la base des bornes

de Ziv-Zakaï). Cette relation nous servira à établir une borne hybride de type Ziv-Zakaï.

2.6. BORNE DE BARANKIN-ZIV-ZAKAÏ HYBRIDE 29

2.6.1 La famille de bornes de Ziv-Zakaï

Soient x ∈ Ω les observations, θ ∈ R le paramètre à estimer et θ (x) un estimateur de θ de

loi a priori fθ. On a l'égalité suivante :

Ex,θ

[(θ − θ

)2]=

∫ ∞

0

∆

2Pr

(∣∣∣θ − θ∣∣∣ ≥ ∆

2

)d∆, (2.72)

où Pr(∣∣∣θ − θ

∣∣∣ ≥ ∆2

)désigne la probabilité que l'erreur absolue soit supérieure à

∆2 . L'idée est

de minorer la quantité Pr(∣∣∣θ − θ

∣∣∣ ≥ ∆2

)pour obtenir une borne. En utilisant l'inégalité de

Koteknikov [Kot59, l'EQM est bornée par

Ex,θ

[(θ − θ

)2]≥∫ ∞

0

∆

2

∫ +∞

−∞(f (θ) + f (θ +∆))Pmin (θ, θ +∆) dθd∆ (2.73)

où Pmin (θ, θ +∆) est la probabilité d'erreur minimale pour un problème de déte tion binaire

suivant : H0 : θ; Pr (H0) =

f(θ)f(θ)+f(θ+∆) ;x ∼ f (x| θ)

H1 : θ +∆;Pr (H1) =f(θ+∆)

f(θ)+f(θ+∆) ;x ∼ f (x| θ +∆).

Le membre de droite de (2.73) est la borne de Bellini-Tartara étendue [BT74,BESV. Cependant

elle présente un oût de al ul élevé à ause de l'intégrale par rapport à ∆ et à l'évaluation de

Pmin. Il existe des méthodes d'en adrement de Pmin qui sont exposés dans la thèse de Kristine

Bell [Bel95. Pour s'aran hir de la double intégrale, elle a proposée une version simpliée moins

oûteuse en temps de al ul

Ex,θ

[(θ − θ

)2]≥ max

∆

∆2

2

∫ +∞

−∞(f (θ) + f (θ +∆))Pmin (θ, θ +∆) dθ. (2.74)

Bien que ette dernière (2.74) soit moins pré ise que la borne (2.73), elle est néanmoins uniable

par l'inégalité de ovarian e dans le as s alaire

Ex,θ

[(θ − θ

)2]≥

E2x,θ

[(θ − θ

)v (x,θ)

]

Ex,θ [v2 (x,θ)], (2.75)

ave le hoix de v (x,θ) déni par

v (x,θ) = min∆

(1,f (x,θ +∆)

f (x,θ)

)−min

∆

(1,f (x,θ −∆)

f (x,θ)

). (2.76)

La démonstration de ette relation est exposée dans [Bel95, hapitre 4. Notre but est don

étendre ette borne dans le ontexte de l'estimation hybride.

2.6.2 La borne proposée

Soit x ∈ Ω un point d'observation et soit θ = [θd θr]Tun ve teur de paramètres hybrides

omposé d'un paramètre déterministe et d'un paramètre aléatoire de densité de probabilité jointe

f (x,θ) = f (x, θr; θd). Soit un estimateur θ =[θd θr

]T, et des points tests [hd hr] tels que


θd + hd ∈ Πd et θr + hr ∈ Πr satisfaisant les hypothèses (R1), (R2) et (R3) mentionnées à la

se tion (2.4.3). De même que pour la BBWWH, nous séparons en deux le ve teur v = [vd vr]T

où

vd =

f(x,θ+h1)

f(x,θ) − 1 si θ ∈ Θ

0 sinon

(2.77)

et

vr =

minh2

(f(x,θ+h2)

f(x,θ) , 1)−min

h2

(f(x,θ−h2)

f(x,θ) , 1)

si θ ∈ Θ

0 sinon

, (2.78)

pour tout h1 = [h1d h1r]Tet h2 = [0 h2r]

T. Alors en appliquant l'inégalité de ovarian e (2.1),

nous obtenons la borne suivante

Ex,θ

[(θ − θ

)(θ − θ

)T] CV−1CT , (2.79)

où la matri e C est donnée par (voir le détail des al uls en annexe A.2)

C =

(h1d 0h1r h2rα (0,h2)

), (2.80)

et les éléments de la matri e V s'expriment de la manière suivante :

V1,1 = µ (h1)− 1, (2.81)

V2,2 = β (h2,h2) + β (−h2,−h2)− 2β (h2,−h2) , (2.82)

V1,2 = V2,1 = α (h1,h2)− α (h1,−h2) . (2.83)

Les fon tions µ (.), α (., .) et β (., .) sont dénies par

µ (h) = Ex,θ

[f2 (x,θ + h)

f2 (x,θ)

], (2.84)

α (h1,h2) = Ex,θ

[f (x,θ + h1)

f (x,θ)min

(f (x,θ + h2)

f (x,θ), 1

)](2.85)

et

β (h1,h2) = Ex,θ

[min

(f (x,θ + h1)

f (x,θ), 1

)min

(f (x,θ + h2)

f (x,θ), 1

)]. (2.86)

Nous remarquons que si θ = θr ( 'est-à-dire lorsque θd est onnue), alors nous retrouvons la

borne donnée par l'expression (2.74).

2.6.3 Expression analytique pour le modèle gaussien à moyenne paramétrée

Considérons le modèle d'observation suivant :

x = m (θd, θr) + b, (2.87)

où x ∈ CN

est un ve teur de taille N , m (., .) est une fon tion dénie sur R2à valeur dans

CN

modélisant le pro essus de mesure et b est le bruit de mesure supposé aléatoire de densité

de probabilité gaussienne omplexe ir ulaire entrée et de matri e de ovarian e σ2bIN . Nous


faisons l'hypothèse que la densité de probabilité a priori de θr est également gaussienne entrée

de varian e σ2θr et indépendante du bruit b.

En pratique, la di ulté majeure pour programmer ette borne est l'évaluation des expres-

sions de α (., .) (2.85) et β (., .) (2.86). Con ernant µ (.) (2.84), il s'agit d'une expression largement

étudiée dans [RFL

+08 qui est donnée par :

µ (h) = Eθr

(e

2

σ2b

‖m(θ+h)−m(θ)‖2). (2.88)

Nous allons d'abord étudier β (., .) ar son expression dé oule dire tement d'un résultat publié

ré emment [Org12.

2.6.3.1 Expression de β (., .)

Pour tout δ1 = [0 δ1]Tet δ2 = [0 δ2]

Tave δ1 6= δ2 ∈ R, β (δ1, δ2) est similaire à l'expression

(2) de [Org12, donnée par

β (δ1, δ2) = Eθr

(Iβ1

+ Iβ2+ Iβ3

+ Iβ4

), (2.89)

ave

Iβ1= F

N(0,

σ2b2Γ

)(−σ

2bb (δ1)

2,−σ

2bb (δ2)

2

), (2.90)

Iβ2= e

− δ22+2θrδ2

2σ2θr F

N(mβ2

,σ2b2Γ′

)(−σ

2bb (δ1)

2,σ2bb (δ2)

2

), (2.91)

Iβ3= e

− δ21+2θrδ1

2σ2θr F

N(mβ3

,σ2b2Γ′

)(σ2bb (δ1)

2,−σ

2bb (δ2)

2

), (2.92)

et

Iβ4= e

2Re(dH (δ1)d(δ2))σ2b

− δ21+δ22+2θr(δ1+δ2)

2σ2θr F

N(mβ4

,σ2b2Γ

)(σ2nb (δ1)

2,σ2nb (δ2)

2

).

où FN (m,Σ) (a) est la fon tion de répartition d'un ve teur gaussien de moyenne m et de matri e

de ovarian e Σ évaluée au point a et

d (δ1) = g (θd, θr + δ1)− g (θd, θr) , (2.93)

b (δ1) =1

σ2b‖d (δ1)‖2 +

δ21 + 2θrδ12σ2θr

, (2.94)

mβ2=

(−Re

(dH (δ1)d (δ2)

)‖d (δ2)‖2

)T, (2.95)

mβ3=

(‖d (δ1)‖2 − Re

(dH (δ1)d (δ2)

))T, (2.96)

mβ4=

(‖d (δ1)‖2 +Re

(dH (δ1)d (δ2)

)

‖d (δ2)‖2 +Re(dH (δ1)d (δ2)

)), (2.97)

Γ =

(‖d (δ1)‖2 Re

(dH (δ1)d (δ2)

)

Re(dH (δ1)d (δ2)

)‖d (δ2)‖2

), (2.98)

Γ′ =

(‖d (δ1)‖2 −Re

(dH (δ1)d (δ2)

)

−Re(dH (δ1)d (δ2)

)‖d (δ2)‖2

). (2.99)


Notons que si δ1 = δ2 alors les matri es Γ et Γ′devient singulières ar une des valeurs propres de

Γ et de Γ′est nulle. Néanmoins, il existe bien une expression analytique de ette limite [Org12

Iβ1= F

N(0,

σ2b‖d(δ1)‖

2

2

)(−σ

2nb (δ1)

2

), (2.100)

Iβ2= Iβ3

= 0, (2.101)

et Iβ4= e

2‖d(δ1)‖2

σ2b

− δ21+2θrδ1

σ2θr F

N(2‖d(δ1)‖2,

σ2b‖d(δ1)‖

2

2

)(σ2bb (δ1)

2

). (2.102)

2.6.3.2 Expression de α (., .)

An d'obtenir une forme de α (., .), on peut séparer le domaine d'intégration en deux parties

dans lesquelles l'opérateur min peut être substitué par

f(x,θ+h2)f(x,θ) ou 1. Nous allons don séparer

α (h1,h2) en la somme de deux termes, pour tout h1 = [h1d h1r]Tet h2 = [0 h2r]

Tnous avons :

α (h1,h2) = Eθr (Iα1 + Iα2) (2.103)

ave

Iα1 =

∫

V1

f (x,θ + h1)

f (x,θ)f (x| θ) dx, (2.104)

et

Iα2 =

∫

V2

f (x,θ + h1) f (x,θ + h2)

f2 (x,θ)f (x| θ) dx, (2.105)

où les domaines V1 et V2 sont dénis de la manière suivante

V1 = x ∈ Ω| f (x,θ + h2)

f (x,θ)≥ 1, (2.106)

et

V2 = x ∈ Ω| f (x,θ + h2)

f (x,θ)< 1. (2.107)

En suivant le même pro essus de al ul proposé par [Org12, nous obtenons les expression sui-

vantes :

Iα1 = e−h21r+2θrh1r

2σ2θr F

N(mα1 ,

σ2n‖d(h2r)‖

2

2

)(−σ

2bb (h2r)

2

)(2.108)

et

Iα2 = e

2 Re(dH (h1d,h1r)d(h2r))σ2b

−h21r+h22r+2θr(h1r+h2r)

2σ2θr F

N(mα2 ,

σ2n‖d(h2r)‖

2

2

)(σ2bb (h2r)

2

),

ave

mα1 = −Re(dH (h1d, h1r)d (h2r)

), (2.109)

mα2 = Re(dH (h1d, h1r)d (h2r)

)+ ‖d (h2r)‖2 , (2.110)

et

d (h1d, h1r) = g (θd + h1d, θr + h1r)− g (θd, θr) . (2.111)


2.6.4 Simulation

Pour omparer la borne de Barankin Ziv-Zakai hybride (BBZZH) aux autres bornes, nous

allons onsidérer le même modèle d'observation (2.67) que elui proposé dans la se tion pré é-

dente. Cependant, nous avons proposé une version s alaire de la BBZZH. Nous allons supposer

que la phase est onnue. Le modèle s'é rit don m (θd, θr) = θdc (θr) où θd est l'amplitude du

signal et c (θr) =[1 ejθr ej2θr · · · ej(N−1)θr

]est une isoïde normalisée de fréquen e angulaire

θr. Les ongurations de simulation sont les suivantes N = 32, θd = 1 and σ2θr = 12 . A l'aide

des formules de Slepian-Bangs [Sle54 [Ban71, la borne de Cramér-Rao hybride est une matri e

diagonale 2× 2 donnée par

BCRH =

σ2b

2N 0

0

(2θ2dσ2b

(N(N+1)(2N+1)

6 −N2)+ 1

σ2θr

)−1

.

La BBH, la BBWWH et la BBZZH proposée i i sont programmées ave deux points test

h1 ∈ [−1; 1] × 0 et h2 ∈ 0 ×[−3

2 ;32

]. Etant donné que es trois bornes sont obtenues

par maximisation des points test sur leur intervalle respe tif, nous hoisissons δh1d = 0.01 le pas

de dis rétisation pour l'intervalle de re her he de h1 et δh2r = 328

elui de h2. Enn, l'estima-

teur MVMAP onsiste à obtenir le meilleur andidat θd ∈ [0; 2] et θr ∈[−3

2 ;32

]qui maximise

la densité de probabilité jointe fx,θr ;θd (x, θr; θd). L'EQM empirique du MVMAP est obtenue à

l'aide de 1000 tirages de Monte-Carlo. Nous illustrons sur la gure (2.2), la BCRH, la BBH, la

BBWWH, la BBZZH et l'EQM empirique du MVMAP pour l'estimation du paramètre aléatoire

θr. Etant donné que le problème d'estimation est non-linéaire par rapport à θr, un phénomène

de dé ro hement est attendu pour l'EQM du MVMAP. D'après la gure (2.2), nous remarquons

que la borne de Ziv-Zakaï hybride est aussi pré ise que la BBWWH pour la prédi tion du seuil

de dé ro hement. Une telle omparaison n'avait été faite que dans le as bayésien (voir [BEV96

et [VRBM14).


−60 −50 −40 −30 −20 −10 0 10 2010

−7

10−6

10−5

10−4

10−3

10−2

10−1

100

SNR [dB]

MS

E [(

rad/

s)2 ]

BCRHBBHEQM MVMAPBBWWHBBZZH

Figure 2.2 Comparaison de la borne de Barankin Ziv-Zakaï hybride aux bornes de la famille

de Weiss-Weinstein hybride et à l'EQM du MVMAP

Chapitre 3

Bornes de Cramér-Rao non standards

3.1 Borne de Cramér-Rao hybride sous ontraintes

Comme mentionné dans le papier de Gorman et Hero [GO90, la borne de Cramér-Rao déter-

ministe a été établie sous l'hypothèse impli ite que l'espa e des paramètres déterministes est un

sous-ensemble d'ouvert de RD. Cependant, dans plusieurs appli ations, es paramètres peuvent

être ontraints à appartenir dans un sous-ensemble de RD. C'est pourquoi, des travaux (par

exemple [SN98,MCLB12) ont été entrepris pour étendre les résultats présentés dans [GO90.

Ces bornes de Cramér-Rao "sous ontraintes", qui prennent en ompte des ontraintes de type

égalité entre paramètres, se sont révélées plus pertinentes pour l'étude des problèmes susmen-

tionnés. Le but de ette se tion est don de proposer une borne de Cramér-Rao hybride qui prend

en ompte de possibles ontraintes de type égalité entre les paramètres non-aléatoires.

3.1.1 Contexte de l'étude et notations

Nous restons dans le ontexte de l'estimation hybride du hapitre pré édent. Pour mémoire,

nous onsidérons un ve teur d'observation x ∈ Ω. θd ∈ Πd ⊆ RD

désigne un ve teur de para-

mètres in onnus et non-aléatoires et θr ∈ Πr ⊆ RRest un ve teur de paramètres in onnus et

aléatoires de densité de probabilité a priori fθr ;θd onnue. Notons θ =

[θTd θT

r

]Tle ve teur de

paramètres omplets de dimension D + R et fx,θ , fx,θr;θdla densité jointe des observations x

et des paramètres aléatoires θr éventuellement paramétrée par θd. La diéren e entre le ontexte

d'estimation hybride lassique et e ontexte d'étude est que les paramètres non-aléatoires θd

sont ontraints dans un sous espa e C non vide de Πd déni par K < D égalités non redondantes :

C = θd ∈ Πd|c (θd) = 0 , (3.1)

où c (θd) est un ve teur omposé de K fon tions dérivables sur Πd. Notons C (θd) une matri e

K × (D +R) dénie par

C (θd) =dc (θd)

dθT=

[dc (θd)

dθTd

dc (θd)

dθTr

]= [Cd (θd) 0] , (3.2)

où Cd (θd) est une matri e de dimension K×D. Puisque les ontraintes ne sont pas redondantes,

le rang de la matri eCd (θd) estK pour tout θd ∈ C. Par onséquent, il existe une matri eUd (θd)de dimension K × (D −K) telle que

Cd (θd)Ud (θd) = 0 et UTd (θd)Ud (θd) = ID−K , (3.3)

35

36 CHAPITRE 3. BORNES DE CRAMÉR-RAO NON STANDARDS

où ID−K est une matri e identité de dimension D −K. Par ailleurs, si les équations (3.3) sont

vériées, alors la matri e étendue U (θd) =

[Ud (θd) 0

0 IR

]satisfait les relations suivantes

C (θd)U (θd) = 0 et UT (θd)U (θd) = ID+R−K . (3.4)

Notons que les ve teurs olonnes de Ud (θd) forment une base du noyau de Cd (θd) et que les

ve teurs olonnes de U (θd) forment une base du noyau de C (θd). Si nous avions voulu imposer

des ontraintes sur les paramètres aléatoires, 'est-à-dire c (θd,θr) = 0, alors la matri e U

dépendrait de θr onduisant à une expression qui n'est pas une borne puisqu'elle dépend des

estimées de θr (voir se tion 3.1.2 pour les détails). Il faudrait dans e as utiliser des te hniques

de type Monte-Carlo ( oûteuses) pour évaluer la borne.

3.1.2 Borne proposée

Soit θ (x) un estimateur de θ. Les onditions d'appli abilité de notre borne né essitent que

l'estimateur soit non-biaisé, omme pour la borne de Cramér-Rao lassique [RS87,Mes06 'est-

à-dire que :

Ex,θr;θd

[θ (x)− θ

]= 0. (3.5)

Rappelons que tout estimateur non biaisé satisfait la relation suivante : ∀ 1 ≤ i ≤ D +R, nousavons ∫

RR

∫

Ω

(θ (x)− θ

) ∂

∂θifx,θr ;θd

(x,θr;θd) dxdθr

= Ex,θd;θr

[θ (x)− θ

]− Ex,θd;θr

[∂

∂θi

(θ (x)− θ

)]

= 0+ ei, (3.6)

où θi est la iième

omposante de θ et ei est un ve teur qui vaut 1 au iième

élément et 0 ailleurs.

l'équation (3.6) est équivalent, sous forme matri ielle, à

∫

RR

∫

Ω

(θ (x)− θ

)vT (x,θr;θd) dxdθr = ID+R, (3.7)

ave v (x,θr;θd) =∂ ln fx,θr ;θd(x,θr;θd)

∂θT .

Dans la suite, pour simplier les notations, on notera θ = θ (x) − θ, v = v (x,θr;θd) et

U = U (θd). Pour toute matri e arrée M :

Ex,θr ;θd

[(θ −MUUTv

)(θ −MUUTv

)T]

= Ex,θr ;θd

[θθ

T]+MUUT

Ex,θr ;θd

[vvT

]UUTMT

−MUUTEx,θr;θd

[vθ

T]− Ex,θr;θd

[θvT

]UUTMT .

Or Ex,θr ;θd

[(θ −MUUTv

)(θ −MUUTv

)T]est une matri e dénie non négative, et omme

Ex,θr ;θd

[θvT

]= ID+R d'après (3.7), nous obtenons pour toute matri e arrée M :

Ex,θr ;θd

[θθ

T] MUUT +UUTMT −MUUT

Ex,θr;θd

[vvT

]UUTMT . (3.8)

3.1. BORNE DE CRAMÉR-RAO HYBRIDE SOUS CONTRAINTES 37

Puisque ette inégalité est vériée pour tout M, la meilleure borne est obtenue, sous ondition

d'existen e, en maximisant le membre de droite de (3.8) par rapport à la matri e M. La borne

obtenue est appelée la Borne de Cramér-Rao Hybride sous Contraintes notée BCRHC. Remar-

quons que la matri e UTEx,θr ;θd

[vvT

]U est à valeur réelle, symétrique, dénie positive. Don

elle est diagonalisable. Il existe une matri e diagonale D et une matri e orthogonale Q tel que

UTEx,θr ;θd

[vvT

]U = QDQT

. Par onséquent, la BCRHC est égale à :

BCRHC = supM

UQD−1QTUT−

(UQD−1 −MUQ

)D(UQD−1 −MUQ

)T. (3.9)

Nous avons une diéren e de deux matri es dénies non négatives. Puisque le premier terme

UQD−1QTUTne dépend pas de M, le maximum est atteint en minimisant le se ond terme. Le

minimum Mmin est obtenu si :

MminU = UQD−1QT = U(UT

Ex,θr;θd

[vvT

]U)−1

. (3.10)

Finalement, en inje tant (3.10) dans (3.9), nous obtenons la borne proposée

BCRHC = U(UT

Ex,θr ;θd

[vvT

]U)−1

UT . (3.11)

Remarques :

• en général, il n'est pas né essaire que la matri e d'information de Fisher Ex,θr ;θd

[vvT

]soit

inversible mais seulement l'inversibilité de la matri e UTEx,θr;θd

[vvT

]U. Cette ondition est

également né essaire pour la borne de Cramér-Rao déterministe sous ontraintes [SN98.

• si la matri e U dépend de θr alors Ex,θr ;θd

[θvTU

]6= U, il serait toujours possible d'obtenir

une inégalité, mais le minorant dépendrait de θ. Or nous n'avons pas une expression expli ite

de θ pour des problèmes d'estimation non linéaires don la borne obtenue ne sera pas simple à

évaluer numériquement.

3.1.3 Comparaison ave la borne de Cramér-Rao hybride sans ontraintes

La BCRH sans ontraintes est donnée par (2.20) :

BCRH = F−1H , où FH = Ex,θr;θd

[vvT

](3.12)

est la matri e d'information de Fisher hybride. La BCRH est un as parti ulier de la BCRHC

(3.11) lorsque K = 0 ( e qui implique U = ID+R). Dans les autres as, la BCRH et la BCRHC

sont évidemment diérentes. Cependant, une omparaison entre es deux bornes est possible

lorsque la matri e FH est inversible (sinon la BCRH n'existe pas). Comme FH est symétrique

dénie positive, il existe une matri e symétrique inversible F12H tel que FH = F

12HF

12H . Don la

BCRHC peut s'é rire sous la forme :

BCRHC = F− 1

2H F

12HU

(UTF

T2HF

12HU

)−1

UTFT2HF

−T2

H = F− 1

2H P

F12HU

F−T

2H

où

PF

12HU

= F12HU

(UTF

T2HF

12HU

)−1(F

12HU

)T


est une matri e de proje tion orthogonale sur l'espa e engendré par les ve teurs olonnes de

F12HU. Si on note P⊥

F12HU

la matri e de proje tion sur l'espa e orthogonal à F12HU, alors nous

obtenons PF

12HU

+P⊥F

12HU

= I impliquant :

BCRHC = F− 1

2H

(I−P

F12HU

)F−T

2H = F−1

H − F− 1

2H P⊥

F12HU

F−T

2H F−1

H .

Par onséquent BCRHC BCRH. Ce résultat est logique puisque les ontraintes peuvent

être interprétées omme des informations supplémentaires permettant de mieux estimer les pa-

ramètres d'intérêts. Par ailleurs, il a été montré dans [GO91 que les algorithmes d'estimation

qui in luent les ontraintes sur les paramètres présentent une EQM en dessous de la borne de

Cramér-Rao lassique.

3.1.4 Comparaison ave la borne de Cramér-Rao marginale

La borne de Cramér-Rao Marginale (BCRM) s'applique pour les algorithmes qui estiment les

paramètres non-aléatoires θd uniquement, les paramètres aléatoires θr sont onsidérés omme

des paramètres de nuisan e. La omparaison entre la BCRHC et la BCRM ne on erne don que

les paramètres non-aléatoires θd. Pour ela, notons d'abord que, la BCRHC peut se dé omposer

en quatre blo s :

BCRHC =

[BCRHCd BCRHCT

dr

BCRHCdr BCRHCr

](3.13)

où les blo s diagonaux BCRHCd and BCRHCr sont respe tivement les bornes inférieures de

l'EQM des paramètres non aléatoires θd et des paramètres aléatoires θr, 'est-à-dire :

Ex,θr;θd

[(θd (x)− θd

)(θd (x)− θd

)T] BCRHCd,

Ex,θr;θd

[(θr (x)− θr

)(θr (x)− θr

)T] BCRHCr.

Puis, si on note vd =∂ ln f(x,θr ;θd)

∂θdet vr =

∂ ln f(x,θr;θd)∂θr

, alors la matri e d'information de Fisher

hybride se dé ompose également en :

FH = Ex,θr;θd

[vdv

Td vdv

Tr

vrvTd vrv

Tr

].

Par onséquent la borne proposée s'é rit :

BCRHC = UE−1

x,θr ;θd

[UT

d vdvTd Ud UT

d vdvTr

vrvTd Ud vrv

Tr

]UT

(3.14)

Si nous notons S le omplément de S hur déni par

S = Ex,θr ;θd

[UT

d vdvTd Ud

]−R,

où

R = UTd Ex,θr ;θd

[vdv

Tr

]E−1x,θr;θd

[vrv

Tr

]Ex,θr;θd

[vrv

Td

]Ud,

3.1. BORNE DE CRAMÉR-RAO HYBRIDE SOUS CONTRAINTES 39

alors une inversion par blo de (3.14) permet d'exprimer la BCRHC sous la forme suivante :

BCRHC =

[Ud 0

−E−1x,θr ;θd

[vrv

Tr

]Ex,θr ;θd

[vrv

Td

]Ud I

] [S−1 0

0 E−1x,θr;θd

[vrv

Tr

]]

×[UT

d −UTd Ex,θr ;θd

[vdv

Tr

]E−1x,θr ;θd

[vrv

Tr

]

0 I

]. (3.15)

Par identi ation entre (3.13) et (3.15), nous établissons l'égalité suivante :

BCRHCd = UdS−1UT

d . (3.16)

Puisque R est une matri e dénie non négative, nous avons S Ex,θr ;θd

[UT

d vdvTd Ud

], e qui

implique que :

BCRHCd Ud

(UT

d Ex,θr ;θd

[vdv

Td

]Ud

)−1UT

d . (3.17)

Nous retrouvons la BCRM dans le membre de droite de l'équation (3.17). Par onséquent, la

BCRHC est généralement inférieure à la BCRC marginale. Ce résultat est une extension des

relations d'ordre existantes entre les bornes hybrides et les bornes marginales sans ontraintes

[RM97.

3.1.5 Appli ation à l'estimation de fréquen e Doppler

Considérons un système radar a tif re evant des é hos atténués, retardés et translatés en

fréquen e d'un signal omplexe onnu à l'émission eT (t) ej2πfct où fc est la fréquen e porteuse

et eT (t) est l'enveloppe du signal émis. Les antennes du radar reçoivent un train d'impulsion

(burst) omposé de L impulsions et l'intervalle de répétition des impulsions est noté T . Chaqueimpulsion dure T0, possède une bande passante B et est réé hie par une ible en mouvement

"lent" par rapport à eT (t), 'est-à-dire que |2v (L− 1)T | << cB

(voir [LM04) et

2vcT0fc << 1

(eet Doppler négligeable sur eT (t)), où c est la élérité de la lumière et v est la vitesse de la

ible. Sous les hypothèses standards que le bruit est temporellement blan (bruit thermique) de

puissan e σ2n et qu'il n'y a pas de u tuation de la ible durant l'émission du train d'impulsions,

un modèle simplié pour la l

ième

impulsion, 1 ≤ l ≤ L, est donné par [LM04 :

xl (t) = eT (t− τ)αl + bl (t) , αl = αej2πf(l−1), (3.18)

où f = −2fcvcT , −1

2 ≤ f ≤ 12 , est la fréquen e Doppler normalisée et α représente l'atténuation

omplexe du signal. Par sou i de simpli ité, nous supposons que la distan e entre le radar et la

ible est onnue. Don le signal en sortie du ltre adapté est donné par

yl = sej2πf(l−1) + nl, s =√BT0α = r + jq. (3.19)

Le ve teur de paramètres in onnus à estimer est θ = [r q f ]T où le ve teur [r q]T est sup-

posé non aléatoire, f est un paramètre aléatoire de densité de probabilité a priori gaussienne

N(f0 , σ

2f

)et le bruit bl est supposé gaussien omplexe ir ulaire bl ∼ CN

(0, σ2

n

). De plus les

variables aléatoires f et bl sont supposées indépendantes. Ce s énario peut orrespondre à un

radar multi-fon tion qui est entré en mode poursuite après avoir déte té une ible en mode veille

(surveillan e). Les paramètres |s|2 et f0 , ont été préablement estimés en mode veille. Cependant,

la vitesse radiale peut varier légèrement durant le temps de bas ulement en mode poursuite. C'est


pourquoi nous modélisons la fréquen e doppler f par une variable aléatoire ave une densité de

probabilité a priori entrée en f0 . La question est de savoir si l'a ès à la puissan e du signal

reçu |s|2, permettant d'établir la ontrainte r2 + q2 = |s|2, nous aide ou pas à mieux estimer la

fréquen e Doppler f . Pour ela, il sut de omparer la BCRHC et la BCRH. En utilisant (3.12),

la BCRH lassique est donnée par :

2Lσ2n

0 2πqL(1−L)σ2n

0 2Lσ2n

2πrL(L−1)σ2n

2πqL(1−L)σ2n

2πrL(L−1)σ2n

4π2(r2+q2)L(L−1)(2L−1)

3σ2n

+ 1σ2fT 2

−1

. (3.20)

La BCRHC est obtenue en utilisant la relation (3.11) et en dérivant la matri e unitaire

U =

( q|s|

−r|s| 0

0 0 1

)T

.

Pour valider notre étude, nous omparons la BCRHC et la BCRH à l'EQM du MVMAP dénie

par : (r, q, f

)= argmax

(r,q)∈R2, f∈]−0.5;0.5]

fy,f ;r,q (y,f ; r, q) , (3.21)

et à l'EQM du MVMAP sous ontrainte (MVMAPC) qui onsiste à restreindre les paramètres de

re her he (r, q) sur le er le S =(r, q) |r2 + q2 = |s|2

. Les paramètres de simulation sont les

suivants : r = 1√2, |s|2 = 0.8, f = 0.25, σf = 0.05 et L = 32. Les EQMs empiriques du MVMAP

et MVMAPC sont obtenues par 5000 tirages de type Monte-Carlo ave un pas δf = 2−14pour

l'estimation de la fréquen e. Dans la gure (3.1), les EQMs empiriques totales du MVMAP et du

MVMAPC sont omparées ave la tra e de la BCRH et de la BCRHC. On peut noter que l'EQM

du MVMAPC est bien en dessous de la BCRH tandis que la BCRHC le prédit parfaitement à fort

RSB. Dans la gure (3.2), les performan es du MVMAP et du MVMAPC sont omparées aux

bornes BCRH et BCRHC pour l'estimation de la fréquen e Doppler f . Nous remarquons que la

BCRH et la BCRHC oïn ident don l'estimation de f est asymptotiquement indépendante de la

ontrainte sur la puissan e du signal. Ce résultat est également onrmé par les omportements

asymptotiques du MVMAP et du MVMAPC qui exhibent exa tement les mêmes erreurs ave

ou sans la ontrainte sur la puissan e. C'est une extension de la propriété onnue du problème

d'estimation de fréquen e non-aléatoire [RB74 au as où la fréquen e est aléatoire.

3.2 La borne de Cramér-Rao hybride ré ursive

Les bornes dites ré ursives ont été développées pour évaluer les performan es optimales de l-

trage (bayésien). Le ltrage onsiste à estimer de manière ré ursive (en ligne) l'état d'un système

dynamique. Le modèle d'observations d'un tel système est déni dans le as général par

xk = hk (θk,bk) , 1 ≤ k ≤ K, (3.22)

où xk est un ve teur de mesure, bk est le bruit de mesure supposé aléatoire, hk (.) est une fon tiondéterministe onnue modélisant le pro essus de mesures, et les paramètres θk1≤k≤K ∈ Θ ⊂ R

P

sont les in onnus à estimer (ils dénissent l'état du système). Cependant, les observations xk

3.2. LA BORNE DE CRAMÉR-RAO HYBRIDE RÉCURSIVE 41

−10 −5 0 5 10 15 20

10−3

10−2

10−1

100

RSB [dB]

EQ

M

Tr(BCRHC)Tr(EQM MVMAPC)Tr(BCRH)Tr(EQM MVMAP)

Figure 3.1 Comparaison des EQMs empiriques totales du MVMAP et du MVMAPC aux

bornes BCRH et BCRHC en fon tion du RSB

ne susent pas en général à garantir l'existen e et l'uni ité des solutions

θk

1≤k≤K

. Une

information a priori sur les paramètres θk1≤k≤K est né éssaire : une appro he de type

θk+1 = gk (θk,wk) , (3.23)

est souvent utilisée dans la littérature où wk est un bruit aléatoire et gk (.) est une fon tion

déterministe qui dé rit la l'évolution a priori des états. Il existe de nombreux problèmes pratiques

qui relèvent de ette théorie omme les problèmes de lo alisation, de navigation et de poursuite

d'un véhi ule. En eet, l'équation (3.22) représente en pratique les données mesurées par les

apteurs et l'équation (3.23) dé rit le dépla ement a priori du véhi ule. L'estimation de l'état

θk au vu des observations x1:k =[xT1 xT

2 · · · xTk

]Tdépend don du modèle a priori hoisi.

Puisque θk est aléatoire, l'estimateur de θk, minimisant son EQM, est obtenue par la moyenne

a posteriori :

θk = Eθk|x1:k[θk] . (3.24)

Cependant, il n'existe pas de solution expli ite de θk sauf pour ertains as de ltrages linéaires

et gaussiens (le ltrage de Kalman) [Sim06. De même que les estimateurs lassiques, les perfor-

man es de es ltres sont a essibles uniquement par des simulations (méthode de Monte-Carlo

ou approximation parti ulaire). Ces méthodes sont généralement lourdes en oût de al ul. Une

solution alternative est d'utiliser les bornes inférieures pour minorer l'EQM de θk. Ces bornes

donnent une limite des performan es atteignables et elles permettent de déterminer en amont si

les performan es exigées sont réalistes ou non.


−10 −5 0 5 10 15 20

10−7

10−6

10−5

10−4

10−3

RSB [dB]

EQ

M

BCRHCEQM MVMAPCBCRHEQM MVMAP

Figure 3.2 Comparaison des EQMs et des bornes pour l'estimation de la fréquen e Doppler

en fon tion du RSB

Plusieurs bornes sont apparues dans la littérature pour les ltrages à temps dis ret. En eet,

Bobrovsky et Zakai [BZ75 ont été les premiers à adapter la borne de Cramér-Rao aux systèmes

dynamiques gaussiens à temps dis ret pour un état s alaire. Puis ette borne a été étendue par

Galdos [Gal80 aux as d'estimation de paramètres multidimensionnels. Enn, une version plus

générale de la borne de Cramér-Rao sous une forme ré ursive a été proposée par [TMN98 pour

des systèmes de ltrage éventuellement non gaussiens. Les extensions aux bornes autres que

Cramér-Rao (en parti ulier Weiss-Weinstein) ont été établies par [RN05,RO07,XGMM13.

3.2.1 Problématique

Considérons le problème de ltrage non-linéaire suivant :

xk = hk (θk,bk,λ)θk = gk−1 (θk−1,wk−1,α)

, 1 ≤ k ≤ K (3.25)

où les fon tions gk (.) et hk (.) dépendent de paramètres in onnus λ et α supposés non aléatoires.

Les bruitswk et bk sont supposés des variables aléatoires mutuellement indépendantes de densités

de probabilité onditionnelles respe tives fwk|β et fbk|µ onnues pour tout k et les paramètres

ve toriels ϕ ,[αT βT λT µT

]Tsont supposés in onnus et non aléatoires. Les distributions

fθk|θk−1,α,β et fxk|θk,λ,µ sont déduites de (3.25) et la distribution fθ0|α est supposée onnue.

Si toutes les distributions fθk|θk−1,α,β et fxk|θk,λ,µsont dérivables par rapport à θk, θk−1 et

ϕ pour tout k ≥ 1 alors l'EQM d'estimation sur les paramètres (θk;ϕ) ,[θTk ϕT

]Test minorée

3.2. LA BORNE DE CRAMÉR-RAO HYBRIDE RÉCURSIVE 43

par la borne de Cramér-Rao hybride dénie par

BCRHθk,ϕ = Ex1:k,θk|ϕ

[∂ ln fx1:k,θk|ϕ (x1:k,θk|ϕ)

∂ (θk;ϕ)

∂ ln fx1:k,θk|ϕ (x1:k|ϕ)∂ (θk;ϕ)

T

]−1

. (3.26)

Si fx1:k,θk|ϕ (x1:k,θk|ϕ) est deux fois dérivables par rapport à θk et ϕ, alors (3.26) équivaut à

BCRHθk,ϕ = −Ex1:k,θk|ϕ

[∂2 ln fx1:k,θk|ϕ (x1:k,θk|ϕ)

∂ (θk;ϕ) ∂ (θk;ϕ)T

]−1

. (3.27)

Cependant, la densité de probabilité jointe fx1:k,θk|ϕ (x1:k,θk|ϕ) est di ile à obtenir analyti-

quement. En eet, une solution est d'exprimer la densité jointe fx1:k,θ0:k|ϕ (.) via le modèle de

ré urren e (3.25),

fx1:k,θ0:k|ϕ (x1:k,θ0:k|ϕ) = fθ0|ϕ (θ0|ϕ)k∏

j=1

fxj ,θj |ϕ (xj ,θj |θj−1,ϕ) (3.28)

= fθ0|ϕ (θ0|ϕ)k∏

j=1

fxj |θj ,ϕ (xj |θj,ϕ) fθj |θj−1,ϕ (θj |θj−1,ϕ) ,

puis de marginaliser la densité jointe (3.28) par rapport aux variables θ0:k−1 pour obtenir la

distribution de fx1:k,θk|ϕ (.) et par onséquent la borne de Cramér-Rao. Malheureusement, la

marginalisation n'a pas d'expression expli ite et elle est en général di ile à évaluer numérique-

ment.

3.2.2 Borne ré ursive hybride

Comme nous l'avons vu pré édemment, la borne de Cramér-Rao (3.27) n'a pas de forme

analytique en général. Néanmoins, une approximation de BCRHθk,ϕ peut être formulée. En

eet, nous pouvons étendre les résultats obtenus dans [TMN98 (bornes obtenues dans le ontexte

d'estimation purement bayésienne, i.e., ϕ onnu) à l'estimation hybride (ϕ in onnu). L'idée est

de dé omposer la matri e d'information de Fisher pour l'estimation des paramètres (θ0:k;ϕ) enplusieurs blo s et d'extraire le sous-blo orrespondant à l'estimation de (θk;ϕ). Pour alléger lesnotations, dénissons E [.] =Ex1:k,θ0:k|ϕ [.] et la distribution jointe de x1:k et de θ0:k par

fk = fx1:k,θ0:k|ϕ (x1:k,θ0:k|ϕ) ,

alors d'après la relation (3.28)

fk+1 = fk × fxk+1,θk+1|ϕ (xk+1|θk+1,ϕ)× fθk+1|θk,ϕ (θk+1|θk,ϕ) . (3.29)

Pour tout estimateur θ0:k à partir des observations x1:k et du modèle (3.25), nous pouvons borner

l'EQM de θ0:k par la borne de Cramér-Rao hybride donnée par :

EQMθ0:k

J−10:k = E

−1

[− ∂2 ln fk

∂ (θ0:k;ϕ) ∂ (θ0:k;ϕ)T

]. (3.30)


Or l'inversion de la matri e d'information de Fisher J0:k devient problématique, voire impossible,

à mesure que k augmente. Fort heureusement, à l'instar de [TMN98, une dé omposition de J0:k

en blo s nous permet d'évaluer de manière ré ursive les performan es d'estimation de (θk;ϕ).En eet, en se basant sur le modèle d'observation (3.25), l'idée est d'étudier les propriétés de

ré urren e de la matri e suivante :

J0:k = E

[− ∂2 ln fk

∂ (θ0:k;ϕ) ∂ (θ0:k;ϕ)T

]=

[Ak Bk

BTk Ck

](3.31)

ave

Ak = E

[− ∂2 ln fk

∂θ0:k−1∂θT0:k−1

],

Bk = Ex1:k,θ0:k|ϕ

[− ∂2 ln fk

∂θ0:k−1∂ (θk;ϕ)T

],

Ck = Ex1:k,θ0:k|ϕ

[− ∂2 ln fk

∂ (θk;ϕ) ∂ (θk;ϕ)T

].

Remarquons d'abord que l'EQM de θk pour l'estimation des paramètres (θk;ϕ) est minorée

par le blo inférieur droit de J−10:k. Don en utilisant les propriétés d'inversion par blo s des

matri es [Seb08, p293, nous avons

EQMθk

(Ck −BT

kA−1k Bk

)−1=J−1

k . (3.32)

La matri e Ak est bien inversible puisqu'elle est dénie positive. Au rang k + 1, nous avons

J0:k+1 = E

[− ∂2 ln fk+1

∂ (θ0:k+1;ϕ) ∂ (θ0:k+1;ϕ)T

].

Or la distribution fk+1 satisfait la relation de ré urren e (3.29). Nous pouvons don dé omposer

J0:k+1 en 9 blo s suivants

J0:k+1 =

Ak Bk 0

BTk Ck +Dk+1 Ek+1

0 ETk+1 Fk+1

ave

Dk+1 = E

[−∂2 ln fθk+1|θk,ϕ (θk+1|θk,ϕ)

∂θk∂θTk

],

Ek+1 = E

[−∂2 ln fθk+1|θk,ϕ

(θk+1|θk,ϕ)

∂θk∂ (θk+1;ϕ)T

],

et

Fk+1 = −E

[∂2 ln fxk,θk|ϕ (xk+1|θk+1,ϕ)

∂ (θk+1;ϕ) ∂ (θk+1;ϕ)T

]− E

[∂2 ln fθk+1|θk,ϕ

(θk+1|θk,ϕ)

∂ (θk+1;ϕ) ∂ (θk+1;ϕ)T

].

Les matri es Dk+1, Ek+1 et Fk+1 dépendent uniquement des lois onditionnelles de θk+1|θk,ϕ et

de xk+1|θk+1,ϕ, qui peuvent être déduites sans di ulté par le modèle d'observation (3.25). En

3.3. LA BORNE DE CRAMÉR-RAO DÉTERMINISTE AVEC ERREURS DE MODÈLE : APPLICATION À

LA PROBLÉMATIQUE DU RADAR MIMO 45

suivant le même raisonnement que la borne sur l'EQM de (θk;ϕ), la nouvelle borne sur l'EQM

de (θk+1;ϕ) est

EQMθk+1

J−1k+1,

où la matri e d'information de Fisher Jk+1 est obtenue par une inversion par blo de l'élément

inférieur droit de J0:k+1

Jk+1 = Fk+1 −[0 ET

k+1

] [ Ak Bk

BTk Ck +Dk+1

]−1 [0

Ek+1

]

= Fk+1 −ETk+1

[Ck +Dk+1 −BT

kAkBk

]−1Ek+1

= Fk+1 −ETk+1 [Dk+1 − Jk]

−1Ek+1. (3.33)

Finalement, nous obtenons une relation de ré ursion entre Jk+1 et Jk, et la matri e de Fisher J0

est dénie par

J0 = E

[− ∂2 ln fθ0|ϕ (θ0|ϕ)∂ (θ0;ϕ) ∂ (θ0;ϕ)

T

]. (3.34)

Cette relation (3.33) nous permet don de prédire l'EQM optimale asymptotique pour l'estima-

tion de (θk+1;ϕ). Contrairement à la borne (3.27) qui né essite la marginalisation de la loi jointe

x1:k,θ0:k par rapport à θ0:k−1, la borne ré ursive que nous avons développée dans le ontexte

d'estimation hybride a besoin uniquement des lois onditionnelles de θj|θj−1,ϕ et de xj|θj ,

1 ≤ j ≤ k. Cette proposition a fait d'objet d'une publi ation dans IEEE Signal Pro essing

Letters ( e do ument est joint en annexe B)..

3.3 La borne de Cramér-Rao déterministe ave erreurs de mo-

dèle : appli ation à la problématique du Radar MIMO

Stimulés par les avan ées théoriques en ommuni ation MIMO, les radars MIMO ont été

beau oup étudiés pour les problèmes de déte tion, de lo alisation pendant les dix dernières années

[LS09. Un radar MIMO est omposé de plusieurs antennes émettri es et de plusieurs antennes

ré eptri es. Chaque émetteur transmet une onde éle tromagnétique qui, après réexion sur les

ibles, est olle tée par les ré epteurs. La omparaison entre les ondes émises et les ondes reçues

permet de déduire les ara téristiques des ibles (distan e, vitesse,...). Contrairement au réseau

d'antennes à ommande de phase transmettant une forme d'onde unique, les radars MIMO ont

la possibilité d'émettre une forme d'onde diérente pour ha une des antennes émettri es. Ainsi,

l'utilisation des formes d'onde orthogonales limite les interféren es et augmente les performan es

en terme d'estimation et de déte tion du système [HV10.

Les performan es en estimation d'un tel système sont souvent étudiées dans les onditions

lassiques où la distribution des observations est orre tement spé iée. En eet, les algorithmes

optimaux, omme eux s'appuyant sur la méthode du maximum de vraisemblan e, sont gé-

néralement basés sur les propriétés statistiques du modèle d'observations établies à partir des

onnaissan es a priori du pro essus de propagation des ondes et du bruit de mesure. Cependant,

le modèle d'observation supposé peut être légèrement diérent du modèle réel en pratique. Plus

parti ulièrement pour un radar MIMO, diérentes erreurs de modèle peuvent intervenir à ause

d'un défaut de positionnement des antennes [TRB

+11, d'une erreur de modélisation du signal

reçu [AN10 et/ou d'une erreur sur la propriété statistique du bruit [GFG14b, GFG14a. Bien


qu'une phase de alibration puisse être mise en oeuvre pour orriger ertains défauts, e pro essus

est souvent long et peut omplexier le modèle d'observation en ajoutant de nouveaux paramètres

à estimer. De plus, il ne garantit pas l'élimination de tous les défauts du système. C'est pourquoi

plusieurs solutions ont été proposées dans la littérature pour minimiser les impa ts des erreurs

sur les performan es d'estimation. Les plus onnues sont sans doute les méthodes d'estimation

robuste [MMY06, ZKCM12 qui séparent généralement les données en deux parties : elles qui

orrespondent au modèle supposé et le reste (données orrompues).

Une autre méthode est d'étudier l'inuen e des erreurs de modèle sur l'étude des performan es

d'estimation. Ces modèles sont dits désadaptés ou mal spé iés (Mismat hed / Misspe ied

models) si la distribution réelle des données est diérente de elle du modèle supposé. Dans

es as, les propriétés de onsistan e et de normalité asymptotique de l'estimateur au sens du

maximum de vraisemblan e ont été établies par Huber et White [Hub67,Whi82. De plus, omme

et estimateur est asymptotiquement e a e lorsque le modèle d'observation est orre tement

spé ié [LC03, se tion 6.3, nous pouvons nous attendre à e qu'une petite erreur de modèle

dégrade légèrement ses performan es [GFG14a. Ré emment, des bornes déterministes ont été

proposées dans le as de modèles désadaptés [RH15. Ces bornes, appelées bornes inférieures

(déterministes) désadaptées / mal spé iées (mismat hed / Misspe ied lower bounds) sont

asymptotiquement atteignables, sous onditions de régularités, par le maximum de vraisemblan e

désadaptées (mismat hed likelihood estimator) qui onsiste à estimer les paramètres en se basant

sur les données réelles et le modèle d'observation supposé [Hub67.

Le but de ette se tion est d'étudier, à l'aide de la théorie des bornes désadaptées, l'inuen e

des erreurs de positionnement des antennes émettri es et ré eptri es sur les performan es d'es-

timation dans le ontexte de radar MIMO. A la diéren e du travaux proposé dans [TRB

+11,

dans lequel le ve teur dire tionnel du réseau d'antennes est perturbé par un ve teur bruit aléa-

toire de densité de probabilité onnue, nous onsidérons i i un s enario plus réaliste où le modèle

d'observation supposé est simplement diérent des données mesurées. De telle méthodologie a

été ré emment utilisée pour l'estimation de la matri e de diusion en radar [GFG14a et dans le

ontexte de traitement d'antenne [RH13.

3.3.1 Rappel sur les bornes de Cramér-Rao désadaptées

Nous dénissons d'abord le ontexte d'estimation dans lequel les bornes désadaptées peuvent

être utiles : soit θ0∈ Θ ⊂ Rpun ve teur de paramètres in onnus non aléatoires à estimer à partir

des observations x ∈ CMN

et soit gx;θ0la vraie densité de probabilité de x. Cependant, dues aux

imperfe tions du système, le modèle supposé est diérent du modèle réel. Ce i signie, en terme

de densité, que la vraie densité de probabilité n'appartient pas à l'ensemble des distributions

supposées fy;θ, 'est à dire que gx;θ0/∈ fx;θ|θ ∈ Θ. Si les erreurs de modèle sont faibles alors

les estimateurs basés sur le modèle supposé restent pertinent. Dans e ontexte, la théorie des

bornes désadaptées a été établies ré emment dans [RH15. Cette théorie s'appuie également

sur l'inégalité de ovarian e et la borne de Cramér-Rao désadaptée est obtenue par l'inégalité

suivante :

Egx;θ0

[(θ − θA

)(θ − θA

)T] C−1 (θA)J (θA)C

−1 (θA) , (3.35)

où θA est le point minimisant la divergen e de Kullba k-Leibler entre les densités gx;θ0et

fx;θ|θ ∈ Θ, i.e.,θA = argmin

θ

∫

CMN

gx;θ0(x) log

(gx;θ0

(x)

fx;θ (x)

)dx.



Les termes du membre de droite

1

de l'équation (3.35) sont donnés par

C (θA) = Egx;θ0

[∂2 ln fx;θ (x)

∂θ∂θT

∣∣∣∣θ=θA

]−1

, (3.36)

et

J (θA) = Egx;θ0

[∂ ln fx;θ (x)

∂θ

∂ ln fx;θ (x)

∂θT

∣∣∣∣θ=θA

]. (3.37)

Remarquons que le membre de gau he de (3.35) n'est pas l'EQM lassique puisque θA est géné-

ralement diérent de la vraie valeur θ0. Néanmoins, pour les estimateurs satisfaisant Egx;θ0

[θ]=

θA, nous avons

Egx;θ0

[(θ − θ0

)(θ − θ0

)T] BCRD

où la Borne de Cramér-Rao Désadaptée (BCRD) s'é rit

BCRD = C−1 (θA)J (θA)C−1 (θA) + (θA − θ0) (θA − θ0)

T . (3.38)

De plus, des expressions analytiques de type Slepian-Bangs ont été proposées dans le as d'ob-

servations gaussiennes à moyenne paramétrée [RH13. Plus pré isément, lorsque la distribution

réelle des données est dénie par gx;θ0= CN (d (θ0) ,B) et la distribution supposée des données

est de la forme fx;θ = CN (m (θ) ,R) où les matri es B et R sont indépendantes de θ et les

ve teurs d (θ0) et m (θ) sont diérents pour tout θ ∈ Θ. Dans e ontexte, les matri es C et J

données par l'équation (3.35) ont pour expressions analytiques :

Cij (θ) =∂2mH (θ)

∂θi∂θjR−1 (d (θ0)−m (θ)) + (d (θ0)−m (θ))H R−1∂

2m (θ)

∂θi∂θj

−∂mH (θ)

∂θiR−1∂m (θ)

∂θj− ∂mH (θ)

∂θjR−1 ∂m (θ)

∂θi, (3.39)

et

Jij (θ) =∂mH (θ)

∂θiR−1B

(R−1

)∗ ∂m (θ)

∂θj+∂mT (θ)

∂θiR−1B∗ (R−1

)∗ ∂m∗ (θ)∂θj

, (3.40)

où

∗désigne l'opérateur omplexe onjugué. Remarquons que si le modèle est orre tement

spé ié, 'est-à-dire d (θ0) = m (θ) et B = R alors

C (θ) = J (θ) = 2Re

(∂mH (θ)

∂θR−1 ∂m (θ)

∂θT

),

e qui onduit à

C (θ)J−1 (θ)C (θ) = 2Re

(∂mH (θ)

∂θR−1 ∂m (θ)

∂θT

). (3.41)

Nous re onnaissons la formule de Slepian-Bangs lassique [Sle54, Ban71 pour une distribution

gaussienne à moyenne paramétrée sans erreurs de modèle. La borne de Cramér-Rao désadap-

tée onstitue don une extension de la borne de Cramér-Rao déterministe pour des problèmes

d'estimation ontenant des erreurs de modèle.

1. Connue aussi sous le nom de "sandwi h de Huber"


3.3.2 Appli ation à l'estimation de la dire tion de départ et d'arrivée pour

un système radar MIMO

Nous onsidérons un système radar MIMO omposé de M antennes émettri es et de Nantennes ré eptri es spatialement séparées (non o-lo alisées). Les formes d'onde desM antennes

d'émission sont supposées orthogonales entre elles et sont olle tées par les ré epteurs après

réexion sur une seule ible. Nous supposons que la ible se dépla e à vitesse lente négligeable

durant le temps d'observation (hypothèse de "slow moving target"). Dans e as, les données

reçues, après un pro essus de ltrage adapté (distan e-Doppler), sont modélisées par (voir [JLL09,

équation (2)) :

x =√Kβt (ϕD)⊗ r (ϕA) + b, (3.42)

où le ve teur x ∈ CMN

représente les données traitées après ltrage adapté, le oe ient K > 0est la puissan e du signal, le oe ient β ∈ C orrespond aux atténuations à ause des pertes du-

rant le trajet de propagation et à la surfa e équivalente radar (radar ross se tion) et l'opérateur

⊗ est le produit de Krone ker. La dire tion d'arrivée de la ible par rapport au entre de phase

des antennes ré eptri e est noté ϕA et la dire tion de départ de la ible par rapport au entre de

phase des antennes émettri es est noté ϕD (hypothèse de propagation en onde plane). Les ve -

teurs dire tionnels sont respe tivement donnés par t (ϕD) =[e−j2πf0τ1(ϕD) · · · e−j2πf0τM (ϕD)

]T

et r (ϕA) =[e−j2πf0ρ1(ϕA) · · · e−j2πf0ρN (ϕA)

]Tpour le réseau d'émission et pour le réseau de ré-

eption. Les retards d'émission τ j (ϕD)j=1,..,M dépendent de la dire tion de départ de la ible

et de la géométrie des antennes émettri es. Les retards de ré eption

ρj (ϕA)

j=1,..,N

varient

selon la dire tion d'arrivée de la ible et la géométrie des antennes ré eptri es. La fréquen e f0est la fréquen e porteuse des ondes transmises. Enn le bruit b est supposé gaussien omplexe

ir ulaire de moyenne nulle et de matri e de ovarian e σ2IMN . Les paramètres in onnus à esti-

mer sont on aténés dans un ve teur réel θ = [Re (β) Im (β) ϕD ϕA]T. La densité de probabilité

des observations du modèle s'é rit alors :

fx;θ (x) =1

πMNσ2e−

1σ2‖x−√

Kβt(ϕD)⊗r(ϕA)‖2

. (3.43)

Basé sur es hypothèses, l'estimateur au sens du maximum de vraisemblan e est obtenu en

her hant la valeur de θ maximisant la distribution fx;θ (x) 'est-à-dire,

θMV

= argmaxθfx;θ (x) . (3.44)

En raison des erreurs de modèles, les données mesurées x suivent une autre distribution gx;θ0/∈

fx;θ|θ ∈ Θ. De telles erreurs de modèles onduisent à une dégradation des performan es de

l'estimateur. Par onséquent les bornes lassiques (basées sur la distribution supposée fx;θ) nesont plus asymptotiquement atteignables par l'EQM du maximum de vraisemblan e (3.44). Nous

allons don étudier l'inuen e des es erreurs sur les performan es asymptotiques à l'aide de

bornes désadaptées. Plus pré isément, on onsidère le s énario où les positions des antennes sont

diérentes entre le modèle supposé et la vraie distribution des données. Cette dernière est dénie

par

gx;θ0(x) =

1

πMNσ2e−

1σ2‖x−√

Kβ0t(ϕD0)⊗r(ϕA0

)‖2

. (3.45)

où θ0 =[Re (β0) Im (β0) ϕD0

ϕA0

]T ontient les vraies valeurs des paramètres, t

(ϕD0

)=[

e−j2πf0τ1(ϕD0) · · · e−j2πf0τM(ϕD0

)]T

et r(ϕA0

)=[e−j2πf0ρ1(ϕA0

) · · · e−j2πf0ρN(ϕA0)]T

sont



les vrais ve teurs dire tionnels. Les retards exa ts sont exprimés par

τ j(ϕD0

)j=1,..,M

et

ρj(ϕA0

)j=1,..,N

et dépendent des positions réelles des antennes.

3.3.2.1 Expression générale de la borne de Cramér-Rao désadaptée pour les erreurs

de positions des antennes

Dans ette se tion, nous dérivons une expression générale de ette borne quelles que soient

les erreurs de position des antennes. Rappelons que les paramètres in onnus à estimer sont θ =[Re (β) Im (β) ϕD ϕA], le modèle supposé est donné par (3.42) et les données sont distribuées

suivant la loi gx;θ0(x) (équation (3.45)). En appliquant les formules (3.39) et (3.40) pour notre

s énario, nous obtenons les expressions suivantes pour les matri es C (θ) et J (θ) : les éléments

diagonaux de J (θ) sont exprimés par

J11 (θ) = J22 (θ) =2KMN

σ2,

J33 (θ) =2KN ‖β‖2

σ2

∥∥∥∥dt (ϕD)

dϕD

∥∥∥∥2

,

J44 (θ) =2KM ‖β‖2

σ2

∥∥∥∥dr (ϕA)

dϕA

∥∥∥∥2

.

Puisque J (θ) est une matri e symétrique pour tout θ, les éléments triangulaires inférieurs sont

J12 (θ) = 0,

J13 (θ) =2KN

σ2Re

(β∗dt

H (ϕD)

dϕD

a (ϕD)

),

J14 (θ) =2KM

σ2Re

(β∗dr

H (ϕA)

dϕA

b (ϕA)

),

J23 (θ) = −2KN

σ2Im

(β∗dt

H (ϕD)

dϕD

r (ϕD)

),

J24 (θ) = −2KM

σ2Im

(β∗dr

H (ϕA)

dϕA

t (ϕA)

),

J34 (θ) =2K ‖β‖2σ2

Re

(dtH (ϕD)

dϕD

t (ϕD) rH (ϕA)

dr (ϕA)

dϕA

).

Avant de déterminer les éléments de la matri e C, remarquons que ette matri e est simpliable

pour B = R = σ2IMN :

Cij (θ) =∂2mH (θ)

∂θi∂θjR−1 (d (θ0)−m (θ)) + (d (θ0)−m (θ))H R−1 ∂

2m (θ)

∂θi∂θj− Jij.

Par onséquent, les éléments diagonaux de la matri e C ont pour expressions analytiques :

C11 (θ) = C22 (θ) = −J11 (θ) ,

C33 (θ) =2K

σ2Re

(β0d2tH (ϕD)

dϕ2D

t(ϕD0

)rH (ϕA) r

(ϕA0

))− 2KN

σ2Re

(β∗d2tH (ϕD)

dϕ2D

t (ϕD)

)− J33,

C44 (θ) =2K

σ2Re

(β0t

H (ϕD) t(ϕD0

) d2rH (ϕA)

dϕ2A

r(ϕA0

))− 2KM

σ2Re

(β∗d2rH (ϕA)

dϕ2A

r (ϕA)

)− J44.


Et, puisque C est également symétrique, ses éléments triangulaires inférieurs sont

C12 = 0,

C13 =2K

σ2Re

(β0dtH (ϕD)

dϕD

t(ϕD0

)rH (ϕA) t

(ϕA0

))− 4KN

σ2Re (β)Re

(dtH (ϕD)

dϕD

t (ϕD)

),

C14 =2K

σ2Re

(β0t

H (ϕD) t(ϕD0

) drH (ϕA)

dϕA

r(ϕA0

))− 4KM

σ2Re (β) Re

(drH (ϕA)

dϕA

r (ϕA)

),

C23 =4KN

σ2Im (β) Im

(dtH (ϕD)

dϕD

t (ϕD)

)− 2K

σ2Im

(β0

dtH (ϕD)

dϕD

t(ϕD0

)rH (ϕA) r

(ϕA0

)),

C24 =4KM

σ2Im (β) Im

(drH (ϕA)

dϕA

r (ϕA)

)− 2K

σ2Im

(β0t

H (ϕD) t(ϕD0

) drH (ϕA)

dϕA

r(ϕA0

)),

C34 =2K

σ2Re

(β0dtH (ϕD)

dϕD

t(ϕD0

) drH (ϕA)

dϕA

r(ϕA0

))

−4K

σ2β∗ Re

(dtH (ϕD)

dϕD

t (ϕD)

)Re

(drH (ϕA)

dϕA

r (ϕA)

).

3.3.2.2 Simulation

Nous onsidérons que les réseaux d'antennes émettri es et ré eptri es sont supposées linéaires

uniformes de distan e inter- apteur

λ02 où λ0 est la longueur d'onde du signal. Par onséquent,

le modèle d'observation supposé est déni par l'équation (3.42) où les ve teurs dire tionnels sont

respe tivement

t (ϕD) =[1 e−jπ sin(ϕD) · · · e−j(M−1)π sin(ϕD)

]

et

r (ϕA) =[1 e−jπ sin(fA) · · · e−j(N−1)π sin(fA)

]

pour les émetteurs et les ré epteurs. Or en réalité, les antennes ne sont pas parfaitement uniforme,

les vrais ve teurs dire tionnels sont donnés par

t (ϕD) =[1 e−jπ(1+e1) sin(ϕD) · · · e−j(M−1+eM−1)π sin(ϕD)

]

et

r (ϕA) =[1 e−jπ(1+r1) sin(ϕA) · · · e−j(N−1+rN−1)π sin(ϕA)

]

où e = [e1 e2 · · · eM−1]Tet r = [r1 r2 · · · rN−1]

Tdésigne les é arts de position entre le modèle

supposé et le vrai modèle. Les paramètres de simulation sont les suivants : M = N = 8, K = 1,β0 = 0.1 (1 + j), ϕD0

= 0.3 rad, ϕA0= 0.2 rad et les erreurs e et r sont générées suivant une loi

gaussienne entrée de varian e 0.2. Les données x sont ensuite générées aléatoirement suivant la

loi de gx;θ0dénie par (3.45). Les paramètres in onnues sont estimées à l'aide de l'estimateur au

sens du maximum de vraisemblan e désadapté déni par

θMV

= argmaxβ∈C, ϕD∈[−π

2;π2 [,ϕA∈[−π

2;π2 [fx;θ (x)

= argminβ∈C, ϕD∈[−π

2;π2 [,ϕA∈[−π

2;π2 [

∥∥∥x−√Kβt (ϕD)⊗ r (ϕA)

∥∥∥2. (3.46)



Nous pouvons remarquer que et estimateur est séparable. En eet, notons m (ϕD, ϕA) =√Kt (ϕD)⊗r (ϕA) et Πm (ϕD, ϕA) =

m(ϕD,ϕA)mH (ϕD ,ϕA)

‖m(ϕD ,ϕA)‖2 le proje teur orthogonal surm (ϕD, ϕA).

On onstate que

‖x− βm (ϕD, ϕA)‖2 =∥∥∥(Πm (ϕD, ϕA) + Π⊥

m (ϕD, ϕA))(x− βm (ϕD, ϕA))

∥∥∥2

= ‖Πm (ϕD, ϕA)x− βm (ϕD, ϕA)‖2 +∥∥∥Π⊥

m (ϕD, ϕA)x∥∥∥2,

où Π⊥m (ϕD, ϕA) = I−Πm (ϕD, ϕA). Comme

‖Πm (ϕD, ϕA)x− βm (ϕD, ϕA)‖2 = ‖m (ϕD, ϕA)‖2∣∣∣∣∣m (ϕD, ϕA)

H

‖m (ϕD, ϕA)‖2x− β

∣∣∣∣∣

2

don

β =m (ϕD, ϕA)

H

‖m (ϕD, ϕA)‖2x.

Un algorithme simplié de et estimateur est don donné par

θMV =

[ϕD ϕA]T = argmin

ϕD∈[−π2;π2 [,ϕA∈[−π

2;π2 [

∥∥Π⊥m (ϕD, ϕA)x

∥∥2

β = mH (ϕD ,ϕA)

‖m(ϕD ,ϕA)‖2x(3.47)

De plus,

∥∥∥Π⊥m (ϕD, ϕA)x

∥∥∥2

= ‖x‖2 − ‖Πm (ϕD, ϕA)x‖2

= ‖x‖2 −∣∣mH (ϕD, ϕA)x

∣∣2

MN. (3.48)

Ce qui donne

θMV =

[ϕD ϕA]T = argmax

ϕD∈[−π2;π2 [,ϕA∈[−π

2;π2 [

∣∣mH (ϕD, ϕA)x∣∣2

β =mH(ϕD ,ϕA)

KMNx

. (3.49)

Numériquement, les valeurs estimées de ϕD et de ϕA sont obtenues en maximisant le ritère∣∣mH (ϕD, ϕA)x∣∣2

ave un pas de dis rétisation de

π212

.

Sur les gures (3.3) et (3.4), nous omparons l'EQM empirique du maximum de vraisem-

blan e, obtenue à l'aide de 1000 tirages Monte-Carlo, à la borne de Cramér-Rao désadaptée

donné par l'expression (3.38), à la vraie borne de Cramér-Rao sans biais dénie par BCR =

E−1gx;θ0

[∂ ln gx;θ(x)

∂θ

∂ ln gx;θ(x)

∂θT

∣∣∣θ=θ0

]et à la Borne de Cramér-Rao Biaisée (BCRB) qui prend en

ompte le biais de l'estimateur. Sous la ondition de modèle désadapté, es deux gures montrent

que la seule borne atteignable asymptotiquement par l'estimateur MV désadapté est la borne de

BCRD. Notons également que la borne de Cramér-Rao sans biais est la borne la plus basse pour

es deux paramètres, e qui signie que l'EQM des estimateurs peut diminuer si le modèle est

orre tement spé ié. Remarquons nalement que la borne de Cramér-Rao biaisée et la borne de

Cramér-Rao désadaptée montrent un phénomène de dé ro hement [RB74, RFL

+08, CGQL08.

En omparant la BCR et la BCRB, l'origine de e phénomène semble être due au biais de

l'estimateur.


−10 −5 0 5 10 15 20

10−6

10−5

10−4

10−3

10−2

10−1

RSB [dB]

EQ

M [r

ad2 ]

Estimation de la direction de départ

BCRBCRBBCRDEQM du MV

Figure 3.3 Comparaison entre l'EQM du MV et les bornes pour l'estimation de la dire tion

de départ en fon tion du RSB

−10 −5 0 5 10 15 20

10−5

10−4

10−3

10−2

10−1

RSB [dB]

EQ

M [r

ad2 ]

Estimation de la direction d’arrivée

BCRBCRBBCRDEQM du MV

Figure 3.4 Comparaison entre l'EQM du MV et les bornes pour l'estimation de la dire tion

d'arrivée en fon tion du RSB

Chapitre 4

Cara térisation des estimateurs en

termes de résolution et de pré ision

4.1 Introdu tion

La résolution limite ara térise la distan e minimale entre les paramètres d'intérêt au-dessus

de laquelle la séparation de es paramètres devient possible. Comme nous l'avons exposé pré é-

demment, les observations sont modélisées, en estimation statistique, par des variables aléatoires

dont leurs ara téristiques dépendent des paramètres d'intérêt. Ce omportement aléatoire peut

rendre di ile la formulation et la validation d'un ritère de résolution limite. En eet, il est

possible (ave une probabilité faible) que deux paramètres d'intérêt, bien éloignés entre eux,

soient asso iés à des jeux d'observations qui ne permet pas de les résoudre

1

. De même, il est

(peu) probable que deux paramètres d'intérêt, aussi pro hes que possible, soient asso iés à des

jeux d'observations permettant de les distinguer. Pour es raisons, il est né essaire d'introduire

la notion de "résolution limite statistique" qui dénit de manière probabiliste la résolution des

paramètres, en tenant ompte des propriétés aléatoires des observations. Dans le ontexte déter-

ministe (qui sera aussi notre as d'éude), les ritères de résolution proposés dans la littérature

peuvent être regroupés en quatre familles :

1. La première appro he de résolution statistique a été proposée par Cox en 1973 [Cox73.

Cette appro he est basée sur les ritères de minimisation appelés "null spe trum" exploi-

tant une fon tion de "pseudo-spe tre" (voir gure 4.1) notée C (y, θ). En eet, si θ1 et

θ2 sont les paramètres à estimer à partir des observations y, e ritère arme que θ1et θ2 sont résolvables si les moyennes des valeurs du pseudo-spe tre aux points θ1 et θ2sont inférieures à la moyenne de la valeur du pseudo-spe tre au point

θ1+θ22 'est-à-dire

Ey|θ1,θ2 [C (y, θ1)] < Ey|θ1,θ2[C(y, θ1+θ2

2

)]et Ey|θ1,θ2 [C (y, θ2)] < Ey|θ1,f2

[C(y, θ1+θ2

2

)].

Ces deux ritères, sous ertaines onditions, sont équivalents à une étude de la onvexité de

la fon tion Ey|θ1,θ2 [C (y, θ)] au point θ = θ1+θ22 [SD85. Cependant, es ritères dépendent

du pseudo-spe tre asso ié à l'algorithme utilisé C (y, θ).

2. Une deuxième appro he basée sur la borne de Cramér-Rao a été proposée dans [Lee93,

YB92. Par la dénition de borne, elle exprime les performan es minimales en terme d'es-

timation paramétrique et a l'avantage d'être indépendante de l'algorithme hoisi. Par

1. au sens séparer, distinguer

53

54

CHAPITRE 4. CARACTÉRISATION DES ESTIMATEURS EN TERMES DE RÉSOLUTION ET DE

PRÉCISION

Figure 4.1 Cas de sour es résolues selon le ritère de Cox.

onséquent, elle est utilisée pour dénir une résolution limite. Cette appro he dénit que

deux paramètres θ1 et θ2 sont résolus si |θ1 − θ2| ≥ 2max(√

BCR (θ1),√BCR (θ2)

).

Cependant, elle ne prend pas en ompte la dépendan e statistique entre les deux para-

mètres. Ainsi, une amélioration a été proposée par Smith [Smi05, sous la forme suivante

|θ1 − θ2|2 ≥ BCR (|θ1 − θ2|).

3. Une troisième appro he a été proposée par [SM04,AW08 basée sur la théorie de déte tion.

Cette appro he reformule le problème de résolvabilité par un test d'hypothèses binaire où

l'hypothèse H0 suppose que les données sont générées à partir d'un modèle ontenant un

seul paramètre d'intérêt et l'hypothèse H1 suppose que les données suivent un modèle ave

deux paramètres d'intérêt. Cette appro he détermine le seuil de résolution en fon tion de

la probabilité de fausse alarme Pfa et de la probabilité de déte tion Pd en utilisant le test

du maximum de vraisemblan e généralisé.

4. La dernière appro he est basée sur la probabilité de résolution qui permet à la fois de

résoudre les paramètres d'intérêt et d'imposer la pré ision de l'estimation. Elle onsiste

à déterminer la probabilité Pres telle que les estimées appartiennent à des ensembles

disjoints. Par onséquent, les paramètres sont résolus ave une probabilité Pres et des

intervalles de onan e sont établis pour les valeurs estimées. Ce on ept a été initialement

introduit par Oh et Kashyap [OK91 dans le adre de paramètres s alaires puis étendu

par Clark [Cla95 dans le as d'estimation de paramètres multidimensionnels, deux à deux

dé orrélés, suivant une loi gaussienne.

Le but de e hapitre est d'étendre la dernière appro he pour des problèmes d'estimation de

paramètres multidimensionnels, non né essairement gaussiens, ni dé orrélés, et de déterminer la

probabilité de résolution en utilisant des approximations d'ensembles disjoints.

4.2. RAPPELS ET DÉFINITIONS 55

Figure 4.2 Probabilité de résolution pour les paramètres s alaires

4.2 Rappels et dénitions

Soit θ1 ∈ R et θ2 ∈ R, θ1 6= θ2 deux paramètres déterministes de même nature

2

à estimer

à partir des observations x ∈ Ω. Soit θ =[θ1 θ2

]Tun estimateur des paramètres θ1 et θ2.

Dans [OK91, on dit que l'estimateur θ peut résoudre les paramètres θ1 et θ2 ave une probabilitéde résolution Pres si

Pres = min(Pr(θ1 − θ1 ∈ ]−∆;∆[

),Pr

(θ2 − θ2 ∈ ]−∆;∆[

))(4.1)

où∆ = |θ1−θ2|2 est hoisi tel que l'interse tion entre les intervalles ]θ1 −∆; θ1 +∆[ et ]θ2 −∆; θ2 +∆[

est nulle. Les valeurs estimées θ1 et θ2 sont bien distin tes et restreintes à leur intervalle respe tif

ave une probabilité d'au moins Pres.

L'extension aux as de paramètres ve toriels n'est pas unique et dépend de la forme des

domaines délimitant les estimées de haque paramètres. En eet, il existe déjà une appro he

proposée par Clark [Cla95 pour des estimateurs distribués suivant une loi gaussienne où les

domaines délimitant les estimées sont des hyper-ellipses. Dans la suite,

θ0m ∈ R

qm=1,··· ,p dési-

gnera un ensemble de ve teurs de paramètres d'intérêt à estimer à partir des observations x par

l'estimateur

θm ∈ R

qm=1,··· ,p

. A la diéren e de [Cla95, nous proposons i i une dénition de

la probabilité de résolution dans le as de l'estimation de paramètres multidimensionnels, non

né essairement gaussiens, ni dé orrélés, basée sur des domaines hyper-re tangles ; puis nous éta-

blissons une relation d'ordre de la probabilité entre les domaines hyper-re tangles et les domaines

hyper-ellipses an d'obtenir une méthode d'évaluation de Pres.

2. Par exemples : des angles en lo alisation de sour es, des fréquen es en analyse spe trale.

56


PRÉCISION

4.3 Une appro he pour la résolution multidimensionnelle

4.3.1 Approximation d'ensembles disjoints

Soit ε+mm=1,··· ,p et ε−mm=1,··· ,p un ensemble de ve teurs réels tel que ε+m ∈ Rq+

et ε−m ∈Rq+, 1 ≤ m ≤ p. On dénit un hyper-re tangle, noté R

(θ0m, ε

−m, ε

+m

), 1 ≤ m ≤ p, par

R(θ0m, ε

−m, ε

+m

)=θm ∈ R

q|∀1 ≤ j ≤ q,θm − θ0

m

j∈]−ε−mj;ε+mj

[ , (4.2)

où θmj désigne la jieme omposante du ve teur θm. Don R

(θ0m, ε

+m, ε

−m

)délimite un espa e

d'estimation pour le paramètre θ0m. Cette dénition nous servira pour introduire la pré ision et

la résolvabilité d'un estimateur. L'équation (4.2) peut être réé rite sous la forme :

R(θ0m, ε

−m, ε

+m

)=

θm ∈ R

q|∀1 ≤ j ≤ q,

∣∣∣∣∣

θm − θ0

m − dεm2

j

∣∣∣∣∣ ≤ εmj

, (4.3)

ave d εmj = ε+m − ε−mj et εmj =ε+m+ε−mj

2 . On peut alors aisément établir la relation

d'ordre suivante

E1s

(θ0m, ε

−m, ε

+m

)⊂ R

(θ0m, ε

−m, ε

+m

)⊂ Eq

s

(θ0m, ε

−m, ε

+m

), (4.4)

ave

Ers

(θ0m, ε

−m, ε

+m

)=

θm ∈ R

q|q∑

j=1

∣∣∣∣∣

θm − θ0

m − dεm2

j

εmj

∣∣∣∣∣

s

≤ r

, (4.5)

où r = 1 ou q, et s > 0. Ers

(θ0m, ε

−m, ε

+m

)est une généralisation de l'hyper-ellipse orrespondant

au as s = 2. La démonstration de (4.4) est basée sur l'idée suivante : ∀θ ∈ R(θ0m, ε

−m, ε

+m

), nous

avons

∀1 ≤ j ≤ q,

∣∣∣∣∣

θ − θ0

m − dεm2

j

∣∣∣∣∣ ≤ εmj (4.6)

e qui est équivalent à

∣∣∣∣∣

θ − θ0

m − dεm2

j

εmj

∣∣∣∣∣ ≤ 1, pour tout εmj 6= 0. (4.7)

Don , si on élève (4.7) à la puissan e s, nous avons

∀1 ≤ j ≤ q,

∣∣∣∣∣

θ − θ0

m − dεm2

j

εmj

∣∣∣∣∣

s

≤ 1, (4.8)

onduisant à

q∑

j=1

∣∣∣∣∣

θ − θ0

m − dεm2

j

εmj

∣∣∣∣∣

s

≤ q.

On a nalement θ ∈ Eqs

(θ0m, ε

−m, ε

+m

). D'où R

(θ0m, ε

−m, ε

+m

)⊂ Eq

s

(θ0m, ε

−m, ε

+m

). De même, si

θ ∈ E1s

(θ0m, ε

−m, ε

+m

), alors nous avons

q∑

j=1

∣∣∣∣∣

θ − θ0

m − dεm2

j

εmj

∣∣∣∣∣

s

≤ 1, (4.9)

4.3. UNE APPROCHE POUR LA RÉSOLUTION MULTIDIMENSIONNELLE 57

impliquant la relation suivante

∀1 ≤ j ≤ q,

∣∣∣∣∣

θ − θ0

m − dεm2

j

εmj

∣∣∣∣∣ ≤ 1. (4.10)

Cette dernière est équivalent à

∀1 ≤ j ≤ q,

∣∣∣∣∣

θ − θ0

m − dεm2

j

∣∣∣∣∣ ≤ εmj , (4.11)

don θ ∈ R(θ0m, ε

−m, ε

+m

). On en déduit que E1

s

(θ0m, ε

−m, ε

+m

)⊂ R

(θ0m, ε

−m, ε

+m

). Par onséquent,

nous retrouvons bien l'en adrement (4.4). De plus ∀θ ∈ Eqs

(θ0m, ε

−m, ε

+m

), on a l'équivalen e

suivante

q∑

j=1

∣∣∣∣∣

θ − θ0

m − dεm2

j

εmj

∣∣∣∣∣

s

≤ q ⇔q∑

j=1

∣∣∣∣∣

θ − θ0

m − dεm2

j

q1s εmj

∣∣∣∣∣

s

≤ 1

Or q1s →

s→∞1, nous avons don

q∑

j=1

∣∣∣∣∣

θ − θ0

m − dεm2

j

εmj

∣∣∣∣∣

s

−q∑

j=1

∣∣∣∣∣

θ − θ0

m − dεm2

j

q1s εmj

∣∣∣∣∣

s

→s→∞

0.

Ce qui implique que

R(θ0m, ε

−m, ε

+m

)= lim

s→∞Eq

s

(θ0m, ε

−m, ε

+m

)= lim

s→∞E1

s

(θ0m, ε

−m, ε

+m

).

D'après es propriétés, tout hyper-re tangle R(θ0m, ε

−m, ε

+m

)peut être borné par les hypervolumes

E1s

(θ0m, ε

−m, ε

+m

)et Eq

s

(θ0m, ε

−m, ε

+m

)qui onvergent vers une même limite lorsque s tend vers

l'inni. Une illustration de es propriétes est montré dans la gure (4.3) pour diérentes valeurs

de s = 1, 2, 4, 16 en dimension q = 2 (dans le plan) ave ε−m = ε+m = [1, 4]T . Les ourbes en trait

plein orrespondent aux ensembles E1s (0, ε

−m, ε

+m) et les ourbes en pointillées orrespondent

aux ellipses E2s (0, ε

−m, ε

+m). Comme ε−m = ε+m, les ensembles E1

s (0, ε−m, ε

+m) et E2

s (0, ε−m, ε

+m)

admettent deux axes de symétrie : l'axe des abs isses et l'axe des ordonnées. Don on illustre i i

le quart des volumes E1s (0, ε

−m, ε

+m) et E2

s (0, ε−m, ε

+m). On remarque que E1

s (0, ε−m, ε

+m) roît et

E2s (0, ε

−m, ε

+m) dé roît lorsque s augmente et onverge vers un re tangle délimité en abs isse par

1 et en ordonné par 4. Cette propriété d'en adrement des hyper-re tangles permettra dans la

suite de déterminer des valeurs appro hées de la pré ision d'estimation ou du seuil de résolution

limite.

4.3.2 Pré ision d'estimation

La qualité première d'un estimateur est sa pré ision. Elle peut être mesurée par la fon tion

Oθ0m

(θm, ε

−m, ε

+m

)= Pr

(θm ∈ R

(θ0m, ε

−m, ε

+m

))(4.12)

pour tout estimateur θm du paramètre θ0m. C'est la probabilité que les estimées appartiennent à

un hyper-re tangle. A probabilité de résolution Pres xée, plus l'hyper-re tangle est petit, plus

l'estimateur θm sera pré is. Par la propriété d'en adrement (4.4), nous avons

Pr(θm ∈ E1

s

(θ0m, ε

−m, ε

+m

))≤ Oθ0

m

(θm, ε

−m, ε

+m

)≤ Pr

(θm ∈ Eq

s

(θ0m, ε

−m, ε

+m

)). (4.13)

58


PRÉCISION

0 0.5 1 1.5 2

1

2

3

4

5

6

7

8

(θ)1

(θ) 2

s = 1s = 2s = 4s = 16

Figure 4.3 En adrement du re tangle R(θ0, ε−, ε+

)par des ellipses E1

s

(θ0, ε−, ε+

)en trait

plein et E2s

(θ0, ε−, ε+

)en pointillé pour s ∈ 1, 2, 4, 16 et ε− = ε+ = [1 4]T

L'extension de e ritère pour l'estimation d'un ensemble de paramètres θ0 =[(θ01

)T · · ·(θ0p

)T ]Tpar

des estimateurs de type θ =[θT

1 · · · θT

p

]Test dénie par

Oθ0

(θ,Ξ−,Ξ+

)= Pr

( p∩

m=1

[θm ∈ R

(θ0m, ε

−m, ε

+m

)]). (4.14)

où Ξ−+ =[(ε−+1

)T · · ·(ε−+p

)T ]T. L'équation (4.14) dénit la probabilité que l'estimateur θ

appartienne aux domaines dénis par les ensembles

R(θ0m, ε

−m, ε

+m

)m=1...p

. Elle équivaut à

Oθ0

(θ,Ξ−,Ξ+

)= Pr

(θ ∈ R

(θ0,Ξ−,Ξ+

)), (4.15)

où θ ∈ Rpq

et R(θ0,Ξ−,Ξ+

)est un hyper-re tangle dans R

pq. En appliquant l'en adrement

(4.13) dans (4.15), on obtient

Pr(θ ∈ E1

s

(θ0,Ξ−,Ξ+

))≤ Oθ0

(θ,Ξ−,Ξ+

)≤ Pr

(θ ∈ Epq

s

(θ0,Ξ−,Ξ+

)), (4.16)

où E1s

(θ0,Ξ−,Ξ+

)et Epq

s

(θ0,Ξ−,Ξ+

)sont des hyper-ellipses dans R

pq. Cette relation (4.16)

sera utile pour évaluer numériqument la pré ision de l'estimateur Oθ0

(θ,Ξ−,Ξ+

).

4.3. UNE APPROCHE POUR LA RÉSOLUTION MULTIDIMENSIONNELLE 59

4.3.3 Probabilité de résolution

Puisque les données sont aléatoires, il est né essaire de donner un ritère de résolution pro-

babiliste. L'estimateur θ peut résoudre les sour es ave une probabilité de résolution Pres si

Pres = Oθ0

(θ,Ξ−,Ξ+

)= Pr

( p∩

m=1

[θm ∈ R

(θ0m, ε

−m, ε

+m

)]), (4.17)

où ε−mm=1,··· ,p et ε+mm=1,··· ,p sont soumis aux ontraintes

∀i 6= j, R(θ0i , ε

−i , ε

+i

)∩R

(θ0j , ε

−j , ε

+j

)= ∅. (4.18)

La résolution est totale pour θ s'il existe un ensemble d'hyper-re tangles

R(θ0m, ε

−m, ε

+m

)m=1,··· ,p

soumis aux ontraintes (4.18) tel que Pres = 1. Cependant, le support de la distribution des esti-

mées est généralement non borné. Par onséquent, la probabilité Pres est généralement inférieure

à 1. Elle dépend de plusieurs fa teurs : le nombre d'observations, le rapport signal à bruit ou

en ore les volumes onsidérés

R(θ0m, ε

−m, ε

+m

)m=1,··· ,p. La résolution limite onsiste à her her

le plus large ensemble

R(θ0m, ε

−m, ε

+m

)m=1,··· ,p disjoint soumis aux ontraintes (4.18) pour une

probabilité Pres xée.

4.3.4 Cas de distributions gaussiennes

L'évaluation analytique de (4.17) est omplexe sauf si l'on dispose de l'expression analytique

de la fon tion de répartition de l'estimateur θ. Cependant, ette fon tion de répartition n'est

généralement pas a essible et nous avons au mieux une expression expli ite de la densité de pro-

babilité de θ. Une méthode alternative pour évaluer Pres est de al uler les en adrements proposés

par (4.16). Notamment si l'estimateur est gaussien, 'est-à-dire θ ∼ N(θ0 +m

(θ0),C(θ0))

où

θ0est la vraie valeur des paramètres, m

(θ0)est le biais de l'estimateur θ et C

(θ0)sa matri e

de ovarian e. En utilisant l'en adrement (4.16) où le domaine hyper-ellipse peut être é rit sous

la forme

Eλ2

(θ0,Ξ−,Ξ+

)=

θ ∈ R

pq|∥∥∥∥diag

−1(Ξ)(

θ − θ0 − dΞ

2

)∥∥∥∥2

2

< λ

Eλs

(θ0,Ξ−,Ξ+

)=

θ ∈ R

pq|∥∥∥∥diag

−1(Ξ)(

θ − θ0 − dΞ

2

)∥∥∥∥s

2

< λ

ave Ξ = Ξ−+Ξ+

2 , dΞ =Ξ+−Ξ−

2 et diag(Ξ)qui transforme le ve teur Ξ en une matri e diagonale

dont les éléments diagonaux sont eux du ve teur Ξ, on peut démontrer que

Pr(θ ∈ Eλ

2

(θ0,Ξ−,Ξ+

))= FQpq

(λ;

∥∥∥∥diag−1(Ξ)(

m(θ0)− dΞ

2

)∥∥∥∥2

2

,Σ

), (4.19)

où FQpq (x;µ,ν) est une extension de loi de khi deux à pq degrés de liberté de paramètre de non

entralité µ [SK61 et de varian es ν =[σ21 · · · σ2pq

]Toù

σ2ii=1..pq

sont les valeurs propres de

la matri e diag−1(Ξ)C(θ0)diag−1

(Ξ). Remarquons que dans le as où l'estimateur θ est non

60


PRÉCISION

biaisé m(θ0)= 0 et l'intervalle d'erreur admissible est symétrique et entré en θ0

, i.e., dΞ = 0,

alors la fon tion de répartition s'é rit sous la forme expli ite suivante

FQpq (λ; 0,ν) =

(λ2

)pq2

πpq2

√pq

Πi=1σ2i

∞∑

k=0

ωk

(−λ

2

)k

Γ(pq2 + k + 1

)(4.20)

ave

ωk =∑

i1+i2+···+ipq=k

Γ(i1 +

12

)· · ·Γ

(in + 1

2

)

i1! · · · in!σi11 · · · σipqpq

, (4.21)

où Γ (.) est la fon tion gamma. La forme générale de l'expression de FQpq est donné dans [SK61.

Une méthode alternative numérique permettant d'évaluer FQpq (λ;µ,ν) est d'utiliser sa densité

de probabilité dénie par

fQpq (λ;µ,ν) = fχ(λ;µ1, σ

21

)∗ · · · ∗ fχ

(λ;µpq, σ

2pq

)(4.22)

où ∗ est le produit de onvolution et fχ (.) désigne la densité de probabilité de la variable aléatoireχ donnée par [Mui09

fχ(λ;µi, σ

2i

)=e−λ+µi

2σ2i

2σ2i

(λµiσ4i

)− 14

I0

(√λµiσ4i

)(4.23)

où I0 (.) est la fon tion de Bessel modiée de première espè e et d'ordre 0. Notons que l'en adre-ment établi dans (4.16) devient de plus en plus étroit lorsque s augmente. A notre onnaissan e,

il n'existe pas dans la littérature une méthode d'évaluation de Pr(θ ∈ Eλ

s

(θ0,Ξ−,Ξ+

))lorsque

s > 2. Néanmoins, nous pouvons toujours déterminer dire tement Pres en intégrant numérique-

ment sur le volume hyper-re tangle la distribution des estimées lorsque ette dernière est onnue.

Pour les distributions gaussiennes multivariées, la probabilité de résolution Pres peut être évaluée

numériquement à l'aide de l'algorithme proposé par [Gen92.

4.4 Appli ation à la lo alisation de sour es

4.4.1 Performan e asymptotique du maximum de vraisemblan e onditionnel

La lo alisation et la séparabilité des sour es sont des problèmes ourants en traitement d'an-

tennes, motivées au départ par des usages militaires puis par des appli ations iviles telles que

le positionnement par satellites ou la téléphonie mobile. Considérons le problème d'estimation

suivant : on souhaite lo aliser P sour es lointaines à l'aide d'un réseau de N antennes. Le modèle

d'observation est [Van02

x (t) = A(θ0)s (t) + b (t) , (4.24)

où x (t) ∈ CN

ontient les données olle tées par le réseau d'antennes à l'instant t, θ0 =[θ01 θ

02 · · · θ0P

]T ∈ CPest le ve teur qui ontient les dire tions d'arrivée des sour es, A (θ) =[

a(θ01)a(θ02)

· · · a(θ0P)]

∈ CN×P

est la matri e dire tionnelle, a (.) est le ve teur dire tionnel,s (t) ∈ R

Preprésente les signaux émis par les sour es et b (t) ∈ C

Nest le bruit de mesure. Les

paramètres d'intérêt sont les dire tions d'arrivée des sour es θ0, qui sont supposées in onnues

4.4. APPLICATION À LA LOCALISATION DE SOURCES 61

et non aléatoires. Le bruit b (t) est aléatoire suivant une loi supposée gaussienne omplexe, ir-

ulaire de moyenne nulle et de matri e de ovarian e σ2IN . Dans le as du modèle onditionnel

(le ve teur s (t) est in onnu et non aléatoire), il est montré dans [RFCL06 que l'estimateur du

maximum de vraisemblan e déterministe suit asymptotiquement une loi gaussienne à fort rap-

port signal sur bruit. Don , pour une série de T mesures où les instants d'é hantillonnage sont

dénis par le ve teur t = [t1 t2 · · · tT ]T , nous avons [RFCL06, eq (26)

θMV ∼ N(θ0,BCR

), (4.25)

ave

BCR =σ2

2T

[Re(DHPA⊥D⊙ ST

)]−1,

où les expressions intervenant dans la BCR sont dénies par :

D =

[da (θ)

dθ

∣∣∣∣θ=θ01

da (θ)

dθ

∣∣∣∣θ=θ02

· · · da (θ)

dθ

∣∣∣∣θ=θ0P

], (4.26)

PA⊥ = IN −A(θ0) (

A(θ0)AH

(θ0))−1

A(θ0), (4.27)

et

S =1

T

T∑

i=1

s (ti) sH (ti) . (4.28)

4.4.2 Simulations

Le but de ette se tion est de omparer le ritère de résolution proposé ave eux exhibés dans

la littérature. Considérons le as d'une antenne linéaire uniforme omposée de N = 32 apteurs.

Supposons que les deux sour es sont étroitement espa ées de δ = θ01−θ02 = 1kN

ave le paramètre

k ∈ 2, 4, 8, 16, 32. Le ve teur dire tionnel s'é rit a (θ) =[1 ej2π sin(θ) · · · ej2π(N−1) sin(θ)

]Tet

l'amplitude s (t) =√

RSBN

[1 1]T . Nous onsidérons des hyper-re tangles (dégénérant en des

segments dans le as présent) symétriques de largeur Ξ− = Ξ+ =[δ2

δ2

]Tpour Pres (4.17)

tels que les estimées pour haque paramètre appartiennent à des intervalles disjoints. Il s'agit de

trouver le RSB minimal permettant de résoudre les sour es ave une probabilité de résolution

Pres = 0.95 pour une séparation angulaire de δ donnée. Comme nous l'avons mentionné à la

se tion (4.3.4), l'évaluation de Pres pour une distribution gaussienne est numériquement lourde

et il est plus simple de la borner par l'en adrement (4.16). Ces bornes pour s = 2 peuvent être

obtenues en intégrant la densité de probabilité (4.22) qui s'é rit simplement dans e as

fQ2

(λ; 0,σ2

)=e−λ

4

(1

σ21+ 1

σ22

)

2σ1σ2I0

(λ

4

(1

σ22− 1

σ21

)), (4.29)

où I0(.) est la fon tion de Bessel modiée de première espè e et d'ordre 0. Nous montrons dans

la gure (4.4), un exemple d'en adrement de Pres permettant de résoudre les sour es distantes

de δ = 1128 rad en fon tion du RSB. Conformément à l'intuition, plus le RSB augmente, plus

la probabilité de résolution Pres augmente par en adrement par es deux bornes. Les deux

bornes permettent de déterminer l'intervalle de RSB, [RSBmin, RSBmax] ontenant RSBres,

62


PRÉCISION

10 15 20 25 30 35 400

0.10.20.30.40.50.60.70.80.9

1

RSB [dB10]

Pro

babi

lité

L’encadrement de la probabilité de résolution Pres

Borne inférieureBorne supérieure

Figure 4.4 En adrement de la probabilité de résolution en fon tion du RSB à l'aide de la relation

(4.16) ave s = 2.

'est à dire le RSB garantissant la résolution des 2 sour es pour une probabilité Pres donnée (Par

exemple, RSBres ∈ [32, 35]dB si Pres = 0.95), le RSBmin étant fourni par la borne supérieure. La

gure (4.5) ompare les diérents ritères de résolution. Plus pré isement, nous donnons les RSB

minimaux requis, en fon tion de la résolution limite δ, pour le ritère de résolution de Lee-Yau-

Bressler (noté LYB) [Lee93,YB92, pour le ritère de Smith (noté S) [Smi05, pour le ritère de

Shahram-Milanfar (noté SM) [SM04 obtenu ave une probabilité de déte tion Pd = 0.95 et une

probabilité de fausse alarme Pd = 0.1, pour le ritère de Amar-Weiss (noté AW) [AW08 obtenu

ave une probabilité de déte tion Pd = 0.95 et pour les bornes inférieures et supérieures de notre

ritère de résolution ave une probabilité de résolution de 0.95 (notées respe tivement BI P = 0.95et BS P = 0.95). Nous remarquons que, parmi tous les ritères mentionnés, le ritère proposé

est le plus exigeant dans le sens où il né essite un RSB important. Contrairement aux ritères

de résolution lassiques qui se fo alisent uniquement sur la résolvabilité du problème, notre

ritère permet non seulement de résoudre les paramètres mais également d'évaluer la pré ision de

l'estimateur en restreignant les valeurs estimées dans les hypervolumes susmentionnés. Il permet

don de ara tériser les performan es en termes de résolution et de pré ision d'un estimateur en

présen e de plusieurs paramètres. Ce i a fait l'objet d'une publi ation dans IEEE Transa tions

on Signal Pro essing. Ce papier est joint en annexe C.

4.4. APPLICATION À LA LOCALISATION DE SOURCES 63

Figure 4.5 Le RSB minimal requis pour la résolution de deux sour es pro hes séparées de δ = 1kN

ave N = 32 et k ∈ 2, 4, 8, 16, 32

64


PRÉCISION

Chapitre 5

Con lusion et Perspe tives

A travers les nombreux développements historiques, for e est de onstater que la mesure

de performan e en estimation la plus polyvalente d'un point de vue appli atif est l'EQM pour

laquelle des grandes familles de bornes inférieures ont été mises en éviden e, quelle que soit la

nature des paramètres : déterministes, aléatoires ou hybrides.

La borne inférieure de l'EQM la plus appli ative est lairement la borne de Cramér-Rao qui bé-

né ie non seulement d'une simpli ité de formulation (en parti ulier, au travers de la formule de

Slepian-Bang [Sle54,Ban71 et de ses extensions au as de distributions symétriques elliptiques

omplexes [BA13,GG13, PR10) mais également d'extensions parti ulièrement bien adaptées à

l'analyse des performan es en estimation : la prise en ompte des ontraintes d'égalités ou en ore

ses diérentes formes ré ursives pour les systèmes non linéaires. Bien entendu, la ontre-partie

est qu'il s'agit d'une borne inférieure qui n'est informative qu'en zone asymptotique. En eet,

elle ne permet pas de prédire le seuil de dé ro hement qui délimite la zone de fon tionnement

optimal des estimateurs et qui est en général déni, en le majorant par des valeurs, a priori, de

bon sens en terme de RSB (par exemple > 40dB ) et/ou du nombre d'observations indépendantes

(par exemple > 100).Une première étape an d'améliorer la valeur informative des bornes inférieures de l'EQM est de

passer de la borne de Cramér-Rao aux "Large Error Bounds" en utilisant des points-tests dont le

prin ipal mérite est la apa ité à prendre en ompte le seuil de dé ro hement. Ave le dur isse-

ment des ahiers des harges (temps d'a quisitions réduits, environnements éle tromagnétiques

perturbés, et .), les estimateurs sont désormais amenés à travailler dans une région de plus en

plus pro he de ette limite, voire en dessous. En onséquen e, la prédi tion de la valeur du RSB

ou du nombre d'observations pour laquelle ette rupture brutale des performan es apparaît est

fondamentale dans l'étude des performan es en estimation. Nos premiers résultats obtenus pour

les familles de bornes inférieures hybrides de Barankin-Weiss-Weinstein [RGC

+13,RGC

+15b et

de Barankin-Ziv-Zakai [RGC

+14 tendent à montrer qu'il s'agit dans e domaine, à moyen terme,

prin ipalement d'une re her he a adémique portant sur la formulation plutt que sur l'implé-

mentation, en raison d'un oût de al ul en ore rédhibitoire pour la plupart des appli ations

pratiques. Dans ette perspe tive, il serait pertinent :

1. pour une utilisation pratique, de formuler le al ul de la borne Barankin-Weiss-Weinstein

hybride [RGC

+15b pour des observations gaussiennes à moyenne et/ou ovarian e para-

métrée dans le as général (nous ne sommes parvenus à ara tériser qu'un sous-ensemble

de es modèles d'observations à savoir le as gaussien à moyenne paramétrée).

2. d'étendre nos travaux sur les bornes inférieures hybrides de Barankin-Ziv-Zakai [RGC

+14

65

66 CHAPITRE 5. CONCLUSION ET PERSPECTIVES

au as multiparamètres et multiples points test ( e qui ne devrait pas être trivial au vu de

la omplexité des al uls dans le as monoparamètre mono point test). En eet en terme de

pré ision, il est bien onnu dans le as bayésien, que les deux familles de bornes inférieures,

Ziv-Zakai et Weiss-Weinstein, se disputent le titre de la borne la plus pré ise suivant

l'appli ation onsidérée [VRBM14,BSEV97,VB07. De plus, nous ne sommes parvenus à

ara tériser ette borne que pour les modèles gaussiens à moyenne paramétrée et il serait

intéressant d'étendre es résultats au as de modèles gaussiens à ovarian e paramétrée.

3. d'étendre, au as de l'estimation de paramètres hybrides, les formes ré ursives des bornes

bayésiennes de Weiss-Weinstein pour les systèmes non linéaires Markoviens établies dans

[RO07,XGMM13, e qui onstituerait également une extension de la BCRH ré ursive.

4. d'étendre la prise en ompte des ontraintes égalités [GO91,RGC

+15a (tout ou partie) sur

les paramètres déterministes aux "Large Error Bounds" dans les ontextes déterministes

et hybrides.

5. de traiter le as des moments d'ordres supérieures (> 2) an de ompléter l'analyse des

performan es des estimateurs. Nous pensons en parti ulier à utiliser dans un premier

temps l'inégalité générale proposée dans [WW88 et à l'étendre au as de l'estimation

hybride.

6. de s'intéresser aux performan es des estimateurs hybrides dans un ontexte malspé i-

é. En eet, le premier résultat présenté dans e do ument ne traite que de la borne

de Cramér-Rao malspé iée dans un ontexte déterministe seulement. Notons que l'ob-

tention d'une borne de Cramér-Rao hybride malspé iée passera for ément par la mise

en pla e d'un résultat de onvergen e en probabilité de l'estimateur du maximum de

vraisemblan e/maximum a posteriori similairement aux travaux d'Huber et de White

[Hub67,Whi82.

Comme nous l'avons mentionné, l'EQM n'est pas la seule mesure de performan e. La se onde

étape est don l'utilisation d'une mesure alternative et potentiellement plus informative, e qui

reste un axe de re her he très prospe tif qui a d'ailleurs été relativement peu exploré théorique-

ment [Bar49,WW88,OK91,Cla95 en traitement statistique du signal et pour lequel nous avons

ontribué [RkG

+14. Par ailleurs, et axe béné ie de peu de résultats pratiques alors qu'il s'agit

d'une piste d'un grand intérêt puisqu'elle pourrait permettre à terme de pouvoir ara tériser

les performan es en estimation des systèmes à partir des probabilités et non plus des moments.

Nous avons déjà montré que la mesure de pré ision par la fon tion de répartition se simplie

notablement pour peu que la lasse d'estimateurs onsidérés soit gaussienne. C'est pourquoi nous

avons proposé un test relativement simple pour établir la "zone de gaussianité" des estimateurs

du maximum de vraisemblan e pour un modèle d'observation gaussien à moyenne paramétrée.

Dans ette perspe tive, il serait pertinent :

1. de généraliser la pro édure de test de la "zone de gaussianité" de l'estimateur du maximum

de vraisemblan e proposée dans [RkG

+14 aux modèles onsidérés dans [MGCL14. Ce i

permettrait à terme d'unier es deux résultats et de présenter un outil général d'aide à

la on eption des systèmes de mesure basée sur une pré ision plus informative.

2. de re her her une pro édure de test de la "zone de gaussianité" de l'estimateur du maxi-

mum de vraisemblan e pour un modèle d'observations gaussiens à ovarian e paramétrée,

sa hant que et estimateur n'est pas gaussien à fort RSB et pour un faible nombre d'ob-

servations indépendantes [RFBL07.

67

Enn, les travaux traités de e do ument on ernent des modèles d'observations non-standards,

en un ertain sens, mais dans lesquels nous avons onsidéré le bruit gaussien, e qui reste

très standard en traitement du signal. Depuis quelques années, d'autres modèles, plus géné-

raux et in luant le modèle gaussien, ont été étudiés. Nous pensons en parti ulier aux modèles

suivant une loi symétrique elliptique omplexe qui permettent de dé rire un large ensemble

de phénomènes aléatoires et qui, par onséquent, embrassent un grand nombre d'appli ations

en traitement du signal moderne. Les premiers résultats intéressants, obtenus par exemple

dans [BA13,GG13,AB15,GMV00, PCO

+08, PFOL08, nous suggèrent la perspe tive d'étendre

l'ensemble de nos travaux pour e type de distribution.

68 CHAPITRE 5. CONCLUSION ET PERSPECTIVES

Annexe A

Etude de la matri e C

A.1 La borne de Barankin-Weiss-Weinstein hybride

Pour obtenir la borne de Barankin-Weiss-Weinstein hybride, il faut appliquer l'inégalité de

ovarian e (2.1) ave le hoix de v (x,θ) déni par (2.52) et (2.53). Nous allons montrer que

sous les ontraintes (R1), (R2) et (R3), la matri e C est bien indépendante de l'estimateur

θ. En eet, si nous dé omposons par blo s la matri e C ∈ R(D+R)×(I+J)

, 'est-à-dire C =[C(D+R)I

CDJ

CRJ

]ave C(D+R)I ∈ R

(D+R)×I, CDJ ∈ R

D×Jet CRJ ∈ R

R×J. Notons A:,m

le m

iemeve teur olonne de la matri e A, or d'après (2.45) :

C(D+R)I

:,i

= Ex,θr |θd

[(θ − θ

)v (x,θ)i

]= hi, ∀1 ≤ i ≤ I (A.1)

Avant de al uler les matri es CDJ ∈ RD×J

et CRJ ∈ RR×J

, nous donnons un résultat

préliminaire : Pour toute fon tion réelle mesurable g (x,θd), indépendante de θr, dénie sur

Ω×Πd, 0 < mj < 1 et pour tout h =[0T hT

r

]T, nous avons

∫

Πr

g (x,θd)

(fmj

x,θ (x,θ + h)

fmj

x,θ (x,θ)−f1−mj

x,θ (x,θ − h)

f1−mj

x,θ (x,θ)

)fx,θ (x,θ) dθr

= g (x,θd)

∫

Πr

(fmj

x,θr;θd(x,θr + hr;θd) f

1−mj

x,θr ;θd(x,θr;θd)

−fmj

x,θr ;θd(x,θr;θd) f

1−mj

x,θr ;θd(x,θr − hr;θd)

)dθr.

Or Πr satisfait la relation (R3), don nous obtenons par le hangement de variable θ′r = θr−hr :

∫

Πr

fmj

x,θ

(x,θ′

r + hr;θd

)f1−mj

x,θ

(x,θ′

r;θd

)dθ′

r =

∫

Πr

fmj

x,θ (x,θr;θd) f1−mj

x,θ (x,θr − hr;θd) dθr,

onduisant à

∫

Πr

g (x,θd)

(fmj

x,θ (x,θ + h)

fmj

x,θ (x,θ)−f1−mj

x,θ (x,θ − h)

f1−mj

x,θ (x,θ)

)fx,θ (x,θ) dθr = 0, ∀θd ∈ Πd (A.2)

Remarques

69

70 ANNEXE A. ETUDE DE LA MATRICE C

Cette égalité onstitue une extension des onditions satisfaites par la famille des bornes

de Weiss-Weinsten [WW85, (1)(2) dans le as bayésien aux as de l'estimation hybride

en substituant f (x,θr;θd) par f (x,θr).

Notons que si h =[hTd hT

r

]Tave hd 6= 0, alors la ondition d'orthogonalité (A.2) ne sera

pas satisfaite, e qui onduira à une dépendan e des matri es CDJ et CRJ envers θ.

Par onséquent, ∀1 < j < J , les fon tions vI+j

(x,θ) dénies par (2.53) permettent d'obtenir

la relation suivante :

Ex,θr ;θd

[g (x,θd) vI+j

(x,θ)]= 0. (A.3)

Pour tous les ve teurs olonnes de CdJ et CrJ notés respe tivement CdJ:,j et CrJ:,j 1 ≤j ≤ J , nous en déduisons

CdJ:,j = Ex,θr|θd

[(θd (x)− θd

)v (x,θ)I+j

]= 0, (A.4)

et

CrJ:,j = Ex,θr |θd

[(θr (x)− θr

)v (x,θ)I+j

]

= −Ex,θr|θd

[θr v (x,θ)I+j

]

= hr(I+j)Ex,θr |θd

[f1−mj (x,θ − hI+j)

f1−mj (x,θ)

]. (A.5)

A.2 La borne de Barankin Ziv-Zakaï hybride

Par dénition deV = EX,θ

[v (x,θ)vT (x,θ)

], les hoix de vd et vr donnés par (2.77) et (2.78)

onduisent aux expressions (2.81), (2.82) et (2.83) sans di ulté al ulatoire majeure. Il reste à

montrer que la matri e C ne dépend pas de θ pour obtenir une nouvelle borne. Il est évident

que les éléments C1,1 et C2,1 sont indépendants de θ en suivant le même raisonnement que

pour la borne de Barankin hybride. Pour obtenir une simpli ation de C1,2 et C2,2, nousintroduisons d'abord un résultat préliminaire : pour tout fon tion réelle mesurable l (x,θd) déniesur Ω×Πd et pour tout h = (0 hr)

Ttel que θr + hr ∈ Πr, nous avons

∫

Πr

l (x,θd)

(min

(fx,θ (x,θ + h)

fx,θ (x,θ), 1

)−min

(fx,θ (x,θ − h)

fx,θ (x,θ), 1

))f (x,θ) dθr (A.6)

= l (x,θd)

∫

Πr

(min (fx,θ (x,θ + h) , f (x,θ))−min (fx,θ (x,θ − h) , fx,θ (x,θ))) dθr.

=

∫

Πr

min (fx,θr;θd (x,θr + hr; θd) , fx,θr;θd (x,θr; θd)) dθr

−∫

Πr

min (fx,θr;θd (x,θr − hr; θd) , fx,θr ;θd (x,θr; θd)) dθr (A.7)

Or en ee tuant le hangement de variable θ′r = θr + hr, le domaine d'intégration reste Πr par

l'hypothèse (R3) don

∫

Πr

min (f (x,θr + hr; θd) , f (x,θr; θd)) dθr =

∫

Πr

min(f(x,θ′r; θd

), f(x,θ′r − hr; θd

))dθ′r.

(A.8)

A.2. LA BORNE DE BARANKIN ZIV-ZAKAÏ HYBRIDE 71

En remplaçons (A.8) dans (A.6), nous obtenons :

∫

Πr

l (x,θd)

(min

(f (x,θ + h)

f (x,θ), 1

)−min

(f (x,θ − h)

f (x,θ), 1

))f (x,θ) dθr = 0, ∀θd ∈ Πd. (A.9)

Nous remarquons que :

• e résultat est similaire à la ondition (1) dans [WW88 ave une légère diéren e près puisque

la densité de probabilité jointe dépend de θd.• si nous hoisissons h = [hd hr] ave hd 6= 0 dans (A.6), alors la propriété (A.9) dépendra de x

et don les éléments C1,2 et C2,2 dépendront de θ.

Maintenant, on ernant C1,2, nous avons

C1,2 = Ex,θr ;θd

[(θd − θd

)vr

]

= 0,

en utilisant (A.9) ave l (X,θd) = θd − θd.Con ernant C1,2, nous avons

C2,2 = Ex,θr ;θd

[(θr − θr

)vr

]

=

∫

Ω

∫

Πr

θr

[min (f (x,θ − h2) , f (x,θ))−min (f (x,θ + h2) , f (x,θ))

]dθrdX, (A.10)

en utilisant (A.9) ave l (x,θd) = θr. Par un hangement de variables θ′r = θr − h2r, le domaine

d'intégration Πr est in hangé d'après l'hypothèse (R3) et nous obtenons

∫

Πr

θr min (f (x,θr − h2r; θd) , f (x,θr; θd)) dθr

=

∫

Πr

θ′r min(f(x,θ′r; θd

), f(x,θ′r + h2r; θd

))dθ′r

+h2r

∫

Πr

min(f(x,θ′r; θd

), f(x,θ′r + h2r; θd

))dθ′r. (A.11)

Par onséquent, en remplaçant (A.11) dans (A.10), nous avons

C2,2 = h2rEx,θ

[min

(f (x,θ + h2)

f (x,θ), 1

)]. (A.12)

Nous avons montré nalement que e hoix de v (x,θ) donné par (2.77) et (2.78) aboutit bien à

une borne indépendante de θ.

72 ANNEXE A. ETUDE DE LA MATRICE C

Annexe B

Re ursive hybrid Cramér-Rao bound

for dis rete-time Markovian dynami

systems

IEEE Signal Pro essing Letters, Volume : 22, Issue : 10, O t. 2015, pp. 1543-1547

73

74

ANNEXE B. RECURSIVE HYBRID CRAMÉR-RAO BOUND FOR DISCRETE-TIME MARKOVIAN

DYNAMIC SYSTEMS

1

Recursive hybrid Cramer-Rao bound for

discrete-time Markovian dynamic systemsChengfang Ren, Jerome Galy, Eric Chaumette, Francois Vincent, Pascal Larzabal and Alexandre Renaux

Abstract—In statistical signal processing, hybrid parameterestimation refers to the case where the parameters vector toestimate contains both non-random and random parameters. Asa contribution to the hybrid estimation framework, we introducea recursive hybrid Cramer Rao lower bounds for discrete-timeMarkovian dynamic systems depending on unknown determinis-tic parameters. Additionnally, the regularity conditions requiredfor its existence and its use are clarified.

Index Terms—Parameter estimation, dynamic Markovian sys-tems, estimation error lower bound

I. INTRODUCTION

Since its introduction in the context of array shape cali-

bration [1], hybrid parameter estimation has given rise to a

growing interest as both random and nonrandom parameters

occur simultaneously in miscellaneous estimation problems

[2]-[9]. However, the hybrid estimation framework is not just

the simple concatenation of the Bayesian and non-Bayesian

techniques and new estimators have to be derived [10, §1.1].

Similarly, performance analysis methods of such estimators

has to be modified accordingly, which is the aim of hybrid

lower bounds on the mean square error (MSE).

The first hybrid lower bound, the so-called hybrid Cramer-

Rao bound (HCRB), has been introduced in [1] where the

random parameters have a prior probability density function

(pdf) independent from deterministic parameters. This initial

characterization of hybrid estimation has been generalized

by Reuven and Messer [2] who introduced the first ”large-

error” hybrid bound, the so-called hybrid Barankin Bound

(HBB), in order to handle the threshold phenomena and of

which one limiting form yields the HCRB. This seminal

work [2] has been lately extended to new ”large-error” hybrid

bounds [7][11][12] in order to improve the estimation of

the transition region where the threshold phenomena occurs.

Unfortunately, the computational cost of hybrid ”large-error”

bounds is prohibitive in most applications when the number

of unknown parameters increases. Concurrently, an extension

Chengfang Ren and Alexandre Renaux are with Universite Paris-Sud/LSS 3,Rue Joliot-Curie, 91192 Gif-sur-Yvette, France. Emails: [email protected],[email protected]

Jerome Galy is with Universite de Montpellier 2/LIRMM, 161 rue Ada34392 Montpellier Cedex 5, France. Email: [email protected]

Eric Chaumette and Francois Vincent are with University of Toulouse-ISAE, DEOS, 10 Avenue Edouard Belin, 31055 Toulouse, France. Emails:[email protected], [email protected]

Pascal Larzabal is with Universite Paris-Sud/SATIE, 61 av. du PresidentWilson, 94235 Cachan, France. Email: [email protected]

This work has been partially supported by the European Network ofexcellence NEWCOM#, by the iCODE institute, research project of the IDEXParis-Saclay, by the DGA/DGCIS and by the Display-Mastodons project ofCNRS.

of the HCRB where the prior pdf of the random parameters

depends on deterministic parameters was proposed in [6] and

its asymptotic tightness was further analyzed in [13]. All

these works have shown that, like the deterministic CRB and

Bayesian CRB (BCRB), the HCRB is valid in the asymptotic

region only, i.e., when signal to noise ratio is high or the

number of observations is large.

In the Bayesian estimation framework, discrete-time Marko-

vian dynamic systems (MDS) arises in various applications

such as adaptive control, analysis, and prediction of non-

stationary time series [14]. As is well known, the optimal

estimator for this problem cannot be built in general, and it

is necessary to turn to one of the large number of existing

suboptimal filtering techniques [14]. Assessing the achiev-

able performance may be difficult, and we have to resort

to simulations and comparing proximity to bayesian lower

bounds corresponding to optimum performance [10][15][16].

Actually, most discrete-time MDS incorporate some determin-

istic parameters which can be either known [10] or unknown

[6] according to the experimental conditions. Even when the

deterministic parameters are known, some of the true values

may originate from a prior calibration process which accuracy

impacts on the optimum performance of random parameter

estimates. In both cases, there is a need for computationally

tractable hybrid lower bounds for discrete-time MDS depend-

ing on unknown deterministic parameters.

As a contribution, we introduce the first recursive form of

an hybrid lower bound for discrete-time MDS, namely the

recursive HCRB, which, provided that one keeps in mind

its limitations, is a lower bound of great interest for system

analysis and design in the asymptotic region. Additionally we

discuss the regularity conditions required for the existence and

the use of the recursive HCRB, which are critical to understand

not only the applicability limit of the recursive HCRB but also

why, in most case, the posterior BCRB cannot be transformed

into the recursive HCRB as it is misleadingly suggested in

[15][16].

II. RECURSIVE HCRB FOR DISCRETE-TIME MDS

In hybrid parameter estimation one wishes to estimate an

unknown hybrid parameter vector (x;θ)1 from a random ob-

servation vector y ∈ RN ′

. Some prior knowledge is available

on random parameter x ∈ RP ′

that is incorporated by an

a priori pdf p (x) which support is a subset Πr of RP ′

.

No such knowledge is available on θ ∈ Πd ⊂ RD′

and

1For L column vectors al, (a1;a2; . . . ;aL) , (aT

1,aT

2, . . . ,aT

L)T

denotes the vertical concatenation

75

2

thus it is considered deterministic. In the general case, p (x)may depend on the unknown parameter θ, and it is denoted

p (x|θ). The conditional pdf of y given x parameterized by θ

is p (y|x,θ) and their joint pdf parameterized by θ is given

by p (y,x|θ) = p (y|x,θ) p (x|θ). Then, for any estimators

θ (y) of θ and x (y) of x, one of the possible lower bounds

[10][11][12] deriving from the covariance inequality principle

(16) is the HCRB which usual form is given by [10]:

Ey,x|θ

[e (y) e (y)

T] HCRBx,θ = J−1

x,θ, (1)

Jx,θ = Ey,x|θ

[∂ ln p (y,x|θ)

∂ (x;θ)

∂ ln p (y,x|θ)

∂ (x;θ)T

], (2)

where e (y) = (x (y) − x; θ (y) − θ), Ey,x|θ [g (y,x)] is

the statistical expectation of the vector of functions g ( ) with

respect to y and x parameterized by θ, and for two matrices,

A B means that A − B is positive semi-definite. The

regularity conditions for the hybrid Fisher information matrix

(HFIM) Jx,θ to be of the usual form (2) are (see Section III):

R1): Πr = RP ,

(R2): Ey,x|θ

[∂ ln p(y,x|θ)

∂xp

2], Ey,x|θ

[∂ ln p(y,x|θ)

∂θd

2]<∞.

Moreover, under its usual form (1), the HCRB is a

lower bound for the class of estimates satisfying (R3):

Ey,x|θ

[(x (y)− x; θ (y)− θ

)]= (µ;0).

Our main concern is the derivation of a computationally

tractable HFIM (2) for hybrid discrete-time MDS represented

with the state and measurement equations:

xk = fk−1 (xk−1,wk−1,α) , yk = hk (xk,vk,λ) (3)

where k ≥ 1 is a time index, xk is the P -dimensional

state vector, yk is the N -dimensional measurement vector,

fk ( , ,α) and hk ( , ,λ) are known parametric vector func-

tions depending on an unknown deterministic parameter vector

(α and λ respectively). The process noise sequence wk and

the measurement noise sequence vk are mutually indepen-

dent white sequences described by known pdfs p (wk|β) and

p (vk|µ), respectively, depending on an unknown deterministic

parameter vector (β and µ respectively). The noises are

independent of the initial state x0 described by the known

pdf p (x0|α). Let θ = (λ;µ;α;β) be the vector gathering

all the unknown deterministic parameters. The state transition

and the measurement pdfs depend on unknown deterministic

parameters:

p (xk|xk−1) , p (xk|xk−1,α,β) , p (yk|xk) , p (yk|xk,θ) ,

and we suppose that both p (xk|xk−1) and p (yk|xk) are twice

differentiable with respect to all their arguments. We adopt the

notational convention: ∀l ≤ k, δl:k = (δl; . . . ; δk) where all

vectors are of same dimension. Since (3) is a MDS:

p (y1:k,x0:k|θ) = p (x0|α)k∏

l=1

p (yl|xl,θ) p (xl|xl−1,α,β)

(4)

From a theoretical point of view, we are primarily interested

in the HFIM (2) on (x;θ) , (xk;θ) associated to the

observation vector y , y1:k resulting from the set of k

measurements y1,...,yk:

Jxk,θ = Ey1:k,xk|θ

[∂ ln p (y1:k,xk|θ)

∂ (xk;θ)

∂ ln p (y1:k,xk|θ)

∂ (xk;θ)T

]

which alternative formula is [1][2][10]:

Jxk,θ = Ey1:k,xk|θ

[−∂2 ln p (y1:k,xk|θ)

∂ (xk;θ) ∂ (xk;θ)T

](5)

Unfortunately the computation of (5) requires the derivation

of the marginal pdf p (y1:k,xk|θ) from (4) which is gener-

ally mathematically intractable [1][10][15]. However an upper

bound of (5) can be derived from the HFIM (2) on (x;θ) ,(x0:k;θ) associated to the observation vector y , y1:k:

Jx0:k,θ = Ey1:k,x0:k|θ

[−∂2 ln p (y1:k,x0:k|θ)

∂ (x0:k;θ) ∂ (x0:k;θ)T

]. (6)

Indeed, if we decompose Jx0:k,θ as:

Jx0:k,θ =

[J11k Bk

BTk Ck

],

J11k = Ey

1:k,x0:k|θ

[−∂2 ln p(y

1:k,x0:k|θ)

∂x0:k−1∂xT0:k−1

]

Bk = Ey1:k,x0:k|θ

[−∂2 ln p(y

1:k,x0:k|θ)

∂x0:k−1∂(xk;θ)T

]

Ck = Ey1:k,x0:k|θ

[−∂2 ln p(y

1:k,xk|θ)

∂(xk;θ)∂(xk;θ)T

],

then a generalization of Proposition 1 in [17] (which proof

follows lines similar to the proof of Theorem 1 in [13]) to

hybrid estimation yields:

Jxk,θ Jxk,θ ⇔ HCRBxk,θ J−1xk,θ

, (7)

where:

Jxk,θ = Ck −BTk

(J11k

)−1Bk, (8)

and leading to:

Ey,x|θ

[e (y) e (y)

T] J−1

xk,θ. (9)

J−1xk,θ

defines a looser (in comparison with HCRBxk,θ) but

general computable hybrid bound for discrete-time MDS pdf

(4). Additionally Jxk,θ is computationally tractable: it can

be assessed without computing the inverse of large matrices

such as (PK × PK) matrix J11k . Indeed Jxk,θ (8) can be

decomposed into block matrices:

Jxk,θ =

[Jxk,xk

k Jxk,θk

Jθ,xk

k Jθ,θk

](10)

which obey the recursion (see the Appendix for details):

∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣

Jxk,xk

k = D22k−1 −

(D12

k−1

)T (D11

k−1 + Jxk−1,xk−1

k−1

)−1

D12k−1

Jxk,θk = D23

k−1 −(D12

k−1

)T (D11

k−1 + Jxk−1,xk−1

k−1

)−1

×(D13

k−1 + Jxk−1,θ

k−1

)

Jθ,θk = D33

k−1 + Jθ,θk−1 −

(D13

k−1 + Jxk−1,θ

k−1

)T

×(D11

k−1 + Jxk−1,xk−1

k−1

)−1 (D13

k−1 + Jxk−1,θ

k−1

)

(11)

76


DYNAMIC SYSTEMS

3

where:∣∣∣∣∣∣∣∣∣∣∣∣∣

D11k−1 = Exk,xk−1|α,β

[−∂2 ln p(xk|xk−1,α,β)

∂xk−1∂xT

k−1

]


[−∂2 ln p((xk|xk−1,α,β))

∂xk−1∂xT

k

]

D22k−1 = Eyk,xk|θ

[−∂2 ln p(yk|xk,θ)

∂xk∂xT

k

]

+ Exk,xk−1|α,β

[−∂2 ln p((xk|xk−1,α,β))

∂xk∂xT

k

]

(12)∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣


[−∂2 ln p((xk|xk−1,α,β))

∂xk−1∂θT

]



∂xk∂θT

]

+ Exk,xk−1|α,β

[−∂2 ln p((xk|xk−1,α,β))

∂xk∂θT

]



∂θ∂θT

]

+ Exk,xk−1|α,β

[−∂2 ln p((xk|xk−1,α,β))

∂θ∂θT

]

(13)

Jx0,θ = Ex0|θ

−∂2 ln p (x0|α)

∂ (x0;θ) ∂(xT0 ,θ

T)

(14)

Using definition (10) of Jxk,θ and the associated recursion

(11) only involve computations with matrix of dimension

(max D,P ×max D,P). Therefore it seems adequate

to name Jxk,θ and J−1xk,θ

the ”recursive” HFIM and HCRB

(for discrete-time MDS), respectively. Some special cases of

interest can be easily derived by updating the definitions

of θ, p (xk|xk−1), p (yk|xk) and p (x0|α) accordingly. For

instance, if θ = ∅, i.e. there is no unknown deterministic

parameter, then (11)(12) reduce to:∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣

Jxk,xk

k = D22k−1 −

(D12

k−1

)T (D11

k−1 + Jxk−1,xk−1

k−1

)−1

D12k−1

D11k−1 = Exk,xk−1

[−∂2 ln p((xk|xk−1))

∂xk−1∂xT

k−1

]

D12k−1 = Exk,xk−1

[−∂2 ln p(xk|xk−1)

∂xk−1∂xT

k

]

D22k−1 = Eyk,xk

[−∂2 ln p(yk|xk)

∂xk∂xT

k

]

+Exk,xk−1

[−∂2 ln p(xk|xk−1)

∂xk∂xT

k

]

(15)

and Jx0,θ , Jx0, which are (21-25) in [15]. If (3) reduces to:

xk = fk−1 (xk−1,wk−1) , yk = hk (xk,vk,λ) ,

with known pdfs p (wk), p (vk), p (x0), then one only needs

to set θ = λ, p (xk|xk−1) , p (xk|xk−1) and Jx0,θ , Jx0,

yielding: D13k−1 = 0, D23

k−1 = Eyk,xk|θ


∂xk∂θT

],



∂θ∂θT

]. If (3) reduces to:

xk = fk−1 (xk−1,wk−1,α) , yk = hk (xk,vk) ,

with known pdfs p (wk), p (vk), p (x0), then one only

needs to set θ = α, p (xk|xk−1) , p (xk|xk−1,θ) and

Jx0,θ , Jx0. Interestingly enough, the application considered

in [6] addresses this case with measurement and state

equations given by:

xk = xk−1 + α+ wk−1, yk = akejxk + vk,

where ak are i.i.d. discrete random variable with

P (ak = ±1) = 1/2. Although authors in [6] were primarily

interested in the direct computation of J−1x0:k,θ

(6), a careful

examination of the derivation reveals that[H−1

]K,K

in [6,

(22)] is another possible recursive form for[J−1xK ,α

]11

(10)

allowed by the specific discrete-time MDS considered. Thus

[6, (22)] provides an example of the behavior of the recursive

HCRB (9) for a practical phase estimation problem.

III. REGULARITY CONDITIONS FOR THE RECURSIVE

HCRB

We discuss in this section the regularity condition (stated

in the previous section) required for the existence and the use

of the recursive HCRB (9) deriving from the usual form of

the HCRB (1). This discussion clarifies some previous results

on HCRB [2][6][13] and is also helpful to understand why,

in most case, the posterior BCRB cannot be transformed

into the recursive HCRB as it is misleadingly suggested in

[15][16].

Let Λθ =hd ∈ R

D | θ + hd ∈ Πd

, Λx =

hr ∈ RP | x+ hr ∈ Πr

and Λ = Λθ × Λx =

h ∈ RD+P | (x;θ) + h ∈ Πd ×Πr

. We assume

that for any couple set (S, T ) ⊂ Ω × Πr not empty,∫S

∫Tp (y,x|θ) dydx exists. Then, for any L-dimensional

real-valued vector v (y,x,θ) with finite second order

moment, the covariance inequality principle yields [18]:

Ey,x|θ

[e (y) e (y)

T] CV−1CT , (16)

V = Ey,x|θ

[v (y,x,θ)v (y,x,θ)

T], (17)

C = Ey,x|θ

[e (y)v (y,x,θ)

T]. (18)

Note that C (18) depends on the estimation scheme

(x (y) ; θ (y)) in general; however, some judicious choices of

v (y,x,θ) lead to various lower bounds [10][11][12]. Thus,

the vCRB (y,x,θ) leading to HCRB is a limiting form of the

v (y,x,θ) leading to the HBB which may be derived from

the McAulay-Seidman bound (MSB) [19]. The MSB is the

usual approximation of the Barankin Bound (BB) [20], the

greatest lower bound on the MSE on deterministic parameters

θ, resulting from a discretization of the uniform unbiasedness

definition2:

Ey|θ

[θ (y)

]=

∫Ω

θ (y) p (y|θ) dy = θ, ∀θ ∈ Πd,

expressed for a subset of I test points [19][21][22]:

Ey|θ+hdi

[θ (y)

]= θ+hdi, θ+hdi ∈ Πd, 1 ≤ i ≤ I. (19)

Unfortunately, in hybrid estimation the MSB can hardly ever

be computed to lower bound the MSE of unbiased estimators

of θ since a closed-form expression of p (y|θ) hardly ever

exists. Interestingly enough, this major stumbling block can

be bypassed for a general class of pdf. Let 1A (y) denote the

indicator function of subset A of RP . Then, some easy integral

calculuses show that, for any hri ∈ RP for which:

1Πr(x+ hri) = 1Πr

(x) , ∀x ∈ RP , (20)

2For a straightforward extension to biased estimators see [21][22].

77

4

subject to (20), (19) can be recasted as:

Ey,x|θ

[(θ (y)− θ

)v (y,θ,hri,hdi)

]= hdi, (21)

v (y,θ,hr,hd) =

∣∣∣∣∣p(y,x+hr|θ+hd)

p(y,x|θ) − 1, (x,θ) ∈ Θ,

0, otherwise.

Additionally, if hri also satisfies:

1Πr(x− hri) = 1Πr

(x) , ∀x ∈ RP , (22)

then, some other easy integral calculuses show that, subject to

(20) and (22), any estimator x of x satisfies:

Ey,x|θ [(x (y)− x) v (y,θ,hri,hdi)] = hri+

Ey,x|θ+hdi[x (y)− x]− Ey,x|θ [x (y)− x] . (23)

Unlike what is stated in [2][6][13], first, (23) proves that for

each class of estimates satisfying:

Ey,x|θ

[(x (y)− x; θ (y)− θ

)]= (µ (θ) ;0) ,

a specific HBB (16) (and a specific HCRB) can be computed.

The class of wide-sense unbiased estimates [13, (11)] is only

the particular case where µ (θ) = 0. Second, the regularity

condition (20)(22) required for the existence of the HBB only

imposes on 1Πr(x) to be of the following form:

1Πr(x) =

∣∣∣∣∣∣0 if

∑hr∈A

(∑l∈Z

1Π0r(x+ lhr)

)= 0,

1, otherwise,

(24)

where A and Π0r are subsets of RP , what means that Πr may

be a discrete subset of RP or a subset of intervals of R

P .

Since the HCRB is the limiting case of the HBB obtained for:

v (y,x,θ) = (v (y,θ,u1hr1,0) , . . . , v (y,θ,uPhrP ,0) ,

v (y,θ,0,uP+1hd1) , . . . , v (y,θ,0,uP+DhdD))

where ui is the ith column of the identity matrix, and by

letting (hr1, . . . , hrP , hd1, . . . , hdD) be infinitesimally small,

therefore (24) reduces to: ∀x ∈ RP , 1Πr

(x) = 1, that is Πr =R

P (R1). Last, the simplest form of C (18), i.e. C = I, is

obtained for the class of estimates satisfying (R3):

Ey,x|θ

[(x (y)− x; θ (y)− θ

)]= (µ;0) , (25)

leading to the usual form of the HCRB (16):

HCRBx,θ = Ey,x|θ

[∂ ln p (y,x|θ)

∂ (x;θ)

∂ ln p (y,x|θ)

∂ (x;θ)T

]−1

(26)

which contains elements with finite modulus provided that

(R2): Ey,x|θ

[∂ ln p(y,x|θ)

∂xp

2], Ey,x|θ

[∂ ln p(y,x|θ)

∂θd

2]<∞.

Since the standard form of the HFIM (2)(6) [6][10][13] shares

a common analytical form with the posterior BFIM [10]:

Jx0:k= Ey

1:k,x0:k

[−∂2 ln p (y1:k,x0:k)

∂x0:k∂xT0:k

],

one might think that the posterior BFIM becomes naturally a

HFIM (6) when some random parameters are transformed into

deterministic parameters by discarding their prior information

as mentioned in [15] and [16]. For example, if we consider that

p (x0) is unknown, then setting Jx0= 0 in (15) as suggested

in [15][16], is equivalent to transform p (y1:k,x0:k) into:

p (y1:k,x1:k|x0) =k∏

l=1

p (yl|xl) p (xl|xl−1) . (27)

Even if the recursion (15) still holds when computed with

the conditional pdf (27), the block matrices obtained are valid

components of the recursive HFIM (10) if and only if (R1)

is satisfied. Thus, if any of p (xk|xk−1), p (yk|xk) or p (x0)have a support which is not, R

P , RN or R

P , respectively

[23], then Jxk,xk

k in (15) is not a HFIM. Additionally, even

if pdfs support are RP , RN or R

P , respectively, the HFIM

obtained is valid only for estimates satisfying (R3) and are

no longer valid for any realizable estimate as it is the case

for the BFIM [23]. Therefore it is critical to understand that

discarding prior information in the computation of the BCRB

change thoroughly the estimation problem under consideration

and that the correct rationale to address the computation of a

HCRB for MDS problem is the one introduced.

IV. APPENDIX

Let E [ ] , Ey1:k,x0:k|θ [ ]. First Jx0:k,θ (6) can be broken

down as:J11k J12k J13kJ21k J22k J23kJ31k J32k J33k

,

J11k = E[−∂2 ln p(y

1:k,x0:k|θ)

∂x0:k−1∂xT0:k−1

],

J12k = E[−∂2 ln p(y

1:k,x0:k|θ)

∂x0:k−1∂xTk

],

J22k = E[−∂2 ln p(y

1:k,x0:k|θ)

∂xk∂xTk

],J13k = E

[−∂2 ln p(y

1:k,x0:k|θ)

∂x0:k−1∂θT

],

J23k = E[−∂2 ln p(y

1:k,x0:k|θ)

∂xk∂θT

],J33k = E

[−∂2 ln p(y

1:k,x0:k|θ)

∂θ∂θT

].

Therefore, using block matrix inversion [24, p293]:

Jxk,xk

k = J22k − J21k(J11k−1

)−1J12k

Jθ,xk

k = J23k − J21k(J11k−1

)−1J13k

Jθ,θk = J33k − J31k

(J11k−1

)−1J13k

(28)

Moreover, for MDS, (4) leads to:

p (y1:k,x0:k|θ) = p (yk|xk,θ) p (xk|xk−1,α,β) p(y1:k−1,x0:k−1|θ

)

yielding:

J11k =

[J11k−1 J12k−1

J21k−1 J22k−1 +D11k−1

], J12k =

[0

D12k−1

], J22k = D22

k−1,

J13k =

[J13k−1

J23k−1 +D13k−1

], J23k = D23

k−1, J33k = J33k−1 +D33

k−1.

where Dijk−1 are given by (12)(13). Second, using once again

block matrix inversion:

(J11k

)−1=

[Φk−1 −Γk−1∆

−1k−1

−∆−1k−1Γ

Tk−1 ∆−1

k−1

],

∆k−1 = D11k−1 + J22k−1 − J

21k−1

(J11k−1

)−1J12k−1,

Γk−1 =(J11k−1

)−1J12k−1,

Φk−1 =(J11k−1

)−1+ Γk−1∆

−1k−1Γ

Tk−1

Finally, by noting that ∆k−1 = D11k−1 + J

xk−1,xk−1

k−1 , a few

additional lines of calculus allows to show that equivalent

forms of Jxk,xk

k , Jθ,θk and J

θ,xk

k in (28) are given by (11).

78


DYNAMIC SYSTEMS

5

REFERENCES

[1] Y. Rockah and P. Schultheiss, “Array shape calibration using sourcesin unknown locations–part I: Far-field sources,” IEEE Transactions onAcoustics, Speech, and Signal Processing, vol. 35, no. 3, pp. 286-299,Mar. 1987.

[2] I. Reuven and H. Messer, “A Barankin-type lower bound on theestimation error of a hybrid parameter vector,” IEEE Transactions onInformation Theory, vol. 43, no. 3, pp. 1084-1093, May 1997.

[3] H. L. Van Trees, Detection, Estimation and Modulation theory: Optimum

Array Processing. New-York, NY, USA: John Wiley & Sons, Mar. 2002,vol. 4.

[4] P. Tichavsk´y and K. Wong, “Quasi-fluid-mecanics based quasi-BayesianCramer-Rao bounds for towed-array direction finding,” IEEE Transac-tions on Signal Processing, vol. 52, no. 1, pp. 36-47, Jan. 2004.

[5] S. Buzzi, M. Lops, and S. Sardellitti, “Further result on Cramer-Raobounds for parameter estimation in long-code DS/CDMA systems,”IEEE Transactions on Signal Processing, vol. 53, no. 3, pp. 1216-1221,Mar. 2005.

[6] S. Bay, B. Geller, A. Renaux, J.-P. Barbot, and J.-M. Brossier, “Onthe hybrid Cramer-Rao bound and its application to dynamical phaseestimation,” IEEE Signal Processing Letters, vol. 15, pp. 453-456, 2008.

[7] K. Todros and J. Tabrikian, “Hybrid lower bound via compression ofthe sampled CLR function,” in Proc. of IEEE Workshop on StatisticalSignal Processing (SSP), Cardiff, Wales, UK, Aug. 2009, pp. 602-605.

[8] J. Yang, B. Geller, and S. Bay, “Bayesian and hybrid Cramer-Rao boundsfor the carrier recovery under dynamic phase uncertain channels,” IEEETransactions on Signal Processing, vol. 59, no. 2, pp. 667-680, 2011.

[9] J. Vila-Valls, L. Ros, and J. M. Brossier, “Joint oversampled carrier andtime-delay synchronization in digital communications with large excessbandwidth,” ELSEVIER Signal Processing, vol. 92, no. 1, pp. 76-88,Jan. 2012.

[10] H. L. Van Trees and K. L. Bell, Eds., Bayesian Bounds for ParameterEstimation and Nonlinear Filtering/Tracking. New-York, NY, USA:Wiley/IEEE Press, Sep. 2007.

[11] C. Ren, J. Galy, E. Chaumette, P. Larzabal, and A. Renaux, “Hybridlower bound on the MSE based on the Barankin and Weiss-Weinsteinbounds,” in Proc. of IEEE International Conference on Acoustics,Speech, and Signal Processing (ICASSP), Vancouver, Canada, May2013, pp. 5534-5538.

[12] C. Ren, J. Galy, E. Chaumette, P. Larzabal, and A. Renaux, “A Ziv-Zakaı type bound for hybrid parameter estimation,” in Proc. of IEEEInternational Conference on Acoustics, Speech, and Signal Processing(ICASSP), Florence, Italy, May 2014, pp. 4663-4667.

[13] Y. Noam and H. Messer, “Notes on the tightness of the hybrid Cramer-Rao lower bound,” IEEE Transactions on Signal Processing, vol. 57, no.6, pp. 2074–2084, 2009.

[14] D. Simon, Optimal State Estimation: Kalman, H-infinity, and Nonlinear

Approaches, Wiley InterScience, 2006[15] P. Tichavsky, C. Muravchik and A. Nehorai, ”Posterior Cramer-Rao

bounds for discrete-time nonlinear Filtering”, IEEE Transactions onSignal Processing, vol. 46, no. 5, pp. 1386-1396, 1998

[16] M. Simandl, J. Kralovec and P. Tichavsky, ”Filtering, predictive, andsmoothing Cramer-Rao bounds for discrete-time nonlinear dynamicsystems,”, Automatica, vol 37, pp. 1703-1716, 2001

[17] B.Z. Bobrovsky, E. Mayer-Wolf and M. Zakai, ”Some Classes of GlobalCramer-Rao Bounds”, The Annals of Statistics, 15(4): 1421-1438, 1987

[18] E. L. Lehmann and G. Casella, Theory of Point Estimation (2nd ed.).Springer, 1998

[19] R. McAulay, L.P. Seidman, ”A useful form of the Barankin LowerBound and its application to PPM threshold analysis”, IEEE Trans. onIT, 15(2): 273-279, 1969

[20] E.W. Barankin, ”Locally best unbiased estimates”, Ann. Math. Stat.,20(4): 477-501, 1949

[21] K. Todros and J. Tabrikian, ”General Classes of Performance LowerBounds for Parameter Estimation-Part I: Non-Bayesian Bounds forUnbiased Estimators”, IEEE Trans. on IT, 56(10): 5064-5082, 2010

[22] E. Chaumette, J. Galy, A. Quinlan, P. Larzabal, ”A New Barankin BoundApproximation for the Prediction of the Threshold Region Performanceof Maximum-Likelihood Estimators”, IEEE Trans. on SP, 56(11): 5319-5333, 2008

[23] E. Weinstein and A. J. Weiss, “A general class of lower bounds inparameter estimation,” IEEE Trans. Inf. Theory, vol. IT-34, no. 2, pp.338–342, Mar. 1988.

[24] G.A.F. Seber, Matrix Handbook forr Statisticians, Wiley Series inProbability and Statistics, 2008

Annexe C

On the A ura y and Resolvability of

Ve tor Parameter Estimates

IEEE Transa tions on Signal Pro essing, Volume : 62, Issue : 14, July. 2014, pp. 3682-3694

79

80 ANNEXE C. ON THE ACCURACY AND RESOLVABILITY OF VECTOR PARAMETER ESTIMATES

3682 IEEE TRANSACTIONS ON SIGNAL PROCESSING, VOL. 62, NO. 14, JULY 15, 2014

On the Accuracy and Resolvability of

Vector Parameter EstimatesChengfang Ren, Mohammed Nabil El Korso, Jérôme Galy, Eric Chaumette, Pascal Larzabal, Member, IEEE,

and Alexandre Renaux

Abstract—In this paper we address the problem of fundamental

limitations on resolution in deterministic parameters estimation.

We introduce a deÞnition of resolvability based on probability and

incorporating a requirement for accuracy unlike most existing

deÞnitions. Indeed in many application the key problem is to

obtain distributions of estimates that are not only distinguishable

but also accurate and compliant with a required precision. We

exemplify the proposed deÞnition with estimators that produce

normal estimates, as in the conditional model for which the Gaus-

sianity and efÞciency of maximum likelihood estimators (MLEs)

in the asymptotic region of operation (in terms of signal-to-noise

ratio and/or in large number of snapshots) is well established,

even for a single snapshot. In order to measure the convergence in

distribution, we derive a simple test allowing to check whether the

conditional MLEs operate in the asymptotic region of operation.

Last, we discuss the resolution of two complex exponentials with

closely spaced frequencies and compare the results obtained

with the ones provided by the various statistical resolution limit

released in the open literature.

Index Terms—Cramer-Rao bound, minimum probability of

error, parameter estimation, performance analysis, resolution,statistical resolution limit.

I. INTRODUCTION

I N many applications (as target classiÞcation in radar or

identiÞcation of constellation diagrams in telecommunica-

tion) the key problem is to obtain distributions of estimates that

are not only distinguishable but also accurate and compliant

Manuscript received October 16, 2013; revised February 21, 2014; accepted

May 14, 2014. Date of publication June 03, 2014; date of current version June

25, 2014. The associate editor coordinating the review of this manuscript and ap-

proving it for publication was Prof. Stefano Marano. This work was supported

by the European Network of Excellence NEWCOM, by the iCODE Institute,

Research Project of the IDEX Paris-Saclay, by the DGA/DGCIS, and by the

Display-Mastodons project of CNRS. This work appeared in part in the Pro-

ceedings of the 21st European Signal Processing Conference, Marrakech, Mo-

rocco, September 9–13, 2013 [13].

C. Ren and A. Renaux are with the Universite Paris-Sud, 91192 Gif-sur-

Yvette, France (e-mail: [email protected]; [email protected]).

M. N. E. Korso is with the Laboratoire Energétique Mécanique Electromag-

nétisme, Université Paris Ouest Nanterre La Défense, IUT de Ville d’Avray,

France (e-mail: [email protected]).

J. Galy is with the Université de Montpellier, 34392 Montpellier, France

(e-mail: [email protected]).

E. Chaumette is with Department of Electronics, Optronics, and Signal, Uni-

versity of Toulouse, 31055 Toulouse, France (e-mail: [email protected]).

P. Larzabal is with the Université Paris-Sud/SATIE, 94235 Cachan, France

(e-mail: [email protected]).

Color versions of one or more of the Þgures in this paper are available online

at http://ieeexplore.ieee.org.

Digital Object IdentiÞer 10.1109/TSP.2014.2328322

both with a required precision and a given probability of con-

Þdence, these two features being requested to assess the per-

formance of subsequent processing (a classiÞer for instance).

Hence the need of a deÞnition of resolvability based on proba-

bility and incorporating a requirement for accuracy unlike most

existing deÞnitions. Indeed, strictly speaking, the idea of resolv-

ability in the signal processing open literature does not neces-

sarily take into account how well parameters are estimated, only

whether multiple signals can be distinguished [1]–[6].

Interestingly enough, there is little contribution to this ap-

proach in papers or monographs [7]–[10]. Oh and Kashyap [11],

Section V seem to have introduced the Þrst theoretical deÞni-

tion on the resolution based on probability and incorporating a

requirement for accuracy, in the simpliÞed case of two signal

sources with a single unknown parameter (frequency of two

complex exponentials) in order to characterize their separability

(resolvability) by a proposed robust estimation method. Later,

this work has been substantially extended by Clark [12] to nor-

mally distributed vector parameter estimates with covariance

matrix equal to the Cramér-Rao bound (CRB). Since the CRB

gives the minimum variance attainable by any unbiased esti-

mates, it can be used to Þnd a lower bound on the actual resolu-

tion threshold of any normally distributed estimators. Then, at

the expense of neglecting the cross-information (cross-covari-

ance) between estimators (as in [11]), Clark has shown that an

extension of the deÞnition on the resolution given by [11] to a

vector of parameters for each signal source can be obtained with

a metric depending on the distance between ellipsoids of con-

stant probability. When the ellipsoids are disjoint the parame-

ters are deemed resolvable. Based on the analysis of the dis-

tance problem, a simple method was developed for Þnding the

noise level at which the ellipsoids become tangent, which is the

resolution threshold noise level. Unfortunately, in many appli-

cations the hypothesis of uncorrelated estimators is unrealistic

and the cross-covariance terms of the associated CRB cannot

be neglected (see for instance (29)). To bypass this limitation

of Clark’s approach, we present a deÞnition of the probability

of resolvability based on the cumulative distribution function

(c.d.f.) which is the most general way to characterize a random

vector, whichever its distribution. Thus, the proposed deÞni-

tion does not depend on the nature of the distributions of es-

timates (as in [11] and [12]) and allows to take into account

their cross-information (unlike in [11] and [12]). As the eval-

uation (by calculus or by simulation) of a -dimensional c.d.f.

is generally difÞcult, we propose a general method to generate

the lower and upper bounds of conÞdence intervals on the prob-

ability of resolvability for a given required estimation precision.

This method is based on the approximation of hyper-rectangles

1053-587X © 2014 IEEE. Personal use is permitted, but republication/redistribution requires IEEE permission.

See http://www.ieee.org/publications_standards/publications/rights/index.html for more information.

81

REN et al.: ON THE ACCURACY AND RESOLVABILITY OF VECTOR PARAMETER ESTIMATES 3683

by some ad hoc hypervolumes (generalization of hyper-ellip-

soids in non-Euclidean norms) which can be used to substitute

the computation of a 1-dimensional c.d.f. for the computation

of a -dimensional c.d.f.

We exemplify the proposed deÞnition (and bounds useful-

ness) with estimators that produce normal estimates, as in the

conditional model for which the Gaussianity and efÞciency

of MLEs in the asymptotic region of operation (in terms of

signal-to-noise ratio (SNR) and/or in large number of snap-

shots) is well established, even for a single snapshot. Indeed

for normal estimates, numerical methods exist (and some

closed-form expressions as well in the simplest cases) to com-

pute a conÞdence interval on the probability of resolvability.

Additionally, the conditional model is the privileged model

for an active system. In order to measure the convergence in

distribution, we have derived a simple test allowing to check

whether the conditional maximum likelihood estimators op-

erate in the asymptotic region of operation.

Although the proposed resolvability deÞnition is not limited

to a given number of signal sources (see [13] for additional ex-

amples), we focus in the present paper on the resolvability of

two closely spaced frequencies in order to compare the various

deÞnition of statistical resolution limit (SRL) released in the

open literature and a SRL deriving from the proposed resolv-

ability deÞnition. The underlying idea is to measure the cost,

in terms of scenario requirements (SNR, number of snapshots,

number of sensors), of a SRL deriving from a resolvability def-

inition which takes into account not only the ability to distin-

guish multiple signals (as all deÞnitions do) but also how well

parameters are estimated. In other words, we intend to bring to

the reader attention that most previously released SRL criteria

only take into account the ability to distinguish multiple sig-

nals and therefore do not take into account all aspects of perfor-

mance from an estimation point of view. The signiÞcant differ-

ences in the region of operation (for a given observation model)

requested to fulÞll the different SRL criteria should question

the reader on which information he looks for: distinguishability

only or distinguishability and accuracy, since in order to get both

there is a price to pay.

Last, from a practical point of view, the results obtained with

the proposed rationale must be regarded as a “lower bound” in

terms of actual scenario requirements (SNR, number of snap-

shots, number of sensors), in the sense that it assumes that the

number of signals is known and that all the signals are present

as well.

The paper is organized as follows. Section II is tutorial in na-

ture. It presents the proposed resolvability deÞnition and a gen-

eral scheme to generate the lower and upper bounds of conÞ-

dence intervals on the probability of resolvability for a given re-

quired estimation precision. In Section III we introduce a simple

test allowing to check whether the conditional MLEs operate in

the asymptotic region of operation in order to exploit its asymp-

totic Gaussianity and efÞciency. Last in Section IV, as an appli-

cation example, we discuss the resolution of two complex ex-

ponentials with closely spaced frequencies in order to compare

the various deÞnition of SRL available in the open literature.

II. PROBABILITY OF RESOLVABILITY

In the following, denotes the random observation vector

of dimension , denotes the observation space and

denotes the complex Hilbert space of square integrable func-

tions over . The probability density function (p.d.f.) of is

denoted and depends on a vector of real parameters

, where denotes the parameter space.

The probability of an event is denoted . Let

be a selected value of the parameter , and an es-

timator of where is a

vector of real-valued functions of . For any selected value

, stands for a mapping of the obser-

vation space into an estimate of .

A. Approximation of a Hyper-Rectangle

In the following, ,

, are vectors of

which components verify , and . Then

, , denotes the hyper-rectangle (also

called an orthotope or a box) of containing deÞned by:

(1)

or equivalently by:

(2)

where:

Let , , be the -dimensional hyper-

volume deÞned by:

(3)

is the generalization of a hyper-ellip-

soid obtained when . Let us note that is the

centre of and if and

only if . In this case

and are simply denoted and

. A Þrst result is the existence of lower and upper

bounds on in the inclusion sense:

(4)



Fig. 1. Approximation of ,

where and , by whereand , for , . The solid lines are for

and the dash-dot lines are for .

as shown in Appendix VI-A. Second, since:

and , then:

and:

(5)

Therefore any hyper-rectangle of can be

lower and upper bounded by -dimensional hypervolumes

and that converge towards

the hyper-rectangle as increases. This is illus-

trated by Fig. 1 in the special case of the approximation of a

rectangle ( , more precisely, the upper right quarter of

the rectangle) by , , (solid

line for and dash-dot line for ) showing how the

increase of allows very tight bounds (4).

B. Precision in Probability Sense and Bounds

The quality (i.e., the precision) of an estimator can

be measured using the following exhaustive canonical risk

function:

(6)

where and deÞne the left and right errors on the esti-

mation of , and 1 is the prob-

ability that errors do not exceed and . Indeed according

to (2):

(7)

i.e., is the c.d.f. of a random vector.

This risk function is termed “canonical” since it is deduced

naturally from the problem under study: the match between

the observations of a random vector and a deterministic

vector of interest. This risk function is also exhaustive , in

the sense that it incorporates all the available information on

the problem, in other words the probabilities. In the following

(6) deÞnes the precision of estimator

in probability sense which is bounded by (4):

(8)

The underlying idea behind the use of probability bounds (8) is

to substitute the computation of the c.d.f. of one random vari-

able for the computation of a -dimensional integral over a

-dimensional hyper-rectangle. In the following, for the sake

of legibility:

• without loss of generality, ,

• (respectively ) is denoted (respectively ) wher-

ever it is unambiguous.

C. Probability of Resolvability

We consider a parameter estimation problem where the pa-

rameters of interest are the vectors , where

and , . Among all various possible

realizations of this setting, the most studied realization in signal

processing is that of separating the components of data formed

from a linear superposition of individual signals to noisy data

1 takes into account that the p.d.f. of is not expected

to be symmetric at the vicinity of in the general case.

83


(nuisance). Each vector parameterizes a single signal of this

superposition.

In an ideal estimation problem, the set of estimators

would yield the set of unknown parameter vec-

tors for all trials : . However in an

actual estimation problem, the set of estimators

is a set of random vectors. Therefore given the statistics of

the estimates, we desire to know when vector parameters

, which may be closely spaced in , can be re-

solved by the realizations of . So far, most of the

deÞnitions of resolvability that have already been proposed

(except [12], see Section IV) focuses only on the ability to

distinguish the distributions of estimates without any particular

requirement on the estimates precision. However in many

applications (as target classiÞcation in radar or identiÞca-

tion of constellation diagram in telecommunication), the key

problem is rather to assign the correct vector of estimates to

each signal source with a required precision compliant with

subsequent processing. This is the problem we want to address

by introducing a deÞnition of resolvability that combines the

ability to distinguish2 the distributions of estimates and to

measure their precision (see also [12]). The rationale is the fol-

lowing. Let ,

and

where

and . Any choice of and in such

a manner that the set of hyper-rectangles

are disjoint, i.e.,

(9)

deÞnes a resolvability criterion, in the sense that any re-

alization that yields an unique estimate per

can be regarded as successful. Nev-

ertheless such a resolvability criterion does not guaranty

that for all successful trials ,

, since some estimate switches among hyper-rect-

angles are statistically possible. And this is

exactly what we do not want to allow. Therefore we consider

as successful only trials for which:

leading to the following probability of resolvability :

(10)

2A similar idea appears in [14] in connection with the deÞnition of optimally

distinguishable distributions in order to obtain a partition in the model space via

a partition in the parameter space.

In an ideal estimation problem:

In an actual estimation problem, statistics of the estimates de-

pends on the observation model and of its conditions of opera-

tion (SNR of sources, number of independent observations, ...).

The requirements on precision (choice of and ) and on

the probability of resolvability (10) generally come from

subsequent processing for which the set is an input:

they are application-deÞned parameters. Therefore for a given

application, vectors of parameters will be said “re-

solved” by estimators with probability if:

(11)

As is generally not computable, the

use of bounds (8) whenever they can be computed more easily

(for example if is a Gaussian random vector, see hereinafter)

may allow to check whether resolvability requirements (11) are

fulÞlled, that is to check whether:

(12)

Conversely, the use of bounds (12), whenever they are

computable, allows to obtain a conÞdence interval on the

probability of resolvability for a given required preci-

sion, conÞdence interval that can be taken into account in

the assessment of performance of subsequent processing. If

is computable for a sub-set

of values of , the tightness of the conÞdence interval is

improved by increasing . The possible ex-

ploitation of independence among estimates can improve the

tightness of the conÞdence interval on as well. Indeed if

are jointly independent, then:

(13)

leading to:

(14)

which are tighter bounds than (12). An even more thorough

exploitation of independence has been proposed by Clark [12]

when are jointly Gaussian with bias vectors

and covariance matrices : .

Then, as noticed by Clark, it is worth substituting ellipsoids for



hyper-rectangles in the deÞnition of the precision in probability

sense. Indeed if we consider the following ellipsoids of constant

probability:

where and

is a symmetric positive deÞnite matrix, then

and:

(15)

When the ellipsoids with a given probability are dis-

joint, the parameters are deemed resolvable with probability

. Therefore when are jointly inde-

pendent, Clark’s approach allows to compute the exact in-

stead of a conÞdence interval (14), but at the expense of a more

complex method to check that are disjoint (in com-

parison with hyper-rectangle). Based on the analysis of the dis-

tance problem between ellipsoids, Clark provides a method that

allows to Þnd the noise level at which the ellipsoids become

tangent with probability , which is the resolution threshold

noise level . Unfortunately the assumption of vector of es-

timates decorrelated (independent) from signal to signal is gen-

erally not veriÞed; as a consequence it is generally impossible

to predict the accuracy of (15) as an approximation of the exact

probability of resolvability.

D. Gaussian p.d.f

The (lower and upper) bounds on given by

(8) are easily computable when

and , where is a -dimensional vector with compo-

nents equal to , that is is a Gaussian estimator of with

bias vector and covariance matrix and we consider

the approximation of a hyper-rectangle by a hyper-ellipsoid:

(16)

where and is the diagonal ma-

trix with the components of vector on the main diagonal:

. As the following unitary transformation of

the Gaussian random vector :

preserves the norm , then:

(17)

where

and is the c.d.f. of a quadratic form for

non-central normal variates [15], that is an extension

of non-central chi-square with corresponding degrees of

freedom in and positive noncentrality parameters in

where the power of each component is not constant:

where ,

and . If

(unbiased estimates and symmetric errors ) then [16]:

(18)

where is the Gamma function. The general formula for

the c.d.f. of is given in [15]. Unfortunately series expan-

sion of the c.d.f. of a quadratic form for central (18) or non-cen-

tral normal variates given in [15], [16] are not easy to program.

Therefore for small it is worth considering the alternative nu-

merical method consisting in computing the p.d.f. of by it-

erative convolutions since:

where each p.d.f. is given by [18]:

(19)

where is the modiÞed Bessel function of the Þrst kind

with order zero.

It should be noted that the tightness of the conÞdence in-

terval (12) on the probability of resolvability decreases, for

a given , as the product increases. Therefore in some ap-

plications it may be necessary to resort to values of larger than

2 in order to obtain a tight enough conÞdence interval, as illus-

trated in Fig. 1. Unfortunately in that case we have not found in

the open literature a simple numerical method to compute the

c.d.f. of for correlated ; nevertheless

it is still possible (but computationally expensive) to assess di-

rectly by resorting to algorithms proposed by Genz [17] for

numerical evaluation of multivariate normal distributions.

III. ASYMPTOTIC PERFORMANCE OF CONDITIONAL MODEL

Historically the Þrst MSE lower bound for deterministic pa-

rameters to be derived was the CRB, which was introduced to in-

vestigate fundamental limits of a parameter estimation problem

or to assess the relative performance of a speciÞc estimator

(efÞciency) [9]. It has since become the most popular lower

bound due to its simplicity of calculation and the fact that in

many cases it can be achieved asymptotically (in terms of high

SNR [RenauxCML] and/or large number of snapshots [9]) by

MLEs. Additionally, it is well known that in non-linear esti-

mation problems three distinct regions of operation can be ob-

85


served [20]–[22]. In the asymptotic region, the MSE of MLEs is

small and, in many cases, close to the CRB. In the a priori per-

formance region where the number of independent snapshots

and/or the SNR are very low, the observations provide little in-

formation and the MSE is close to that obtained from the prior

knowledge about the problem. Between these two extremes,

there is an additional ambiguity region, also called the transition

region. In this region, the MSE of MLEs usually deteriorates

rapidly with respect to CRB and exhibits a threshold behaviour

corresponding to a “performance breakdown”. The nature of

this phenomenon is speciÞed by a complicated non-smooth be-

haviour of the likelihood function in the “threshold” area where

it tends to generate outliers.

A. Characterization of the Asymptotic Region of Operation for

the Conditional Model

The choice of focusing on the (Gaussian) conditional model

comes from the asymptotic (in terms of SNR [19] and/or in

large number of snapshots [9]) Gaussianity and efÞciency of

CMLEs in the multiple parameters case (what is not true for the

unconditional model [23]). Moreover the conditional model is

the privileged model for an active system. A typical example

of an active system is a localization system such as a radar or a

sonar where a known waveform is transmitted, and the signals

scattered from the targets of interest are used to estimate their

parameters. In an active system, as the waveform parametric

model is known and deterministic (in opposition with a pas-

sive system where a probabilistic modelling of the waveform

is generally considered), the most accurate statistical predic-

tion for an observation will be obtained when considering the

signal amplitudes as deterministic (since it is well known that

the complex Gaussian amplitude modelling provide an average

unconditional CRB higher than the corresponding conditional

CRB [24]). Let us remind that the asymptotic Gaussianity and

efÞciency of CMLEs in the multiple parameters case has been

proved under the assumption that the maximum of the (re-

duced) log likelihood function belongs to its main lobe [19],

or equivalently that the probability of outlier is equal to zero

[20], [21]. An approximation of the probability of outlier for the

three regions of operation of CMLE has already been derived

in the form of the probability of the union of events that one of

the sidelobe peaks is higher than the mainlobe peak, probability

itself approximated by the union bound [21], Section IV. The

main result is that the derived approximation of probability of

outlier is quite accurate in modeling the performance of CMLE.

Only in the no-information region does the approximation de-

viate from the simulation results: this is due to the fact that

the union bound tightness decreases as the observation model

enters the transition region. Nevertheless, in the multi-source

case, the computation is rather cumbersome. Indeed, Þrst, one

must look for the positions of the sidelobe peaks which are

usually not available in closed form and must be calculated by

some numerical method. And second, one must compute mul-

tiples c.d.f. of noncentral indeÞnite quadratic form in complex

Gaussian random variables.

A far simpler lower bound on the probability of outlier is

proposed hereinafter (25). Its advantage is its computational

simplicity but at the expense of the information provided: the

proposed lower bound is expected to be tight only in the asymp-

totic region. We focus on the general complex (circular) linear

conditional model where the noise correlation matrix is sup-

posed to be known up to a scale factor [24]. For the sake

of legibility and without loss of generality, we consider the fol-

lowing simpliÞed instance (narrow band signals and spatially

white noise):

(20)

where is the number of independent observations, is the

number of signal sources, is the vector

of complex amplitudes of the sources for the observa-

tion, and is a vector of

parametric functions depending on the parameters vector ,

are Gaussian complex circular independent noises with spa-

tially white covariance matrix with unknown noise

power , independent from the sources. Then the reduced

log likelihood function is given by [24]:

(21)

and:

(22)

where is a gener-

alized correlation function (aka generalized matched Þlter)

and denotes the c.d.f. of a non-central

complex (circular) chi-square with corresponding degrees of

freedom in and positive noncentrality parameter in . Let

denote the CMLE of :

(23)

then:

or conversely:

leading to:

(24)

Then, some additional probability calculus detailed in

Appendix VI-A allows to prove that, :

(25)



or conversely:

(26)

Let denote the main lobe at :

(27)

Then they are many ways of exploiting (25)(26) according to:

• the choice of the main lobe including

requested to enforce the asymptotic Gaussianity and efÞ-

ciency of CMLEs,

• the acceptable probability of an outlier,

in the sense of being outside :

.

We opt for a simpliÞed didactic approach where we con-

sider (i.e., the usual main lobe at ) and

.

The quasi-nullity of the probability of an outlier can be

demonstrated by computing the p.d.f. of and

where and by checking

that their supports do not overlap above a certain p.d.f.

threshold value, as small as possible ( in the present

paper). The underlying hypothesis is to consider that below

this threshold value, any p.d.f. can be rounded to zero. As the

p.d.f. of is an increasing function in

, it is sufÞcient to check that the p.d.f. of

and do not overlap to ensure that this property

is valid for any , what proves that (under the

approximations above mentioned) .

We illustrate the soundness of the proposed approach with the

application example given in[19] where two fully

correlated sources separated by of the beamwidth impinge

on a uniform linear array (ULA) of sensors with

half-wavelength spacing. The high SNR Gaussianity of the

CMLE was checked via a Lilliefors goodness-of-Þt test [25]

and was observed for a SNR at output of the single source

matched Þlter higher than approximately (that is a

SNR of at sensor level [19]). Fig. 2 displaying the p.d.f.

of the log likelihood functions (solid lines) and

(dash lines), for , shows

that Gaussianity is checked for a SNR of according to

the proposed approach (and p.d.f. threshold value) which is in

accordance with the Lilliefors goodness-of-Þt test.

B. Asymptotic Performance of Conditional Model

Then, in the asymptotic region of operation:

(28)

Fig. 2. Loglikelihood p.d.f. (solid lines for and dash lines for

) for two correlated signal sources impinging on a ULA of

sensors, separated by and snapshots.

where, for the general linear observation model (20) [24], [26]3:

.... . .

...

(29)

and is a matrix of ones. Additionally it has been

proved that for each source [26], [30]: the highest (worst) vari-

ance is obtained when the sources amplitudes are fully corre-

lated and the lowest (best) variance is obtained when the sources

amplitudes are uncorrelated.

IV. STATISTICAL RESOLUTION LIMIT FOR TWO CLOSELY

SPACED FREQUENCIES

A reference application example is the multiple tones estima-

tion problem where in (20):

(30)

Although the proposed resolvability criterion (11) is not limited

to a given number of signal sources (tones herein) (see [13] for

additional examples), we focus in the present paper on the re-

solvability of two closely spaced frequencies.

A. Background on Statistical Resolution Limit (SRL) Criteria

The resolvability of closely spaced signals, in terms of their

parameters of interest, for a given scenario (e.g., for a given

number of snapshots, for a given SNR and/or for a given number

of sensors) is an old and challenging problem which was re-

cently updated by Smith [4], Shahram and Milanfar [5], Liu and

3More general CRB expressions can be found in [27]–[29].

87


Nehorai [1], Amar and Weiss [2] and El Korso et al. [31]. His-

torically, the statistical resolution limit (SRL) has been empiri-

cally deÞned as the minimum distance between the parameters

of interest that allows ’distinguishing’ two closely spaced noisy

signals. The concept of SRL does not necessarily take into ac-

count how well parameters are estimated, only whether multiple

signals can be distinguished. Several criteria were introduced to

describe and derive the SRL. We can sum up most of them in

four different categories.

1) The Þrst one, and most probably the oldest one, is an al-

gorithm dependent criterion based on the cost function of

the considered parametric scheme. It was mainly intro-

duced and applied using the concept of mean null spec-

trum. Let us considered the problem of distinguishing two

signals parameterized by their frequencies, namely and

. In 1974, Cox states that these two signals are resolved,

w.r.t. a given parametric algorithm, if the mean of the null

spectrum at the frequencies and is lower than the

mean of the null spectrum at the frequency midpoint

[3]. Two decades after, Sharman and Durrani proposed an-

other commonly used criterion in [6] which states that two

sources are resolved if the second derivative of the mean of

the null spectrum at the midpoint is negative. These

intuitive criteria were successfully applied to derive the

SRL for a speciÞc algorithm, as MUSIC and Min-Norm

scheme, in many different situations (the reader can refer

to [3], [6], [32]–[35]).

2) The second approach is based on detection theory. This

approach reformulates the problem of distinguishing two

signals as a binary hypothesis test. More precisely, the fea-

ture of interest of one signal is tested against the feature

of interest of the other signal. Let us consider the spec-

tral analysis problem where the main frequency is consid-

ered as the feature of interest. In this context, Sharman and

Milanfar [5] proposed to use a binary hypothesis test to

deÞne/derive the SRL. The hypothesis represents the

case in which two signals are resolvable/distinguishable,

i.e., , whereas, the hypothesis represents

the case where the two signals coalise/combine into one

signal, i.e., . To solve such a hypothesis test,

many strategies can be considered. The commonly used

one is the generalized likelihood ratio test (GLRT). This

choice is mainly motivated by the known fact that, under

certain conditions, the GLRT is asymptotically uniformly

most powerful test among all the invariant statistical tests

[36], which is one of the strongest statements of optimality

that one could expect to obtain [37]. Using this strategy,

the main difÞculty is to derive the SRL (i.e., the separation

which resolves the binary hypothesis test) as a

function of the probability of false alarm and the prob-

ability of detection . This approach was recently applied

to several parametric problems (the reader can refer to [1],

[5], [31], [38]and references in [31] for more details). Fi-

nally note that, in this context, another strategy was ap-

plied by Amar and Weiss in [2]. The authors have proposed

to determine the SRL of complex sinusoids with nearby

frequencies using the Bayesian approach for a given cor-

rect decision probability instead of considering and

which are relevant generally in a non Bayesian detection

strategy.

3) The third approach is based on the estimation accuracy.

Unlike the Þrst approach and like the second one, this

approach is independent from the estimation algorithm

and uses mainly tools as lower bounds (LBs) on the mean

square error (MSE). LBs on MSE characterize the ulti-

mate performance of an unbiased estimator in terms of

MSE [39], [40]. Due to its simplicity and tightness under

certain conditions (see Section III) the CRB is the LB

mainly used practically to assess the ultimate estimation

accuracy in terms of MSE. In this way, Lee [41], [42],

Yau and Bressler [26], and Smith [4] proposed different

criteria to describe the SRL. In [26, Section VIII], [41],

authors state that two signals are said to be resolvable

w.r.t. the frequencies if the maximum standard deviation

of each frequency estimate is less than half the difference

between and . Under conditions for which the CRB

is a tight bound [10], the standard deviations and

, of and using MLEs, can be well approximated

by and , respectively. Leading

to the following separation ’limit’, , which represents

the SRL: . The

second strategy within this estimation accuracy approach

was formulated by Smith in [4] (also alluded to in [26,

Section VIII-A]) and states that two signals are resolv-

able w.r.t. their frequencies if the difference between the

frequencies, is greater than the standard deviation of

the frequencies difference estimation. Considering that

the mild conditions are met for the CRB, the separa-

tion ’limit’ representing the SRL in the Smith sense,

is then given as the solution of the following equation:

where . Which can be written

as .

4) The fourth approach is based on the deÞnition of a prob-

ability of resolvability [11], [12] of parameter vectors by

estimators as detailed in Section I.

B. Comparison of SRL Predictions

The aim of this section is to compare the SRL provided by

(11) with the existing ones given by Lee-Yaw-Bressler [26],

[41], Smith [4], Shahram-Milanfar-Liu-Nehorai [1], [5], [43]

and Amar-Weiss [2]. The underlying idea is to measure the cost,

in terms of scenario requirements (SNR, number of snapshots,

number of sensors), of the proposed SRL deÞnition which takes

into account not only the ability to distinguish multiple signals

(as all deÞnitions do) but also how well parameters are esti-

mated. To get an idea, let us consider the problem of predicting

the SNR required (according to a given criterion) to achieve a

given resolution limit , , . As a setting, let:

• , where ,

• the tones amplitude be fully correlated (equal amplitudes

but with a phase shift different from zero [43])

where the SNR is computed at output of

the single source matched Þlter (note that it may not be the

worst correlation case [26]).



Fig. 3. Single source matched Þlter output: 2 complex exponentials separated

by , .

As an instance of the resolvability criterion (11), we con-

sider the combination of symmetric and isotropic required es-

timation precisions deÞning

disjoint intervals (1-dimensional hyper-rectangles) and

. For two Gaussian unbiased estimators, the bounds

of the conÞdence interval on the probability of resolvability

(12) can be computed for (17) by numerical integra-

tion of the p.d.f. of a quadratic form for central normal variates

(18) which has then the following closed-form expression (de-

rived in Appendix VI-C for sake of completeness):

Then the main features of each high resolution scenario and of

the proposed probabilistic approach associated to a given value

of can be described with the help of 3 Þgures (exempliÞed for

):

• Fig. 3: the output of the single source matched Þlter

which could be the Þrst step in

a practical implementation of the CMLE (Clean algorithm,

Alternating Projection algorithm) [24].

• Fig. 4: the probability (lower and upper) bounds (PLB

and PUB) deÞned by (12) for as a func-

tion of the SNR. These bounds allow to determine the

SNR interval containing the for which is

obtained since:

.

• Fig. 5: the p.d.f. of and

(22) for

and to prove that within

the

condition of asymptotic region of operation for CMLE is

valid, that is .

The comparison of the SNR required to achieve a given res-

olution limit is displayed on Þgure (6), where LYB-SNR is

Fig. 4. Bounds (12) on the probability of resolving two complex exponentials

separated by , , , , .

Fig. 5. Loglikelihood p.d.f. at limits of SNR interval allowing the resolvability

of two complex exponentials separated by , , .

the one obtained with the Lee-Yaw-Bressler criterion (LYB-cri-

terion) [26], [41], S-SNR is the one obtained with the Smith

criterion (S-criterion) [4], SMLN-SNR is the one obtained with

the GLRT approach (SMLN-criterion) where and

[1], [5], [43], and AW-SNR is the one obtained with

the Bayesian hypothesis test approach (AW-criterion) [2] where

. This Þgure raises the following comments:

• there is no bound on for the proposed approach

when . The reason is simple: the condition of

asymptotic region of operation for CMLEs is not valid

within ,

, when . Therefore the proba-

bility (lower and upper) bounds deÞned by (12) (17) are

not trustworthy and should not be taken into account.

• in the setting considered, the LYB-criterion takes into

account the same estimation errors ,

except that the LYB-criterion expresses require-

ments on marginal probability of errors, that is

, , where is

the MLE of in the asymptotic region of operation. Since

89


Fig. 6. Required SNR to achieve a given SRL for two complex exponentials

separated by , , .

, these requirements

are less demanding than the requirement on the joint

probability of error with same occurrence probability as

formulated by (12) (17) when ; hence the

smaller (or equal) required LYB-SNR to achieve a given

resolution limit . The difference between and

LYB-SNR increases as increases above 0.68, as

shown when .

• as already noticed in [26, Section VIII, ] the LYB-cri-

terion implies the S-criterion which Þnally states

that the SNR required (S-SNR) is the one for

which , or equiv-

alently the one for which and

. The second form of the

S-criterion clearly highlights that this criterion is mainly

focused on parameters distinguishability as it only requires

a loose estimation precision for each parameter. Hence the

lower S-SNR values in comparison with LYB-SNR and

.

• in order to obtain tractable solutions, the AW-SNR and the

SMLN-SNR reported here are derived from [2] and [43] in

the case of a known central frequency and a known signals

power or amplitude. After some proper modiÞcations, one

obtains:

(31)

(32)

where , denotes the derivative of

w.r.t. and is numerically computed as the solution of

for a given and ,

where denotes the right tail of the distribu-

tion of a central with mean .

• Let us remind that both the SMLN-criterion and the

AW-criterion exploit the historical deÞnition of resolv-

ability, that is the problem of distinguishing whether the

observation consists of a single signal or of two signals,

irrespective of any requirement on the precision of pa-

rameters estimation. Thus on a scale representing the

ability of a criterion to incorporate a requirement on the

precision of parameters estimation, we may say that the

SMLN-criterion and the AW-criterion are based on an

approach of resolvability at the opposite of our proposed

approach (and the one of LYB), and that the S-criterion

deÞnes an intermediate approach.

The signiÞcant differences in the SNR requested to fulÞll

the different SRL criteria are representative of the position

of each approach on this scale: indeed each approach al-

lows to discern the presence of two signals but the esti-

mates of the signal parameters may not be sufÞciently ac-

curate according to a prescribed precision (hyper-rectan-

gles). Hence the question on which information one looks

for: distinguishability only or distinguishability and accu-

racy, since in order to get both there is a price to pay (pos-

sibly overstressed in our example4).

V. CONCLUSION

We have proposed a resolvability deÞnition which takes into

account not only the ability to distinguish multiple signals (as

all deÞnitions do) but also how well parameters are estimated.

In order to widen the practical use of this deÞnition, we have

also introduced a general scheme to generate the lower and

upper bounds of conÞdence intervals on the probability of re-

solvability for a given required estimation precision. The appli-

cation of this approach to the conditional model has shown that

signiÞcant differences in the region of operation (SNR, number

of snapshots, number of sensors) requested to fulÞll the dif-

ferent SRL criteria are expected according to which informa-

tion is looked for: distinguishability only or distinguishability

and accuracy. Possible application of the proposed approach to

the unconditional model will be pursued in future work, since

asymptotic efÞciency of MLEs does no longer hold for small

number of observations [23].

APPENDIX

Approximation of a Hyper-Rectangle:

As:

then, :

and:

4The hypotheses of a known central frequency and a known signals power

or amplitude in ((31), (32)) introduce an a priori information that has not been

taken into account in the conditional CRB considered (29), therefore higher than

the one incorporating this a priori information.



that is . Conversely:

As, :

therefore:

that is . QED.

Lower Bound on :

Therefore:

what yields (25):

Derivation of :

Since where ,

then:

where . After a Þrst change of variable

yielding:

a second change of variable allows to show that:

Therefore:

Additionally as:

one Þnally has:

REFERENCES

[1] Z. Liu and A. Nehorai, “Statistical angular resolution limit for point

sources,” IEEE Trans. Signal Process., vol. 55, no. 11, pp. 5521–5527,

Nov. 2007.

[2] A. Amar and A. Weiss, “Fundamental limitations on the resolution of

deterministic signals,” IEEE Trans. Signal Process., vol. 56, no. 11, pp.

5309–5318, Nov. 2008.

[3] H. Cox, “Resolving power and sensitivity to mismatch of optimum

array processors,” J. Acoust. Soc., vol. 3, no. 54, pp. 771–785, 1973.

[4] S. T. Smith, “Statistical resolution limits and the complexiÞed

Cramér Rao bound,” IEEE Trans. Signal Process., vol. 53, no. 5, pp.

1597–1609, May 2005.

[5] M. Shahram and P. Milanfar, “On the resolvability of sinusoids with

nearby frequencies in the presence of noise,” IEEE Trans. Signal

Process., vol. 53, no. 7, pp. 2579–2585, Jul. 2005.

[6] K. Sharman and T. Durrani, “Resolving power of signal subspace

methods for fnite data lengths,” presented at the IEEE ICASSP, 1995.

[7] S. M. Kay, Fundamentals of Statistical Signal Processing: Estimation

Theory. Englewood Cliffs, NJ, USA: Prentice-Hall, 1993.

[8] L. L. Scharf, Detection, Estimation and Time Series Anal-

ysis. Boston, MA, USA: Adison Wesley, 1991.

[9] H. L. VanTrees, Detection, Estimation and Modulation Theory.

Hoboken, NJ: Wiley, 1968, vol. 1.

[10] E. L. Lehmann, Theory of point estimation. : Wiley, 1983.

[11] S. Oh and R. Kashyap, “A robust approach for high resolution fre-

quency estimation,” IEEE Trans. Signal Process., vol. 39, no. 3, pp.

627–643, Mar. 1991.

[12] M. P. Clark, “On the resolvability of normally distributed vector pa-

rameter estimates,” IEEE Trans. Signal Process., vol. 43, no. 12, pp.

2975–2981, Dec. 1995.

[13] C. Ren, J. Galy, E. Chaumette, P. Larzabal, and A. Renaux, “High reso-

lution techniques for radar : myth or reality? ,” presented at the Eurasip

EUSIPCO, 2013.

[14] J. Rissanen, Information and complexity in statistical mod-

eling. Berlin, Germany: Springer-Verlag, 2007.

91


[15] B. K. Shah and C. G. Khatri, “Distribution of a deÞnite quadratic formfor non-central normal variates,” Ann. Math. Statist., vol. 32, no. 3, pp.883–887, 1961.

[16] J. Pachares, “Note on the distribution of a deÞnite quadratic form,”Ann. Math. Statist., vol. 26, no. 1, pp. 128–131, 1955.

[17] A. Genz, “Numerical computation of multivariate normal probabili-ties,” J. Comput. Graph. Statist., pp. 1:141–1:149, 1992.

[18] R. Muirhead, Aspects of multivariate statistical theory, 2nded. Hoboken, NJ, USA: Wiley, 2005.

[19] A. Renaux, P. Forster, E. Chaumette, and P. Larzabal, “On the highSNR CML estimator full statistical characterization,” IEEE Trans.

Signal Process., vol. 54, no. 12, pp. 4840–4843, Dec. 2006.[20] D. C. Rife and R. R. Boorstyn, “Single tone parameter estimation from

discrete-time observations,” IEEE Trans. Inf. Theory, vol. IT-20, no. 5,pp. 591–598, May 1974.

[21] Athley, “Threshold region performance of maximum likelihood direc-tion of arrival estimators,” IEEE Trans. Signal Process., vol. 53, no. 4,pp. 1359–1373, Apr. 2005.

[22] C. D. Richmond, “Capon algorithm mean squared error threshold SNRprediction and probability of resolution,” IEEE Trans. Singal Process.,vol. 53, no. 8, pp. 2748–2764, Aug. 2005.

[23] A. Renaux, P. Forster, E. Boyer, and P. Larzabal, “Unconditional max-imum likelihood performance at Þnite number of samples and highsignal-to-Noise ratio,” IEEE Trans. Signal Process., vol. 55, no. 5, pp.2358–2364, May 2007.

[24] H. L. Van Trees, Optimum Array Processing. New York, NY, USA:Wiley-Interscience, 2002.

[25] H. Lilliefors, “On the kolmogorov-smimov test for normality withmean and variance unknown,” J. Amer. Statist. Assoc., vol. 62, no.318, pp. 399–402, 1967.

[26] S. F. Yau and Y. Bresler, “Worst case Cramér-Rao bounds for para-metric estimation of superimposed signals,” IEEE Trans. Signal

Process., vol. 40, no. 12, pp. 2973–2986, Dec. 1992.[27] M. C. Wicks, E. L. Mokole, S. D. Blunt, R. S. Schneible, and V. J.

Amuso, Principles of Waveform Diversity and Design. Hertfordshire,U.K.: SciTech Publishing, 2010.

[28] T.Menni, E. Chaumette, P. Larzabal, and J. P. Barbot, “CRB for ActiveRadar,” presented at the Eurasip EUSIPCO, 2011.

[29] T. Menni, J. Galy, E. Chaumette, and P. Larzabal, “On the versatilityof constrained Cramér-Rao bound for estimation performance analysisand design of a system of measurement,” IEEE Trans. Aerospace Elec-

tron. Syst., Sep. 2013, accepted for publication.[30] T. Menni, E. Chaumette, P. Larzabal, and J. P. Barbot, “New results on

deterministic Cramér-Rao bounds for real and complex parameters,”IEEE Trans. Signal Process., vol. 60, no. 3, pp. 1032–1049, Mar. 2012.

[31] M. N. El Korso, R. Boyer, A. Renaux, and S. Marcos, “Statistical res-olution limit for the multidimensional harmonic retrieval model: hy-pothesis test and Cramér-Rao bound approaches,” J. Appl. Soc. Psy-

chol., Jun. 2011.[32] M. Kaveh and A. Barabell, “The statistical performance of the MUSIC

and the minimum-norm algorithms in resolving plane waves in noise,”IEEE Trans. Acoust., Speech, Signal Process., vol. 34, no. 2, pp.331–341, Apr. 1986.

[33] S. Marcos, Les Méthodes á Haute Résolution: Traitement d’Antenne et

Analyse spectrale. Paris, France: Hermes, 1998.[34] H. Abeida and J.-P. Delmas, “Statistical performance of MUSIC-like

algorithms in resolving noncircular sources,” IEEE Trans. Signal

Process., vol. 56, no. 6, pp. 4317–4329, Jun. 2008.[35] A. Ferreol, P. Larzabal, and M. Viberg, “Statistical analysis of the

MUSIC algorithm in the presence of modeling errors, taking into ac-count the resolution probability,” IEEE Trans. Acoust., Speech, Signal

Process., vol. 58, no. 8, pp. 4156–4166, Aug. 2010.[36] E. L. Lehmann and J. P. Romano, Testing Statistical Hypotheses.

Berlin, Germany: Springer-Verlag, 2005.[37] S. M. Kay, Fundamentals of Statistical Signal Processing : Detection

Theory. Englewood Cliffs, NJ, USA: Prentice Hall, 1998.[38] M. Shahram and P. Milanfar, “Imaging below the diffraction limit: A

statistical analysis,” IEEE Trans. Image Process., vol. 13, no. 5, pp.677–689, May 2004 .

[39] E. Chaumette, J. Galy, A. Quinlan, and P. Larzabal, “A new barankinbound approximation for the prediction of the threshold region per-formance of maximum-likelihood estimators,” IEEE Trans. Signal

Process., vol. 56, no. 11, pp. 5319–5333, Nov. 2008.[40] K. Todros and J. Tabrikian, “General classes of performance lower

bounds for parameter estimation-Part I: Non-Bayesian bounds forunbiased estimators,” IEEE Trans. Inf. Theory, vol. 56, no. 10, pp.5064–5082, Oct. 2010.

[41] H. B. Lee, “The Cramér-Rao bound on frequency estimates of signalsclosely spaced in frequency,” IEEE Trans. Signal Process., vol. 40, no.6, pp. 1507–1517, Jun. 1992.

[42] H. B. Lee, “The Cramér-Rao bound on frequency estimates of signalsclosely spaced in frequency (unconditional case),” IEEE Trans. Signal

Process., vol. 42, no. 6, pp. 1569–1572, Jun. 1994.[43] M. N. El Korso, R. Boyer, A. Renaux, and S. Marcos, “On the Asymp-

totic Resolvability Of Two Point Source in Known Sub-space Interfer-ence Using a GLRT-Based Framework,” Elsevier Signal Process., vol.92, no. 10, pp. 2471–2483, 2012.

Chengfang Ren was born in Zhejiang, provinceof China, in 1987. He came in France since 1997and obtained the French nationality in 2010. Hereceived the Agrégation in applied Physics, theM.Sc. degrees in electrical engineering from ÉcoleNormale Supérieure de Cachan, France, in 2011, and2012, respectively. He is currently working towardthe Ph.D. degree at the Laboratory of Signals andSystems (L2S), University of Paris-Sud, France. Hisresearch interests include performance bounds andresolution limits for parameter estimation applied to

statistical signal processing.

Mohammed Nabil El Korso was born in Oran,Algeria. He received the M.Sc. in Electrical En-gineering from the National Polytechnic School,Algeria in 2007. He obtained theMaster Research de-gree in Signal and Image Processing from Paris-SudXI University/Supélec, France in 2008. In, 2011, heobtained his Ph.D. degree from Paris-Sud XI Uni-versity. Between 2011 and 2012, he was a researchscientist in the Communication Systems Group atTechnische Universität Darmstadt, Germany. He wasa temporary assistant professor at l’école normale

supérieure de Cachan, between 2012 and 2013. Currently, he is assistantprofessor at Université Paris Ouest Nanterre la Défense and a member of LEME(EA4416) laboratory. His research interests include statistical signal process-ing, estimation/detection theory with applications to array signal processing.

Jérôme Galywas born in 1970 at Toulouse (France).He studied Electronics and Signal Processing atENAC high school (Toulouse, France), where heobtained a diploma of engineer in 1993. He receivedthe Ph.D. in Signal Processing from ENSICA highschool (Toulouse, France) in 1998. He has been sincean Assistant Professor in electronics at Universityof Montpellier II (France) and a researcher at theLIRMM (Laboratoire d’Informatique, de Robotiqueet de Micro-Electronique de Montpellier). Maindomains of interest are related to signal processing

and its applications such as radar or microelectronics (Functional ElectricalStimulation).

Eric Chaumette was born in 1965 at Chartres(France). He studied Electronics and Signal Pro-cessing both at ENAC (Toulouse, France), wherehe obtained a diploma of engineer in 1989, and atToulouse University where he obtained a M.Sc.degrees in Signal Processing in 1989. From 1990to 2007, he was with Thales in the radar studiesdepartments and received a Ph.D. degree in 2004 atlaboratory SATIE, CNRS, Ecole Normale Supérieurede Cachan, France. From 2007 to 2013, he was withthe Electromagnetic andRadarDivision of the French

Aerospace Lab (ONERA), Palaiseau, France, as a research engineer. He is nowwith the Department of Electronics, Optronics and Signal of ISAE (InstitutSupérieur de l’Aéronautique et de l’Espace).Main domains of interest are relatedto radar scene modelling, detection and estimation theory and navigation.



Pascal Larzabal (M’93) was born in the Basquecountry in the south of France in 1962. He enteredthe Ecole Normale Supérieure of Cachan (France) in1985 where he received the Agrégation in ElectricalEngineering in 1988. He received the Ph.D. in 1992and the ”habilitationà diriger les recherches” in1998. He is now Professor of Electrical Engineeringat University of ParisSud 11, France. He teacheselectronic, signal processing, control and mathe-matics. From 1998 to 2003 he was the director ofElectrical Engineering IUP of the University of

ParisSud 11. From March 2003 to March 2007 he was at the head of electricalengineering department in the Institut Universitaire de Technologie of Cachan.Since January 2007 he is the director of the laboratory SATIE (UMR CNRS8029, Ecole Normale Supérieure de Cachan). Since 1993 he is at the head ofthe Signal Processing Group of the laboratory SATIE. His research concernsestimation in array processing and spectral analysis for wavefront identiÞca-tion, radars, communications, tomography and medical imaging. His recentworks concern estimator performances, associated minimal bounds, modellingerror and geographical positioning.

Alexandre Renaux received the Ph.D. degreesin electrical engineering from École NormaleSupérieure de Cachan, Cachan, France, in 2006.From 2006 to 2007, he was a Postdoctoral ResearchAssociate at the Department of Electrical andSystems Engineering, Washington University inSt. Louis, St. Louis, MO, USA. Since 2007, he hasbeen an Assistant Professor (and currently AssociateProfessor since 2011) at the Physics Department ofUniversity Paris-Sud, Orsay, France. His researchinterests are in the Þeld of estimation theory and

lower bounds on the mean square error applied to statistical signal processing.

Table des gures

1.1 EQM du maximum de vraisemblan e pour l'estimation de la fréquen e d'une si-

nusoïde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.1 Comparaison des bornes hybrides et de l'EQM du MVMAP en fon tion du RSB. 28

2.2 Comparaison de la borne de Barankin Ziv-Zakaï hybride aux bornes de la famille

de Weiss-Weinstein hybride et à l'EQM du MVMAP . . . . . . . . . . . . . . . . 34

3.1 Comparaison des EQMs empiriques totales du MVMAP et du MVMAPC aux

bornes BCRH et BCRHC en fon tion du RSB . . . . . . . . . . . . . . . . . . . . 41

3.2 Comparaison des EQMs et des bornes pour l'estimation de la fréquen e Doppler

en fon tion du RSB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

3.3 Comparaison entre l'EQM du MV et les bornes pour l'estimation de la dire tion

de départ en fon tion du RSB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.4 Comparaison entre l'EQM du MV et les bornes pour l'estimation de la dire tion

d'arrivée en fon tion du RSB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

4.1 Cas de sour es résolues selon le ritère de Cox. . . . . . . . . . . . . . . . . . . . 54

4.2 Probabilité de résolution pour les paramètres s alaires . . . . . . . . . . . . . . . 55

4.3 En adrement du re tangle R(θ0, ε−, ε+

)par des ellipses E1

s

(θ0, ε−, ε+

)en trait

plein et E2s

(θ0, ε−, ε+

)en pointillé pour s ∈ 1, 2, 4, 16 et ε− = ε+ = [1 4]T . . 58

4.4 En adrement de la probabilité de résolution en fon tion du RSB à l'aide de la relation

(4.16) ave s = 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

4.5 Le RSB minimal requis pour la résolution de deux sour es pro hes séparées de δ = 1kN

ave N = 32 et k ∈ 2, 4, 8, 16, 32 . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

93

94 TABLE DES FIGURES

Bibliographie

[AB15 Y. I. Abramovi h and O. Besson. Flu tuating target dete tion in u tuating K-

distributed lutter. IEEE Signal Pro essing Letters, 22(10) :17911795, O tober

2015.

[Abe93 J. S. Abel. A bound on mean square estimate error. IEEE Transa tions on Infor-

mation Theory, 39(5) :16751680, September 1993.

[AN10 M. Ak akaya and A. Nehorai. MIMO Radar Dete tion and Adaptive Design Un-

der a Phase Syn hronization Mismat h. IEEE Transa tions on Signal Pro essing,

58(10) :49945005, O tober 2010.

[AW08 A. Amar and A. J. Weiss. Fundamental limitations on the resolution of deterministi

signals. IEEE Transa tions on Signal Pro essing, 56(11) :53095318, November

2008.

[BA13 O. Besson and Y. I. Abramovi h. On the Fisher information matrix for multivariate

ellipti ally ontoured distributions. IEEE Signal Pro essing Letters, 20(11) :1130

1133, November 2013.

[Ban71 W. J. Bangs. Array pro essing with generalized beamformers. PhD thesis, Yale

University, New Haven, CT, 1971.

[Bar49 E. W. Barankin. Lo ally best unbiased estimates. The Annals of Mathemati al

Statisti s, 20(4) :477501, De ember 1949.

[Bel95 K. L. Bell. Performan e bounds in parameter estimation with appli ation to bearing

estimation. PhD thesis, George Mason University, Fairfax, VA, USA, 1995.

[BESV K. L. Bell, Y. Ephraim, Y. Steinberg, and H. L. Van Trees. Improved bellini-tartara

lower bound for parameter estimation. In Pro . of International Symposium on

Information Theory, year = 1994, editor =.

[BEV95 K. L. Bell, Y. Ephraim, and H. L. Van Trees. Ziv-Zakaï lower bounds in bearing

estimation. In Pro . of IEEE International Conferen e on A ousti s, Spee h, and

Signal Pro essing (ICASSP), volume 3, pages 16491652, Detroit, MI, USA, May

1995.

[BEV96 K. L. Bell, Y. Ephraim, and H. L. Van Trees. Expli it Ziv-Zakaï lower bound for

bearing estimation. IEEE Transa tions on Signal Pro essing, 44(11) :28102824,

November 1996.

[BGR

+08 S. Bay, B. Geller, A. Renaux, J.-P. Barbot, and J.-M. Brossier. On the hybrid

Cramér-Rao bound and its appli ation to dynami al phase estimation. IEEE Signal

Pro essing Letters, 15 :453456, 2008.

95

96 BIBLIOGRAPHIE

[BLS05 S. Buzzi, M. Lops, and S. Sardellitti. Further result on Cramér-Rao bounds for pa-

rameter estimation in long- ode DS/CDMA systems. IEEE Transa tions on Signal

Pro essing, 53(3) :12161221, Mar h 2005.

[BMWZ87 B. Z. Bobrovsky, E. Mayer-Wolf, and M. Zakaï. Some lasses of global Cramér-Rao

bounds. The Annals of Statisti s, 15(4) :14211438, De ember 1987.

[BSEV97 K. L. Bell, Y. Steinberg, Y. Ephraim, and H. L. Van Trees. Extended Ziv-Zakaï

lower bound for ve tor parameter estimation. IEEE Transa tions on Information

Theory, 43(2) :624637, Mar h 1997.

[BT74 S. Bellini and G. Tartara. Bounds on error in signal parameter estimation. IEEE

Transa tions on Communi ations, 22(3) :340342, Mar h 1974.

[BZ75 B. Z. Bobrovsky and M. Zakaï. A lower bound on the estimation error for Markov

pro esses. IEEE Transa tions on Automati Control, 20(6) :785788, De ember

1975.

[BZ76 B. Z. Bobrovsky and M. Zakaï. A lower bound on the estimation error for er-

tain diusion pro esses. IEEE Transa tions on Information Theory, 22(1) :4552,

January 1976.

[CGQL08 E. Chaumette, J. Galy, A. Quinlan, and P. Larzabal. A new Barankin bound ap-

proximation for the predi tion of the threshold region performan e of maximum

likelihood estimators. IEEE Transa tions on Signal Pro essing, 56(11) :53195333,

November 2008.

[Cha04 E. Chaumette. Contribution à la ara térisation des performan es des problèmes

onjoints de déte tion et d'estimation. PhD thesis, E ole Normale Supérieure de

Ca han, Ca han, FR, De ember 2004.

[Cla95 M. P. Clark. On the resolvability of normally distributed ve tor parameter estimates.

IEEE Transa tions on Signal Pro essing, 43(12) :29752981, De ember 1995.

[Cox73 H. Cox. Resolving power and sensitivity to mismat h of optimum array pro essors.

The Journal of the a ousti al so iety of Ameri a, 54(3) :771785, August 1973.

[CR51 D. G. Chapman and H. Robbins. Minimum varian e estimation without regularity

assumptions. The Annals of Mathemati al Statisti s, 22(4) :581586, De ember 1951.

[Cra46 H. Cramér. Mathemati al Methods of Statisti s, volume 9 of Prin eton Mathemati s.

Prin eton University Press, New-York, September 1946.

[CRL09 E. Chaumette, A. Renaux, and P. Larzabal. Lower bounds on the mean square error

derived from mixture of linear and non-linear transformations of the unbiasedness

denition. In Pro . of IEEE International Conferen e on A ousti s, Spee h, and

Signal Pro essing (ICASSP), pages 30453048, Taipei, Taiwan, April 2009.

[CRL10 E. Chaumette, A. Renaux, and P. Larzabal. New trends in deterministi lower

bounds and SNR threshold estimation : From derivable bounds to onje tural

bounds. In Pro . of IEEE Workshop on Sensor Array and Multi- hannel Pro es-

sing (SAM), pages 121124, Taipei, Taiwan, O tober 2010.

[CZZ75 D. Chazan, M. Zakaï, and J. Ziv. Improved lower bounds on signal parameter

estimation. IEEE Transa tions on Information Theory, 21(1) :9093, January 1975.

BIBLIOGRAPHIE 97

[EBRM11 M. N. El Korso, R. Boyer, A. Renaux, and S. Mar os. Statisti al resolution limit

for the multidimensional harmoni retrieval model : Hypothesis test and Cramér-

Rao bound approa hes. EURASIP Journal on Advan es in Signal Pro essing,

doi :10.1186/1687-6180-2011-12 :114, July 2011.

[EBRM12 M. N. El Korso, R. Boyer, A. Renaux, and S. Mar os. On the asymptoti resolvability

of two point sour es in known subspa e interferen e using a glrt-based framework.

ELSEVIER Signal Pro essing, 92 :24712483, O tober 2012.

[Eld06 Y. C. Eldar. Uniformly improving the Cramér-Rao bound and maximum-likelihood

estimation. IEEE Transa tions on Signal Pro essing, 54(8) :29432956, August 2006.

[FL01 Ph. Forster and P. Larzabal. Sur les bornes minimales pour l'estimation de para-

mètres déterministes. In Pro . du olloque GRETSI sur le traitement du signal et

des images, pages 707710, Toulouse, FR, September 2001.

[FL02 Ph. Forster and P. Larzabal. On lower bounds for deterministi parameter estima-

tion. In Pro . of IEEE International Conferen e on A ousti s, Spee h, and Signal

Pro essing (ICASSP), volume 2, pages 11371140, Orlando, FL, USA, May 2002.

[Gal80 J. Galdos. A Cramér-Rao bound for multidimensional dis rete-time dynami al sys-

tems. IEEE Transa tions on Automati Control, 25(1) :117119, February 1980.

[Gen92 A. Genz. Numeri al omputation of multivariate normal probabilities. Journal of

Computational and Graphi al Statisti s, 1(2) :141149, 1992.

[GFG14a M. S. Gre o, S. Fortunati, and F. Gini. Maximum likelihood ovarian e matrix es-

timation for omplex ellipti ally symmetri distributions under mismat hed ondi-

tions. ELSEVIER Signal Pro essing, 104(0) :381386, November 2014.

[GFG14b M. S. Gre o, S. Fortunati, and F. Gini. Naive, robust or fully-adaptive : An estima-

tion problem for CES distributions. In Pro . of IEEE Workshop on Sensor Array

and Multi- hannel Pro essing (SAM), pages 457460, A Coruña, Spain, June 2014.

[GG13 M. S. Gre o and F. Gini. Cramér-Rao lower bounds on ovarian e matrix estima-

tion for omplex ellipti ally symmetri distributions. IEEE Transa tions on Signal

Pro essing, 61(24) :64016409, De ember 2013.

[Gla72 F. E. Glave. A new look at the Barankin lower bound. IEEE Transa tions on

Information Theory, 18(3) :349356, May 1972.

[GMV00 F. Gini, M. Montanari, and L. Verrazzani. Maximum likelihood, ESPRIT, and per-

iodogram frequen y estimation of radar signals in K-distributed lutter. ELSEVIER

Signal Pro essing, 80(6) :11151126, January 2000.

[GO90 J. D. Gordman and A. O.Hero. Lower bounds for parametri estimation with

onstraints. IEEE Transa tions on Information Theory, 26(6) :12851301, Novem-

ber 1990.

[GO91 J. D. Gordman and A. O.Hero. On the appli ation of Cramér-Rao type lower bounds

for onstrained estimation. In Pro . of IEEE International Conferen e on A ousti s,

Spee h, and Signal Pro essing (ICASSP), Toronto, Canada, 1991.

[Hub67 P. J. Huber. The behavior of maximum likelihood estimates under nonstandard

onditions. In Pro eedings of the fth Berkeley symposium on mathemati al statisti s

and probability, volume 1, pages 221233, 1967.

98 BIBLIOGRAPHIE

[HV10 A. Hassanien and S.A. Vorobyov. Phased-MIMO Radar : A Tradeo Between

Phased-Array and MIMO Radars. IEEE Transa tions on Signal Pro essing,

58(6) :31373151, June 2010.

[JLL09 M. Jin, G. Liao, and J. Li. Joint DOD and DOA estimation for bistati MIMO

radar. ELSEVIER Signal Pro essing, 89(2) :244251, February 2009.

[Kay93 S. M. Kay. Fundamentals of Statisti al Signal Pro essing : Estimation Theory, vo-

lume 1. Prenti e-Hall, In ., Upper Saddle River, NJ, USA, Mar h 1993.

[Kot59 V. A. Kotel'nikov. The Theory of Optimum Noise Immunity. M Graw-Hill, New-

York, NY, USA, 1959.

[LC03 E. L. Lehmann and G. Casella. Theory of Point Estimation. Springer Texts in

Statisti s. Springer, New-York, NY, USA, 2 edition, September 2003.

[Lee93 H.B. Lee. The ramer-rao bound on frequen y estimates of signals losely spa ed in

frequen y. IEEE Transa tions on Signal Pro essing, 40(6) :15071517, June 93.

[LM04 N. Levanon and E. Mozeron. Radar Signals. Wiley-Inters ien e, 2004.

[LS09 J. Li and P. Stoi a. MIMO Radar Signal Pro essing. John Wiley & Sons, In , New

Jersey, USA, 2009.

[MCLB12 T. Menni, E. Chaumette, P. Larzabal, and J. P. Barbot. New result on Deterministi

Cramér-Rao bounds for real and omplex parameters. IEEE Transa tions on Signal

Pro essing, 60(3) :10321049, Mar h 2012.

[Mes06 H. Messer. The hybrid Cramér-Rao lower bound from pra ti e to theory. In Pro .

of IEEE Workshop on Sensor Array and Multi- hannel Pro essing (SAM), pages

304307, Waltham, MA, USA, July 2006.

[MGCL14 T. Menni, J. Galy, E. Chaumette, and P. Larzabal. Versatility of onstrained CRB

for system analysis and design. IEEE Transa tions on Aerospa e and Ele troni

Systems, 50(3) :18411863, July 2014.

[MH71 R. J. M Aulay and E. M. Hofstetter. Barankin bounds on parameter estimation.

IEEE Transa tions on Information Theory, 17(6) :669676, November 1971.

[MMY06 R. A. Maronna, D. Martin, and V. Yohai. Robust statisti s. John Wiley & Sons,

Chi hester, UK, 2006.

[MS69 R. J. M Aulay and L. P. Seidman. A useful form of the Barankin lower bound

and its appli ation to PPM threshold analysis. IEEE Transa tions on Information

Theory, 15(2) :273279, Mar h 1969.

[Mui09 R. J. Muirhead. Aspe ts of multivariate statisti al theory. John Wiley & Sons, New

Jersey, USA, 2009.

[NM09 Y. Noam and H. Messer. Notes on the tightness of the hybrid Cramér-Rao lower

bound. IEEE Transa tions on Signal Pro essing, 57(6) :20742084, 2009.

[OK91 S. G. Oh and R. L. Kashyap. A robust approa h for high resolution frequen y

estimation. IEEE Transa tions on Signal Pro essing, 39(3) :627643, Mar h 1991.

[Org12 U. Orguner. Cal ulation of some expe ted values for parameterized mean model

with Gaussian noise. arXiv :1209.1670v1, 2012.

[PCO

+08 F. Pas al, Y. Chitour, J. Ovarlez, P. Forster, and P. Larzabal. Covarian e stru -

ture maximum-likelihood estimates in ompound gaussian noise : Existen e and

BIBLIOGRAPHIE 99

algorithm analysis. IEEE Transa tions on Signal Pro essing, 56(1) :3448, January

2008.

[PFOL08 F. Pas al, P. Forster, J. Ovarlez, and P. Larzabal. Performan e analysis of ova-

rian e matrix estimates in impulsive noise. IEEE Transa tions on Signal Pro essing,

56(6) :22062217, June 2008.

[PR10 F. Pas al and A. Renaux. Statisti al analysis of the ovarian e matrix MLE in

K-distributed lutter. ELSEVIER Signal Pro essing, 90(4) :11651175, April 2010.

[PS08 J. G. Proakis and M. Salehi. Digital Communi ations (5th Ed.). M Graw-Hill, 2008.

[QCL06 A. Quinlan, E. Chaumette, and P. Larzabal. A dire t method to generate ap-

proximations of the Barankin bound. In Pro . of IEEE International Conferen e

on A ousti s, Spee h, and Signal Pro essing (ICASSP), volume 3, pages 808811,

Toulouse, FR, May 2006.

[Rao45 C. R. Rao. Information and a ura y attainable in the estimation of statisti al

parameters. Bulletin of the Cal utta Mathemati al So iety, 37 :8191, 1945.

[RB74 D. C. Rife and R. R. Boorstyn. Single tone parameter estimation from dis rete time

observations. IEEE Transa tions on Information Theory, 20(5) :591598, September

1974.

[Rendf A. Renaux. Contribution à l'analyse des performan es d'estimation

en traitement statistique du signal. PhD thesis, E ole Normale Su-

périeure de Ca han, Ca han, FR, July 2006. http ://www.bibli.ens-

a han.fr/THESESENS/Renaux/PDF/Renaux2006.pdf.

[RFBL07 A. Renaux, P. Forster, E. Boyer, and P. Larzabal. Un onditional maximum likeli-

hood performan e at nite number of samples and high signal-to-noise ratio. IEEE

Transa tions on Signal Pro essing, 55(5, Part 2) :23582364, May 2007.

[RFCL06 A. Renaux, P. Forster, E. Chaumette, and P. Larzabal. On the high-SNR onditional

maximum-likelihood estimator full statisti al hara terization. IEEE Transa tions

on Signal Pro essing, 54(12) :48404843, De ember 2006.

[RFL

+08 A. Renaux, P. Forster, P. Larzabal, C. D. Ri hmond, and A. Nehorai. A fresh look

at the Bayesian bounds of the Weiss-Weinstein family. IEEE Transa tions on Signal

Pro essing, 56(11) :53345352, November 2008.

[RGC

+13 C. Ren, J. Galy, E. Chaumette, P. Larzabal, and A. Renaux. Hybrid lower bound

on the MSE based on the barankin and weiss-weinstein bounds. In Pro . of IEEE

International Conferen e on A ousti s, Spee h, and Signal Pro essing (ICASSP),

pages 55345538, Van ouver, Canada, May 2013.

[RGC

+14 C. Ren, J. Galy, E. Chaumette, P. Larzabal, and A. Renaux. A Ziv-Zakaï type

bound for hybrid parameter estimation. In Pro . of IEEE International Confe-

ren e on A ousti s, Spee h, and Signal Pro essing (ICASSP), pages 46634667, Flo-

ren e, Italy, May 2014.

[RGC

+15a C. Ren, J. Galy, E. Chaumette, P. Larzabal, and A. Renaux. A onstrained hybrid

Cramér-Rao bound for parameter estimation. In Pro . of IEEE International Confe-

ren e on A ousti s, Spee h, and Signal Pro essing (ICASSP), Brisbane, Australia,

May 2015.

100 BIBLIOGRAPHIE

[RGC

+15b C. Ren, J. Galy, E. Chaumette, P. Larzabal, and A. Renaux. Hybrid barankin-weiss-

weinstein bounds. IEEE Signal Pro essing Letters, a epted with mandatory minor

revisions (AQ), June 2015.

[RH13 C. D. Ri hmond and L. L. Horowitz. Parameter bounds under misspe ied models.

In Pro . of Asilomar Conferen e on Signals, Systems and Computers (ASILOMAR),

pages 176180, Pa i Grove, CA, USA, November 2013.

[RH15 C. D. Ri hmond and L. L. Horowitz. Parameter bounds on estimation a ura y

under model misspe i ation. IEEE Transa tions on Signal Pro essing, 63(9) :2263

2278, May 2015.

[RkG

+14 C. Ren, M. N. El korso, J. Galy, E. Chaumette, P. Larzabal, and A. Renaux. On

the a ura y and resolvability of ve tor parameter estimates. IEEE Transa tions on

Signal Pro essing, 14(62) :36823694, July 2014.

[RM97 I. Reuven and H. Messer. A Barankin-type lower bound on the estimation error of a

hybrid parameter ve tor. IEEE Transa tions on Information Theory, 43(3) :1084

1093, May 1997.

[RN05 S. Ree e and D. Ni holson. Tighter alternatives to the Cramér-Rao lower bound

for dis rete-time ltering. In 8th International Conferen e on Information Fusion,

volume 1, pages 16451648, July 2005.

[RO07 I. Rapoport and Y. Oshman. Weiss-Weinstein lower bounds for markovian systems.

part I : Theory. IEEE Transa tions on Signal Pro essing, 55(5) :20162030, May

2007.

[RS87 Y. Ro kah and P. S hultheiss. Array shape alibration using sour es in unknown

lo ationspart I : Far-eld sour es. IEEE Transa tions on A ousti s, Spee h, and

Signal Pro essing, 35(3) :286299, Mar h 1987.

[SD85 K. Sharman and T. S. Durrani. Resolving power of signal subspa e methods for nite

data lengths. In Pro . of IEEE International Conferen e on A ousti s, Spee h, and

Signal Pro essing (ICASSP), volume 1, pages 15011504, April 1985.

[Seb08 G. A. Seber. A matrix handbook for statisti ians, volume 15. John Wiley & Sons,

2008.

[Sim06 D. Simon. Optimal State Estimation : Kalman, H-innity, and Nonlinear Ap-

proa hes. Wiley InterS ien e, 2006.

[SK61 B. K. Shah and C. G. Khatri. Distribution of a denite quadrati form for non-

entral normal variates. The Annals of Mathemati al Statisti s, pages 883887,

1961.

[Sle54 D. Slepian. Estimation of signal parameters in the presen e of noise. Trans. IRE

Professional Group on Information Theory PG IT-3, pages 6889, 1954.

[SM93 L. L. S harf and L. T. M Whorter. Geometry of the Cramér-Rao bound. ELSEVIER

Signal Pro essing, 31(3) :111, April 1993.

[SM04 M. Shahram and P. Milanfar. Imaging below the dira tion limit : a statisti al

analysis. IEEE Transa tions on Image Pro essing, 13(5) :677689, May 2004.

[SM05 P. Stoi a and R. Moses. Spetral analysis of signals. Prenti e-Hall, In ., Upper Saddle

River, New Jersey, 2005.

BIBLIOGRAPHIE 101

[Smi05 S. T. Smith. Statisti al resolution limits and the omplexied Cramér-Rao bound.

IEEE Transa tions on Signal Pro essing, 53(5) :15971609, May 2005.

[SN98 P. Stoi a and B. Chong Ng. On the Cramér-Rao bound under parametri onstraints.

IEEE Signal Pro essing Letters, 5(7) :177179, 1998.

[TMN98 P. Ti havsky, C. H. Murav hik, and A. Nehorai. Posterior Cramér-Rao bounds

for dis rete-time nonlinear ltering. IEEE Transa tions on Signal Pro essing,

46(5) :13861396, May 1998.

[TRB

+11 N. D. Tran, A. Renaux, R. Boyer, S. Mar os, and P. Larzabal. MIMO radar in the

presen e of modeling errors : A Cramér-Rao Bound investigation. In Pro . of IEEE

International Conferen e on A ousti s, Spee h, and Signal Pro essing (ICASSP),

pages 27802783, May 2011.

[TRB

+14 N. D. Tran, A. Renaux, R. Boyer, S. Mar os, and P. Larzabal. Performan e bounds

for the pulse-phase estimation of X-ray pulsars. IEEE Transa tions on Aerospa e

and Ele troni Systems, 50(1) :786793, January 2014.

[TT09 K. Todros and J. Tabrikian. Hybrid lower bound via ompression of the sampled

CLR fun tion. In Pro . of IEEE Workshop on Statisti al Signal Pro essing (SSP),

pages 602605, Cardi, Wales, UK, August 2009.

[TT10a K. Todros and J. Tabrikian. General lasses of performan e lower bounds for pa-

rameter estimation - part I : non-Bayesian bounds for unbiased estimators. IEEE

Transa tions on Information Theory, 56(10) :50455063, O tober 2010.

[TT10b K. Todros and J. Tabrikian. General lasses of performan e lower bounds for para-

meter estimation - part II : Bayesian bounds. IEEE Transa tions on Information

Theory, 56(10) :50645082, O tober 2010.

[TW07 P. Ti havský and K. Wong. Quasi-uid-me ani s based quasi-Bayesian Cramér-Rao

bounds for towed-array dire tion nding. IEEE Transa tions on Signal Pro essing,

52(1) :3647, January 2007.

[Van68 H. L. Van Trees. Dete tion, Estimation and Modulation Theory, volume 1. John

Wiley & Sons, New-York, NY, USA, 1968.

[Van02 H. L. Van Trees. Dete tion, Estimation and Modulation theory : Optimum Array

Pro essing, volume 4. John Wiley & Sons, New-York, NY, USA, Mar h 2002.

[VB07 H. L. Van Trees and K. L. Bell, editors. Bayesian Bounds for Parameter Estima-

tion and Nonlinear Filtering/Tra king. Wiley/IEEE Press, New-York, NY, USA,

September 2007.

[VRBM14 D. T. Vu, A. Renaux, R. Boyer, and S. Mar os. Some results on the Weiss-Weinstein

bound for onditional and un onditional signal models in array pro essing. ELSE-

VIER Signal Pro essing, 95 :126148, February 2014.

[VVRB12 J. Vilà-Valls, L. Ros, and J. M. Brossier. Joint oversampled arrier and time-delay

syn hronization in digital ommuni ations with large ex ess bandwidth. ELSEVIER

Signal Pro essing, 92(1) :7688, January 2012.

[Whi82 H. White. Maximum likelihood estimation of misspe ied models. E onometri a :

Journal of the E onometri So iety, 34 :125, 1982.

[WW85 A. J. Weiss and E. Weinstein. A lower bound on the mean square error in random

parameter estimation. IEEE Transa tions on Information Theory, 31(5) :680682,

September 1985.

102 BIBLIOGRAPHIE

[WW88 E. Weinstein and A. J. Weiss. A general lass of lower bounds in parameter estima-

tion. IEEE Transa tions on Information Theory, 34(2) :338342, Mar h 1988.

[XGMM13 F. Xaver, P. Gerstoft, G. Matz, and C. F. Me klenbrauker. Analyti sequential

weiss-weinstein bounds. IEEE Transa tions on Signal Pro essing, 61(20) :5049

5062, O tober 2013.

[YB92 S. F. Yau and Y. Bresler. Worst ase ramer-rao bounds for parametri estimation

of superimposed signals with appli ations. IEEE Transa tions on Signal Pro essing,

40(12) :29732986, De ember 1992.

[YGB11 J. Yang, B. Geller, and S. Bay. Bayesian and Hybrid Cramér-Rao bounds for the

Carrier Re overy Under Dynami Phase Un ertain Channels. IEEE Transa tions

on Signal Pro essing, 59(2) :667680, February 2011.

[ZKCM12 A. M. Zoubir, V. Koivunen, Y. Chakh houkh, and M. Muma. Robust Estimation

in Signal Pro essing : A Tutorial-Style Treatment of Fundamental Con epts. IEEE

Signal Pro essing Magazine, 29(4) :6180, July 2012.

[ZZ69 J. Ziv and M. Zakai. Some lower bounds on signal parameter estimation. IEEE

Transa tions on Information Theory, 15(3) :386391, May 1969.

Caract erisation des performances minimales d’estimation ...Vineeth, Mathieu, rançois, Jean-F...

Documents

Transcript of Caract erisation des performances minimales d’estimation ...Vineeth, Mathieu, rançois, Jean-F...