Perspectives on System Identification Lennart Ljung Linköping University, Sweden.
Ljung, System Identification: Second Edition, 1999.
Transcript of Ljung, System Identification: Second Edition, 1999.
�����
��
�����
���
� ���
� � ��
���
��� �
��� �
��� ��
�� �
��� �
�.
Lj
ung,
Sys
tem
Iden
tific
atio
n: T
heor
y fo
r th
e U
ser
Seco
nd E
ditio
n, 1
999.
�����
��
��
�����
93
����
1.
Ljun
g, S
yste
m id
entif
icat
ion,
199
9.
2.N
elle
s, N
onlin
ear s
yste
m id
entif
icat
ion,
200
1 3.
Iser
man
n, F
ault-
Dia
gnos
is S
yste
ms,
2006
Contents�
1.In
trodu
ctio
n 2.
Impu
lse
resp
onse
and
spec
trum
3.
Non
para
met
ric S
I: Im
puls
e re
spon
se a
nd sp
ectru
m
4.Pr
edic
tion
5.Pr
edic
tion
mod
els:
LR
, PLR
6.
Para
met
er e
stim
atio
n: O
ptim
izat
ion
algo
rithm
s 7.
Estim
atio
n qu
ality
: Var
ianc
e of
pre
dict
ion
erro
r and
par
amet
ers
8.O
ptim
izat
ion
com
puta
tion
algo
ritm
s: B
atch
, Ite
rativ
e an
d R
ecur
sive
9.
SI p
aram
eter
s: in
put,
prep
roce
ssin
g an
d L,
Sam
plin
g fr
eque
ncy,
and
�
10.S
I par
amet
ers:
Mod
el se
lect
ion
and
valid
atio
n, c
lose
d lo
op, e
xper
imen
tal p
ract
ice.
11
.Non
linea
r sys
tem
iden
tific
atio
n: N
N
12.N
onlin
ear s
yste
m id
entif
icat
ion:
Wav
elet
, Fuz
zy, A
NFI
S 13
.Fau
lt de
tect
ion
and
diag
nosi
s
1��
��
���
���
Ljun
g ch
apte
r 1
1-1�
����
���
��
���
��� �
��
��� �!
�� "
�� #$
��%&�
'��
�� (
���)
� ��*
�+"l
aws o
f nat
ure"
"
��.
�,! "
,�� �
-�� #
$��%&�
/�
� 0�%
�12 3
���
4 �
�� 5�
�*
!�6+ #
�����
�$�&1
� 3��
� �! �
. ��
$�
�%&�
�!�!
�-+� �!
��
���� �
�����
"Ex
perim
enta
l dat
a"
� �
� �
7�61�
'���
�
����
"Sy
stem
iden
tific
atio
n"
��
� ��
�� .
���!�
,�! �8
��6�
�$
�����
����
!��
“Mod
elin
g”
"��
. &1�
� 54
��+ �
� �
��
��� �9
12 4
/��
#��%&
� �!
���4 #
��1 #
�����
�� .
�� "
,��:�
�,912 �
;!�� �
� �
"use
fuln
ess"
#��
�!Tr
ue sy
stem
"
�� .
�
����
: #�
�0)� "
<� �0
�� $� #
� �8��
6� '
����
- �>
&,-
��,��
,?<
�� @
&,: �
,! �,�
",�
� #��0
,)� 7�
1&1�
�� �
� ��
)�����
�.
��"
�" :
"��
���A
B���
8 ��C�
+ "D+
'��
�� .
# 4�
4 E
2 ��&,
F� �,�
"��
���A
B��8
4 #�,�
� ��$�
&,1� B
,!�� �+&
8�� B
!�� '
�G�+
"��
. #$
�%�
: di
stur
banc
e
"��
1 ���
� E2 @
HI E
�-�� �
� "��
#� ��
���A
�1 # 4�
4 .
�$�&1�
B!��
"��
�-��
JK�
A� �
� �&
�
4�A �
E2 �
�C�+ ��
�+ � &
��! #
���.
%��
"�:
���
��H�
� �
�C�+ L
��A M
�D� �
! �A
�!�1
�! '�
.,
�4�A
�,�
� #
��� �$
�&1� �
� ��K
8 ���
��C�+
"��
.
�#�
&�
����
�'% (
���) *
����
Hea
ted
Hou
se-
Exa
mpl
e 1.
1 A
Sol
ar
�� �
'
����
sola
r pan
el
4 �
�� �
&���
�A $�
�� ����
�!��:
��
� B
F��� E
2 BA�
#.
N�O
1 7�
,� #�
�,: �!
��he
at s
tora
ge
&��
� BF��
�
"��
1 � 4
N�O
M��+
�&�
J����
5��?
! #Q�1
� ��
� ,
� B,F�
�� R�
,+� �,!
��
�$
B-�
S!�;
�.
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-2
N
�O "
8�� '
����
�� �
2
N�O
"8��
4 �!
U&��
��A V
!�+ U#
4�4
1 �,
�� �
, R�
,+� 5�
��,I
���
4 JK�
A� 5
���I
heat
sto
rage
&�
��:
�4�A
. 5
���,I
�,��
4 &�
���A
V!�+
5&�
B-�
heat
sto
rage
�!
,� �,�
, & �$
�! ( #
��! ��
�� "
�WX+
50 #
�� �!
�1��1
��O
�! �
8��10
&:
� E��
1 �� #
� �F��
.
�
#�&�
:"��
'% '5
� +� "�
67�
)
long
itudi
nal (
forw
ard)
mot
ion
�In
puts
: Gas
ped
al p
ositi
on, g
ear,
brak
e pe
dal p
ositi
on.
�O
utpu
t: V
eloc
ity.
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-3
�D
istu
rban
ce: F
rictio
n w
ith v
aryi
ng ro
ad su
rfac
es
�#�
&� :
+7 (
��� �
"���
��7 �
� ����
� �� �
� +8
;
�In
puts
: DC
vol
tage
s on
the
link
and
end-
effe
ctor
mot
ors.
�O
utpu
ts: T
he p
ositi
ons o
f the
link
s and
of t
he e
nd-e
ffec
tor.
�D
istu
rban
ces:
Mas
s of t
he p
icke
d-up
obj
ect (
load
), fr
ictio
n.
�#�
&� :
67�
)ro
ll
�<��
�'.E
xam
ple
1.2
A M
ilita
ry A
ircr
aft
�In
put:
Aile
ron
defle
ctio
n an
gle.
�
Out
put:
Airc
raft
roll
angl
e.
�D
istu
rban
ces:
Win
d, in
puts
from
oth
er c
ontro
l sur
face
s, et
c.
�#�
&� :
('=
��!'�
e 1.
3 Sp
eech
Exa
mpl
&�
��: 5
�* &�
%�+ B
���8 \
% 4 E
�: #
�]) U
+�* #
�:��+ U
�� #
��: ��
�) .
'��
�� �
� �
O
utpu
t: o
f thi
s sys
tem
is so
und
vibr
atio
n (i.
e., t
he a
ir pr
essu
re),
In
put
M�
�+ ��
\% 4
E�!$
"��
I UE
�: #
�]) #
��� B
-� U
+�*��+
E��
�1 ���
� B
��� '
����
�� #
�� 44
� &1
��
� � �*
0^�
4&�
���1 #
��� �$
�&1� B
!��
&��
�
�T
ime
seri
es:
&�
��
� 1��$
#��
�� U�
1�>��
#���
����
�4
�A �!
. #
�?���
B_��
� � E
2 �>
#��%
�X� �
� �
")�
.
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-4
1-2�.�
����7
:
��
�!���
�$ �
��� �
b�A
��;!
��
��� 4
7�8 ��
;! #$
��%&�
1 :
Con
trol
des
ign
:
���+ &
�� ��
��+ ��
%���
� @�&:
� &1���
! �� �
%����
I��c
#��!
plan
t
V,<
! B��&
,I �
��
#$��
%&� &
�! E2
�� 1
. ,�
�&,�O
��,��
! ",��
:� "
,�� �
,�^��
'���
� ���
M��
� �
�4 d�
/�� �
� &,
��
. $�$�
��4 ��
"��
E2 J
���� �
���$ �
'��
5�8�/
��
?"�,�
#��
�7
J�,�
�� #�
�,! 0,
�1 W�
F+ J&
�-
�� �
�����
&��
� "��
�
2:Pr
edic
tion
:
�&1��!
U3��!
UR�!
@�?�
&�1��
5e�D
+ ��!
V�O
)
1�,�$ #
�,: #
��Ti
me
serie
s (
�,1��
1"
�� #$
��%&�
�!���
$� #�
>
� :
3 : S
yste
m (r
e) d
esig
n :
��
��� �
�G��
�! �
��W+ 4
h�
( �
��)�
'���
�
(mac
hine
lear
ning
)
$�,! �
�+
'��
��
I��c
)#$
��
i� (
���
���� �
����
� ���
. 4 :
#��
*��
���'
4 �� #
��0�
J�
�>��
$� 0�
1 @HI
#��!
��j�)
I��c
��G�
� �!
5 :
Sim
ulat
ion
: ��
G�� �
! '��
��
�����
$� �,�
�� �,
�0: �
,! ���
�! #�:0
�%�12 7
�61� 4
�+��i
��� #
4� #$
��%&�
j�8
E��$
2 .
,�
��! ��
,G��
�! j
*� 7��
��jO $
� �+ �
��
�����j
O #4�
'���
� #$
�� �
��O #
$�� ��
W� $�
��G�
�
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-5
"��
'���
� ���
)� .
���
� 5
��*
%���6
#$��
��W�
�$4��
� .
",D
+ �&,
�
�,����
J&,
� ��,G
�� �,
� #��,
!��
���
� ���
� ��
�! ��
� E2 �
��)� �
�)�� �
��� J
K�A�
4 # 4�
4 �j�<
� M�
. fli
ght s
imul
ator
s or n
ucle
ar p
ower
stat
ion
train
ing
sim
ulat
ors a
re o
f cou
rse
far m
ore
com
plex
6 :Fa
ult d
etec
tion,
dia
gnos
is:
�����
�� �
\�8
l�<
�+
1-3 A�
'4�!��
�B �
�*�+
���)�
'��
�� (
��
�� "
�� �-
��
1.�
K� �
�:m
5��?
!
Men
tal o
r ver
bal m
odel
s
2.�!�
/ n�
�O � &
! �� �
�1 &�
1�� ��
��1 4
J4&
� S
�c $�
G
raph
s and
tabl
es
3./
�� J
���)
M
athe
mat
ical
mod
els
4.
#�+��
i��� �
��1�! �
Softw
are
mod
els
&�
�! .
%&� ��
�)� ��
���
4 (
'�
���
!����
B!��
��o ��
��8 �
&���
��*
�+ ��
"��
�&�9
�O 4
"��
�H%
#��%&
�j!��
����
! W�
F+ �+
� ��
"�
4
h�
&���
: �!�
��.
1-3-1
��.C
#��
��
$7 ��
M
enta
l mod
els
��
! ��
�)� ��
�����
�� "
�� �-
��
�:m ��
;!
�K� �
J
&�)
��*
�+ (
&��
. �
Turn
ing
the
whe
el c
ause
s the
car
to tu
rn.
�Pr
essi
ng th
e ga
s ped
al m
akes
the
car a
ccel
erat
e.
�Pr
essi
ng th
e br
ake
peda
l mak
es th
e ca
r slo
w d
own.
"
�� '�
���
��
��� "
�� !
�6+ 5
��?! �
� 4� �
A #�
W1���)
#$��
%&� .
&1��+
�
�:m J
&� 3
��� �
! ��
��� �!
�6��
Fuzz
y m
odel
ing
�
�
1-3-2
�D�
E��F �
�B!��
Tab
le o
r pl
ot m
odel
ing
�
&�1��
"��
@���
5��?
! '��
��
��*�+
J&� #
����
� �!�
/ n�
�O#�
����
�� �
�1
���) n
��O U�
jO n��
O U;
A ��o
#���
�D� 4
�:���
���)�
�� ��
1 4
;A
� �
6�
#"��
(�'
G�
�,-
j�8 &
,�1��
F;�
� 4
W�+�+
#���
����
�-j�
8 &�1��
OR
UA
ND
#�
���,�
�� 4
�+ �&
�9�O
�
�1�� J
4�&�
�1���
J4&�
&
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-6
�
'��
�� �
�*�+
&�1��
"��
B-�
5��?
! �ha
rd d
rive
read
-writ
e he
ad
",�
� �$
B-�
S!�;
� ��
. �
,� �
# 4�4
B-�
:�
4�A 4
��+��
: "
�����
head
�
� �
� �
E��1
.
-�
)��� J
&� 3
��� �
! ��
���N
onpa
ram
etric
app
roac
h
�� 7
�1 .
6�
,� ��
,W�8�
#��,!
p4�
�,� �
,6��1
valid
atio
n
"��
&���
(��
����O J
&�
1-3-3 �
H���
��B!�
�M
ath
mod
els
E
�,�! q
1��
� B��
1���
5e ��
� �! �
�O ��;
! �� "
�� /
�� J
&� ��
G��
��
� � �
! 7�1 J
&� $�
��4
���� 8
&1��
� .
"��
�-��
��%&�
��
��
���O
–��
�� U��
���
-;
A U
) �?+
- �,
,;
A��o
lum
ped
or d
istri
bute
d
&���
!
�H�
�� ��
��!��
I���
!�4J :
&�2
� "�&
! (��
r+ p
4� �!
'���
� �0�
� p4�
�� �
e
����
�� &
2 �
"�&
! ��12 \
���+ $
� j�
'���
� 4
#��0)
� 7�1
J&� �
! �6�
�
��
� '
����
$�.
\,�
�� 4 �
�0�
F�� $�
p4�
��
"��
���
�R
emai
n va
lid fo
r eve
ry o
pera
ting
poin
t. �
Off
er si
gnifi
cant
insi
ght i
nto
the
syst
em’s
beh
avio
r. �
Unf
easi
ble
if th
e sy
stem
is to
o co
mpl
ex o
r poo
rly u
nder
stoo
d.
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-7
/��
J&�
��
��� :
7�1 �
! ��
��� d�
1 ��
Para
met
ric a
ppro
ach
�
� �
�&1��A
. p
4� �,
� \��
� 4 ��
0�$� &
�+��W8
: o
"��
(��
����O �
�o #�
��4�
$� �+ �
&�9�
O
o �
� � �
���� &
1��+
� #$��
��W�
4 �%�
���
I��c
#��!
t��1
. o
&���
: �W��
� ���
�;F1
J�I
t��1
e���
�
o&�
��: #
�$ #
�: �!�
�� �
� ����
� 4 "
A��
B!��
� ��
�!
oG
ive
less
phy
sica
l ins
ight
.
1-3-4
Soft
war
e m
odel
The
mod
el u
sed
in a
com
pute
r sim
ulat
ion
of a
syst
em is
a p
rogr
am. F
or c
ompl
ex sy
stem
s, th
is
prog
ram
may
be
built
up
by m
any
inte
rcon
nect
ed s
ubro
utin
es a
nd lo
okup
tabl
es, a
nd it
may
no
t be
fea
sibl
e to
sum
mar
ize
it an
alyt
ical
ly a
s a
mat
hem
atic
al m
odel
. W
e us
e th
e te
rm
softw
are
mod
el fo
r suc
h co
mpu
teriz
ed d
escr
iptio
ns. T
hey
have
com
e to
pla
y an
incr
easi
ngly
im
porta
nt ro
le in
dec
isio
n m
akin
g fo
r com
plic
ated
syst
ems.
1-4��
����
L)�
��
�;!��
� '
����
��
��� �!
uI�
W� �!
v�!�
�1(
U'��
��2 (
��
3( J
&� ��
�A��
4 ( ��
��� �
�<�1�
5 (�,�
��! p
4� #
$��6(
"��
w�;�
6�
� ��W
�8�.
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-8 1-4-1
����
��
��� #
��!
# 4�4
J��>
�� U
- �
� �
���A
m 4 #
��� �$
�&1�
�4�A
. �,
! #� �
��,��
��,;
! �,
����
",�F
)�� �
� >
��! ��
%��>��
5�?
<��
�
# 4�
4in
form
ativ
e
��
J��8
� '��
�� �!
4 &�
%�+ .
��
'���
� �
��8
�-j�8
B<�
&�W1
# 4�4
. �
#��
�! �1�
�1 �
�O1/
10
"��
��
��� "
D+ '
����
��1 E
��$ .
� �
� �
� �
��
��� b
�A M
���
"D+
��
"WC
#��!
��
1��$
+&� .
&��
��
�&,�
",WC
#��
J�c
N �� ��
C�+ "
D+&:
� �
���.
� '
�� B-
�� $�
&,��
! JK�
,A� y
�,�� �
',:
4 #0�
1 ':
�4�A
4 &�
�! #0�
1 "��
�-��
# 4�
4 �-�
� �>
. �
� ��
)�� �G
1 � &
�! ��
"��
j]�
� JK�
A� �!
� �%2
�4�A
3��
� �! '
����
��
���.
1-4-2
#�� �
��%�
I
������
�� ���
���
�W
�F+ #
�?���
J&�
Prin
cipl
e of
par
sim
ony:
� J&
�
"���
�-z�
� ���
<+ q
1���4 �
��� �
�����O
�!.
�@�
;�1� B
!�� J&
� :
�>
@�c
$� V
�0)�
�&�
+ &,
:
,� V
:�,� �
� ��,�
<+ 3
�,�! �
,:����
��O .
�,6�
�1 �
��&,F�
����!
#
� �
� �&�
O &�!
#�:�
�����O
�&�
+ #��!
. �
Whi
te b
ox :
���
�!���
�F��
�����
�O 4 ��
�A��
�G1 $
� ��
��
� ����
%&�
�!"
�� j
*� '�
. �
Gre
y bo
x:
��
��� �
"�F)
�� #�
�!
jW� 5
�8Kc�
a pr
iori
know
ledg
e
??
<+ �G
1 4 '
����
���! �
�,
! �
� �
\���
+ ��
��� J
���) p
4� .
�jr,�
� (,
�,! '
�,���
��
��� "
��12
�� l
<�� J
&� ��
�A��
���
�����
�O ���
<+Pa
ram
eter
est
imat
ion
�
� �
B&W
+ .
� �! �
�� �
� �
-�� �
j�<� �
D1 �
�� 5�
�* "
��
�% �
(Ph
ysic
al m
odel
ing
#
4$�,! #
��! �$
�;!��
BX�
��
� ���W
+ /�
� #$
��%&�
3��
� �! J
&� ��
�A��
��5�
! �
&2
� "�&
! ���o
4 -0
�) (
��r+
0�%�12
&8���
3��
� �! J
&� ��
. � (
Sem
i ph
ysic
al m
odel
ing
: &�
1�� �
� �
J&�
j�j
D+ 5
��?! '
����
$� �
<! MF
) ��
���)�
�,�o
B���8
; A
) Ud
�W��
Dea
d zo
ne
���o 4
q$�
���:
4 (
5��?
! ��F!
4B
lack
box
&1�
� �
��)��
�G1 �
.
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-9 �
Bla
ck b
ox :
�� &�
1�� �
��8
/��
J&� (
�
��o #
��1��%
� $� �-
W� (
�
;A #
�����
�� #
��! q
1��
�% ���
! ;A
��
� ��
)�� �G
1 �
j*� '
����
�! S
�� ��
�+ E4
&! '�
���
J&� E
�.
1-4-3 #
�� ��
����� *
�<M�
Para
met
ric
Est
imat
ion
1.
��
� �&
0� �!
��+
"�)
4 ��<
�1� ��%
&� $�
#� �
8��6�
2.
$� &�
+��W8
���<
+ #���
4�
�Li
near
leas
t-squ
ares
met
hod
(LS)
: sim
ple
to c
ompu
te, n
o as
sum
ptio
n on
noi
se m
odel
�
Stat
istic
al e
stim
atio
n m
etho
ds, e
.g.,
Max
imum
like
lihoo
d, B
ayes
use
prio
r noi
se k
now
ledg
e
� In
stru
men
tal-v
aria
ble
met
hod
(IV
): a
mod
ifica
tion
of th
e LS
met
hod
for c
orre
late
d no
ise
�Pr
edic
tion-
erro
r met
hod(
PEM
): m
odel
the
nois
e, a
pplic
able
to a
bro
ad ra
nge
of m
odel
s
1-4-4 /�
� ��
����
#��
���
���
�N�M
odel
Val
idat
ion
"
�� $��
1 ���
��
���
4 ��
��
# 4
��
� #
��
6��
��W�8
�
1.
��
� ��
��� J
&�
�����
#��
�!
2.
��
� "�+
6�
� ��W
�8� #
�� #
4� �&
�
�����
J&�
�-j�
8 .
�&�
��
��� J
&� ��
�� �
� 7�
j�� �+
"��
��A
)��
�$�&1�
�!“g
ood
enou
gh”
.
>�,�
W�: �
,� "
,�� �
� '��
"�+
�=y-
�
4 &�
�,�� 4u �
&���
W1 ���
W�: $
�! �FjI
"%�I
���
�����
��
- +�
�,�
- �.
�� /�
024��
- ��
��� ��
��
1-10
3. E
����!
�&�
��
��� J
&� 0�
�:Tr
ue
� '�
���
J
&,� E
��,��!
�,-j!
��
�1 �
�)�� �
G1go
od e
noug
h
��
� |
�D% �
G1 ��
� �!�
�� #�
�!.
4. \
,����
�,
����
#�,:
��^��
4 �
,� ���
,-+ &
�! �1
$� &���
) U&1��H
>! ��
6��
��W�8�
M��
� &1�
��1 J
&� ��
�
�� �
�<�1�
.
1-5 ��
����
��
����
MA
TL
AB
��0
)� 7�1
(
��4
Inte
ract
ive
"
,��
,���
(��
��
��� �
��A
"��j
!�� �!
.M
ATL
AB
#
��� Sy
stem
id
entif
icat
ion
Tool
box
"
��
5�1�-
�� ��
o
#$��
��W�
o
# 4�4
"A�
�
oJ�
�>��
p$�
�O V
�O
o���
� �W�
� 4
;A ��
o U;
A #$
��%&�
o
��
��� #
�����
�>%� �
8��6�
o
6��
��W�8
� 5�1�-
�� �8��
6�
ot
��1 V
��1 5
�1�-�� �
8��6�
� �
�42
� ':��
).
iden
t
���1�
!G
UI
��
"��
��
���in
tera
ctiv
e ��
&��
� B���
+ .
Hel
p
� ���
�� ��D
1 #��
$��
� �
�4�
!�<! ��
����
��>%�
$ � .
��
� �
���� ��
����
>%� �
� �! 3
� "
)���O
�! .
#��,
�� �!
iden
t
�D�,*
��
� �
:�} B
-� S
!�;� E
2.
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-1 2
+��H
O�
�g(
n)
���
"|G
(�)|2
Ljun
g C
hapt
er 2
'
����
LTI
,� B�
-,�+
�� -
���,�
#���
�,���
$� ,
��� 3
K� &�
��:
���4 #
�����
�� \
�F+ e
����
��&�
� � &
�%�+ J
�W� B
!�� #�
�<��
O \jo�
��12 3
��� �
! I��
c ��
&�:
.
2-1
����
+�
��F +
��H O
��
n
��O
����
� '
����
LTI
#
��1��$
� t=
kT
E2 �
!�/ n
��O 3
��� �
! �
��%�1�
� J��>
�1� 4
"��
�!��!
�!
0
0(
)(
)(
)(
)(
)(
)y
tu
tg
dy
kTu
kTg
d�
��
��
��
��
��
��
��
T
"��
#�� �
! �1��
1 ��
O .
E �
! "!�C
�W�F+
y�)
�!u
'��
�: �
�O J
�c �
(1)
11
11
()
()
()
()
()
()
()
()
()
()
()
()
()
()
mT
Tm
Tm
mm
mT
Tm
m
ykT
ukT
mT
gd
ukT
mT
gm
T
yk
uk
qg
kG
qu
ku
kq
gk
Gq
uk
��
��
�
��
��
��
��
��
��
��
�
��
��
E2 �
��
q-1u(
t)=u(
t-1)
"
�� .
G(q
)
p4�
E�,�
: �,�
",�
� R�,)
M,!�4
� SWc
'��
�� �&
� ��
��� �
!�/ n
��O
step
inva
rianc
e
�;!��
���4 �
"��
G(q
-1)
B
&W+ &
�1�� ��
"��
z 5
��?!
G(q
)
'���
� �
�����
. #�
&� 1:
&2
� "�&
! �1�>
�� ��
���O
'���
� #�
�! #$
�� ��
��� d
�1 �
�
��
()
(1)
11
11
10
(1)
()
()
()
11
()
11aT
kT
ataT
k
kT
baT
aTaT
kk
aTk
ka
aTaT
bb
eG
sg
tbe
gt
dte
sa
az
ez
ee
ze
zG
ze
ze
z
��
��
��
��
��
��
��
��
�
��
��
��
��
�
��
��
��
�
���
5K��
�! �
06+ $
� &�!
�� "
�� '�
���
�jO n
��O "
�WX+ E
��: �
�1
�,
��+ �,
! (�:
',:
�,! 4 �
W,��D
�&1�
� �
���
�j
�� #
��! �;
!�� �
�b/
s
5��?
!bT
z-1/[1
-z-1
]
&2
� "�&
!
����
" #
��0�
�FP
�" ��
Q
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-2
������
����
������
���7�
:
�5N �
��7�
:g(
0)=0
"
�� ��A
�+ #���
'��
��
��
Mon
ic:
�
�4 "
�� (
�1�� #
� �j��
&�z
g(0)
=1
2-1-1!��
����
#$
�%�
D
istu
rban
ces
�����
A �1 #
��%��>
�� ��
C�+ "
D+
���4 #
�����
��)
JK�A
� (
&1��
�1
�&
J&� �
�� &
���:
4 5
��,?!
e��
��lu
mpe
d 4
addi
tive
7�
) �!
v(t)
&1�
� �
�)�/
� '��
�� �!
. y=
G(q
)u+v
Th
e as
sum
ptio
n th
at th
e no
ise
ente
rs a
dditi
vely
to th
e ou
tput
Impl
ies s
ome
rest
rictio
ns.
#$�%
� 6�.�
�
1.M
easu
rem
ent
nois
e
$� �
�1 "��
�-��
JK�
A� 4
0�1
drift
�,�
� �$�&
,1�
J��>
�,�
,�I �,
4
,�4�A
&��! #
4�4
. 2.
Unc
ontr
olla
ble
inpu
ts :
&��! �
&�1 J
���� #
�� 4�
4 $�
��1 &
1��+
� JK�
A� .
5�D
�* ��
�O��: �
KX�
&��!
�1 J�
��� B
!�� ��
"��
JK�A
� �! �
C� %4
&1��
�� # 4�
4 VF1
%���
�.
d�1 �
� "
,�� �
,-��
JK�
A� #
��� �$
�&1� B
!�� 4 �
��
�&
�4�A
� M
F) E2
�C�
v(
t)=y-
G0u
#$�%
� #��
J
��>��
5��?
! "��
�-��
JK�
A�
(,
�,! ��,
12 E��+
�
����
\jo�
� ��
&��
! ) �
?+ �
����
� Uq
%�O U�j
O J
��>��
4 �&�
���
+
�� J
&� '
����
(
. K
X�)
�?+ "
%�I �
U #
�� �!
���
�
��
,12 E��
,+ ,
� JK�
A�"
��1 �&
� ��j
�) &�
�� 0
�1 5�
�?!
. v=
H(q
)e
��e(
t)
"��
&���
0�1
. �
�j
�8 #
�: �!�
�� #�
�! p
4�
�&���
B���
+ "
,��
. �,
� �,�
,�
y�,)
',:
e�,�
��h(
0)=0
"
�� �!
E �
d��+�
! �
$�+ �
!�+e
�� &
�%�+ E
��+
� �� J
K�A�
$� 8��
�� d��
1� .
J�X�
#��!
��
�
e(t)
= 0,
with
pro
babi
lity
1 -�
e(
t) =
r, w
ith p
roba
bilit
y �
. r��
N (0
, �)
2.10
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-3 4μ
&��! (
z��
\��
�� ��j
�) ��
<�1� �
!(H
)
S!�;
� JK�
A�
B-�
2.5
�
� &�
%�+ 5
eK�A
� E �
� J&�
#��!
�� &
"��
\��
�� �
����
4 W��
U#� �
!�/ U#
� �jO
.��
� �>
@�c
$�
e�N
(0,�
)
B-,
� JK
�A�
�� ��
)�� �G
1 �
2.6
�
� �
B*�
I.
#
��!e
��12 4
�W+�
� �+ b
��A M
F) \
jo� "
�� J&
� # 4�
4 ��
)q
1���4 4
��>
1��� (
��
� ��
)�� �G
1 �
.
2-2#�
<�)� L
)���
�"��
#�
��4
��'�
���:
e=
�*ra
ndn(
1,10
0)
q1��
�4 4 ��
* ��
>1���
�! J���
1 ) �
?+ �%
�W1 �2
&�
� � &
�%�+
*�0
4���
μ :m
=mea
n(e)
Exp
ecte
d va
lue
����
R��S
4�: �
s=st
d(e)
V
aria
nce
T4���
�'7co
v(e,
u)
) �?+
��^��
4 un
corr
elat
ed
��� &
���:
cov(
e,u)
=0
��
. ��
�e 4u
BF��
�in
depe
nden
t
&���
!
P(e,
u)=P
(e)P
(u)
��
�W�:
��o �
��I
unco
rrel
ated
"
��1 ~
�D*
���0%� E
2 q-8
%4
&���
:.
) �
?+ &�
��) (
st
ocha
stic
pro
cess
"
�� )
�?+ #
�: ��^
�� $� #
� �%�W1
X={
X1,…
…,X
k,……
..,X
N}
�: ��
>1���
$� #� �
%�W1 �
!
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-4
���
1�����
$� �
�+��
4
��
� "��
E���
� ) �
?+ &�
��) (
��
� "��
��* �
�>1���
�! &�
�� E
���� &
���) 4
#�
�0�
*�
�
E2 �
!��� 4
3���
� �!�
/ U�j
O #��%
��>��
&���
: ����
#��%
��>��
���
�� #��0
�
�!�+
E2 q
1���4 4
��>
1��� ��
#0�
1 J��>
��t
"��
���� J
��>��
&��W1
���
�� +��
#��0
�
����
v�j<
� '��
�� #
��%��>
��)
'���
� $�
��1
(
) �?+
4)
JK�A
� $�
��1
(&�
��:
. E
��,���
1 �,6�
� �
v�,�
"��
��
����
�H
%�!
\%��
( �
���
#��!
,�
�,�
�+ ��,
�� �
W,� J
��>�,�
UJ��>
�,�4
�: #
� �
,� .
� �
,���%
��>��
: 1.
>�
�W�:
�A
4 ��>
1���
%4 &�
��: E
��$ �
!�+ &1
��&1���
2. ��
� ��
"��
��G�1�
+
>��W
�: �
A �!�
W1�6
� �!t
1 ���
!�4&�
�W .
RN�
R
��4
N�
2,5
9 �! ����
J��>
�� ��
��
&E "
�� ��C
�+ !
4 ��&
1��� &
�! J�
�>��
42.
59
�,�
����
+ .
�,� �
�,�� J
��>�,�
��,�
� &�
��: �
���+ M
���
. J
���) p
��>1 "
%���
#��!
E
��
� ���
+
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-5
�(
)(
)(
)sR
Est
st
��
��
J
��>��
4 s 4
w #
��%��>
��jo
intly
qua
si s
tatio
nary
�
,�4 �
,�12 q
1�,���
� 4 ��
,�� �
W,� 4
�: ��
� &���
:&�
�! ���
�
()
()
()
swREs
tw
t�
��
�
2-3+��
'E ,
�"�S
��4 #
��0�
���
" �0
���<.
2-3-1+��
'E
+��'E
V���
�:
'��
�� n
��O
LTI
�!
�/ n
��O �!
g(k)
�!�4
# 4
u=co
s � t
�! "
���!��!
�;
!�� �
� � G
'���
� �
1���)
n��O
E
��: ��
"��
'��
�� �!
�/ n
��O �
��) B
&W+
&,��
! ,�
. B
&,W+
�,;!��
����
� J��>
�� �
��)D
TFT
�
� �
����
1 �1�>
��
�
��O &
In=
0
"��
�&�
��)��
�G1 �
j8
J��>
�� ��
"��
���
�� �
! .
&�1��
J��>
��g
���
�� �
��) B
&W+
stab
le
&��!
.
2-3-2�0
���<.
) �! J
��>��
4 >
��W�
: �
� �
�W��
D� �
$ J���
(
)(
)(
)xyR
xt
yt
dt�
�� ��
��
&���
0�1
J��>
��
>��W
�: \
�+�+ �
� �!
�(0)
R
e( )=
�
�>
5��W8
�! �
Re(0
)=�
"
�� 0�
1 q1��
�4 .
"��
:� �!
0�1 �
��+ M
���
�� "
�� �
� >�
�W�:
J��>
���
&,��
,� �
,���
�� .
��,!
�!�,�
+ ��,�
�+ E2
���
,� �,>
"
�� J�
�>��
4
#�&�
2: �
�! >�
�W�:
#��%�
�>��
(
�
� �
�W��
D� �1
�>��
'���
�)e 4u
&���
: BF��
�(
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-6
��&
F�R
ye(0
)
�! "��
�!��!
: R y
e(0)=
E([-
ay(t-
1)+
bu(t-
1)+
e(t)+
ce(t-
1)]e
(t))=
0+0+
�+0=
�
�W��
D� #
��!R
y(0)
E
��+
�y(
t)=-a
y(t-1
)+bu
(t-1)
+e(t)
+ce(
t-1)
E
��+ �!
��2
,/
�� &,
��� q
i,� 4
&1���
")��
R
y(0)=
a2 Ry(0
)+b2 �
+�+c
2 �-2a
c�
�
� �W�
�D� ��
��F!
&�� �
�� ��
5�W�
�D� �
� -�
�-+ �!
\�+�
+ ���
: �! 4
.
2-3-3�
��
���
: �
�cx
+ ���
)�!�
E2
>��W
�: �
AR
���
.
q
-8 $�
��c �
��:"�
� '�
:��A �
��)
V
��,��
���
cros
s spe
ctru
m
: J
��>��
4 B
!�F��
>��
W�: �
��)
x 4y "
��
�-
�%�I �
� x "
�� F
�FI� x
y
E2
,F�FI
"�,
�� �!
"��
q-ji
��
j� "
%�I �
co-s
pecr
rum
V,<
! �,! 4
E2
��:��
quad
ratu
re sp
ectr
um
&���
�
. '��
� #��0
� �
���
I�
:
>��W
�: �
A(
��O
J��>
��U
"��
( �
�O
�6��1
� "
�� �!�
/ �%�
W1 B
��� (
��O
J��>
�� �
�c 4
1
1(
)(
)(
)(
)(
)(
)(
)M
Est
st
Rss
ts
tRs
kMRs
M�
��
��
��
��
�
�
�,
: �,�c
�,�
�,� B
&,�+
E��,+
,� 3
����
�8��
6� �!
���)
#��
�! �� (
��O
J��>
�� �:
��
��� �
� �!
"��
�!�/
4 B�
�� 3
����
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-7
1
0(
)(
)(
)(
)M
jj
jlm
Pj
lMs
sRs
eRs
lme
ee
��
��
��
��
��
��
��
��
��
����
���
��
��
F+ �!
\�
�!�/
�! �A2
�j��
�!�/
5��?
! ( �
�O J
��>��
��c
�-��
�6��1
�:
����
�!"
�� .
��M
"��
��O
. #�
&� 3:
#�&�
:W
'��
���
: "
�� �!�
/ 4
B���
E2 �
�c 4
"��
( �
�O 3
����
#�
&� 4:
#�&�
:+�
���"
��X #
��0�
"�
<� �
��:
J��>
��s(
t)=u(
t)+v(
t)
�� 4�
4 �!
4
��,*
��>1�
,�� �,
! #
����c
� u 4� v
&��>
! �G1
� ��
. �
�cs
�! "��
�!��!
#�
&� 5:
()
()
()
()
()
()
()
()
Est
st
Eut
ut
Evt
vt
RuRv
��
��
��
��
�
�
�
�>1���
��
��c
4
&2
� "�&
!.
#�&�
6:#�
&�:
&��! �
&� �
� E2
q1��
��� ��
%��>
�� �
�c
��
� �W
��D�
�1�>
��.
�8
% ���
� �
�"�%
���
��&
�O '�
���
&���
y �)
y=H
u �!
u E
2 ��c
��� u
��c
5��?
�� �
��
(�D
+ "��
y �! "
�� �!��
!
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-8
� u
y(ej�
)=H
(ej�
)�u(e
j�)
'���
� #��!
�6��1
��
v=H
e
��e ��
��� @
��D1� �
! &���
0�1
� &2
� "
�&! "
��.
()
max
(0,
)m
ax(0
,)
()
.(
)(
)(
)(
)j
jk
jk
kk
ve
hk
hk
hk
eh
ke
��
��
�
��
��
��
��
��
��
��
�
���
����
���
��
��
�
2)
()
(j
vH
e�
��
��
'���
� #��!
�6��1
�
�!
�6��
�
� �
�$ M
!�4�
22
()
()
()
()
jj
vu
Ge
He
��
��
��
��
()
()
()
jvu
uG
e�
��
��
�
#�&�
7: #
�&�:
��c
'�
���
#��!
y(
t)-ay
(t-1)
+e(t)
�!e q
1���4 4
&���
�2
�! "��
�!��!
J
��>��
��c
B-�
�>
J�X�
� +e
(t)+0
.5e(
t-1)
v=
1.5v
(t-1)
-0.7
v(t-2
)
&:
� E��
1 ��.
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-9
���
*���
H �
�"�%
���
��Sp
ectr
al F
acto
riza
tion
�
,�
,� � �
&,�!
J�,?
) �
�,!
,O J&
,� �,!
�,�c
$� E��
,+ ,
� �,2
�,� J
��� �
� �! n
��O
. #
��,!
'�,�
��v(
t)=H
(q)e
(t)
��4
�&�
��j�)
0�1 �
�c� v
(�)
"
�� 3
��� �
4e
&��,�
0�1
��,
��� @
��,D1�
�,!
� "
,��
��� �
� ��
� �
� E
��1
$�
�!�+
4eiw
&��!
&
1��+
�H
(z)
��
�� �
&�O ��
Mon
ic
4 \
;� 4
"��
&��
� R&*
�$ �
;!�� �
4 ��
��&1 &
I�4 ��
� #
4� #�
�*.
�
�c
MF)
certa
in a
spec
ts
#4�,
I +
��,W8
�! &�
� � ~
��+ ��
J��>
��se
cond
-ord
er p
rope
rtie
s
J��>
�,�"�
� .
��
��� ��
��
� �
�4� (
%H��
);
A '�
���
( ��
$��1
5�8K
c� ��
�: �!
0�1
) J
&� $�
) 5�8K
c� �
�c ��
&1 ��
(
2-4 +�
�'E
�0�
��<.
?��F
"�'��
� ")
���
( #
��0�
#'�
N
2-4-1+��
'E
�"�S
� #'�
#��0
� +�
�'E
: '
�1�����
MF)
�� B�
8 �
�! �
$ ���
�+ �!
�6��
�� '
��� ��
� 4&
D� J
�c J
��>��
��
�.
��
�!�+
�
�O �!
����
�O2�
"��
E
�z �-
�� �)�]
�u
�!�
,+ "
,��
F�FI
L4 0
,�E�
�F��
"
��
��
�+ :
#4� �
6�� �
#���
M��
�� 1
/��
��
&1 �
�4
j*� J
���) �
�� "
�� �&
� 7�6
1� .
�
,%4ID
FT
\�,
/1/
N
��
��4
. D
FT D
FT
�&�
����
�D
TFT
�
�� "
��N
#��
�! �1�
�1 �;
F1 �
� �
.
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-10
��
�� �
! ��c
����
� �W�
�D�
fft
�
� �
7�61�
. ��
J�
c ��
�N
"��
&�!
v�F1
B��&I
N ��
���O
��c
�+ &�
�! ��
��� �
�c $�
&��! #
$��$�!
B!��
. ID
FT
$� "��
5��W8
J��>
�� �
��) q
-8
2-4-2 �
��-
#��0
� ?�
�F"�
'���
) �
�� ��
N �"
�S�
( J
��>��
7���
4 ��O
E
2 ���
�� 4
"
�� .
7���
4 ��
O �
�,
�%�� E
��,+
K ��
7�&:
� E
��1
.
Pars
eval
's r
elat
ions
hip.
I��'
��� #
��0�
?��F
"�'��
�
4 �
�O ��
�� ]�
��8� �
�'�% '
�S4 +
�� ^J
���
� ���
I���
'��� #
��0��
?��
F .
KX,�
O 3
���,�
7���
4 �,�
��O
�!N
&2
� "�&
! �1�>
�� )
�W��
D�N
-DFT
(
� �!
�/ 4
B���
�� "
��2�
/N
"��
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-11
�� S
�W;+ �
�c �!
�6��1
��
. B
-� �!
%��>
�� �
�c $�
��1
3
�����
��%��
&:
� E��
1
�-
�+��*
� M
>N
�;F1
DFT
�
!�+ �!�
/ #�
D! �
� �W
��D�
sinc
�
� �
�&
. #�
&� 8:
#�&�
: I
��'���
#��0
� ?�
�F"�
'���
Exa
mpl
e 2.
2 :
(,
��O J
��>�,�
q1�,�
�) �,!
f E
��,+
,� 3
����
d��6
� 5��?
! q
1���)
�!r*
f
"��
1 )
���)
#��
(. �8
��6�
( �
�O J
��>��
7���
4 ��O
\�+�
+ �� �
! $�
#�2r
#���
1���)
� �!�
/r/N
"��
.
�E
��G� #
��0�
?��F
"�'��
�
7���
4 ��
O ���
#��0
��E
��G� �
���
er
ratic
"
�� .
��c
J�X�
#��!
v '
����
�
��4
e �!
\��
��� "
�� &�
�� 0
�1|H
|2
4 #0
�,1 E
2 7���
4 �,�
O �,��
"��
erra
tic
",�
� .
V�0
,)�N
�� #
�,W�!
&��
�1 B*
�I .
B-�
d�
/�� �
�
&:
� E��
1 ��.
��
� w
�;� &
�! J�
?) �
E2 B
�% .
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-12
`
�����
���
" ?��F
"�'��
� *��
��c
�! 7�
��4 �
�O
/��&
���w
eakl
y
&��
� B��
�;
!�� �
�2.
75
"��
���� �
!
Lem
ma
2.1.
&���
y�)
s J
��>��
� �
�c �!
E���
� �W
� s(�
) 4
�(�
)
�!�+
#���
�A�
)��j
�) (
���)
\��
/ �!
� t
��
&��!
Pr
oof;
�-��
y�)
�!s
L��A
[1,N
]
'��
�1 �
"��
��*
$�
'��
��! '
�1��+
� )�c
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-13
�! "��
�!��! 4
�� �
&1���
��!
�!
�;!��
"���
"��
��N
�
�
� �
��*. )
\�/
B�%
�! 74
7�+
4 ���
� �W�
y�)
�6��1
� J
4� 7�+
� (
2-4-3 #
��0�
���
�� #�
� *��
� �"
�S� #
'���
"�% "
��"
�"
\�F
+ �� &
:
� E��
1 �$
M!�4�
G '�
���
�
y=G
(q)u
��
# 4�4
�!
|u|�
C
3��
� �!
�� (
�D+
J�c
���)
# 4�4
4&D
�-
�;!��
�! �6
�� E2
#�:
�4�A
&:
� E��
1 ��
��
� �W
��D�
�! ���
�:"
�� \
�F+
Pr
oof
��
-1 :
q1��
�) E2
� U&
�� (
��O
# 4�
4 ���
RN(�
)=0
��
�.
#�&�
9:J�
X�
# 4�
4 E���
���
3 ��
�&
�+ 4
100
&
��!
'�,�
�� #
��! ��
�1���
) n��
O �W�
�D� �
E���
�c� 7
&8&�
�� �W
��D�
�$
�W
��D�
K B
&W+ M
!�4� 3
��� �
!z
&2
� "�&
!
B?)
2 :;
A '�
���
�4��
- ��
>�1�
&:��
-#�
Wc&�
�&���
2-14
2-5
SIN
GL
E R
EA
LIZ
AT
ION
BE
HA
VIO
R A
ND
ER
GO
DIC
ITY
RE
SUL
TS
&�
�! ����
J��>
�� ��
�
E� f(t)
�!
�� �
A #�
�
&:
�
. &,
���) #
��,! �&
,�2 "
,�&!
#��,�
2 5�,8
Kc� �,
2 �� &
1�� �
��!
J���
��
) �?+
J��>
�� �!
�;!��
� "
�� J�
W� B!
�� )
�?+
. �j
r�� �
�er
godi
city
"��
T
heor
em 2
.3:
&���
y�)
s �!
E���
� �W�
J��>
�� (
E
s(t)
= m
(t)
5�)��
D1� 4
��e
q1��
�4 4 ��
* ��
>1���
�! &���
0�1
� 4
&,��!
4&,
D� 7�
��z 7�
����
Ht
��&
,�O #
�,: �,
�j�) $
� #� �
��1�,A
J���
I� �! "
��12 &
��! "
A���-
1 �!N
��
&2
� "
�&! �
$ M!
�4�.
�6
��1 :
$�,�
��W,�
( $
� �&�2
"�&
! #���
2 5�?
<�� "
��12 U&
��! �
&� ��
j�) &
��� 0
�1 $�
��1 B
A�&+ �
�� �
# �!
&I&�
� � S
�W;+
2-6
SUM
MA
RY
J
&�y=
G(q
)u+H
(q)e
&�
)��
� '��
�� #
��!
��e q
1�,��4
4 ��*
��>
1��� �!
&���
0�1
� "
,��
. �
,� #�
�,!�! "
�� �!��
! �4
�A �
�c '
����
"
�� �1�
>�� �
;!��
4&D�
J�c
J��>
�� �
��) �!
�;!��
�
�N
ON
PARA
MET
RIC
SI: I
mpu
lse
and
freq
uenc
y re
spon
ses
Lj
ung
Cha
pter
6
��o
�����
��&1
J&� �
! $��1
(��
����O
'
�� 5�
8Kc�
$� -
4��� $
� $�
�1 ��
� ��
%4� ,�
@HI
�,�
.
#�,�
�,!
1��$
J��>
�� �%
�W1 (
J&�
(g(k
)) )
�!�/
n��O B
X� (
�1
���) �
(G
(ej�
))
'���
�
&,��
�
)��� ��
�,
! �,�
��
�
)��� �
1��1
�!����
�&�
+ � ��
��1
. . �
p4�
��
���
'��
��LT
I J
K�A�
4 # 4�
4 4 $�
! �FjI
Uu 4v
BF��
�"
�� � �
���� B
!��.
�!���
$� -
��
�4� �
����
�!
!�
�,�%4
� 5�8K
c� ���
,� � �
��,��
��,�
(,�
�����O
�,
����
� �,
+ ",�
� J&,
� �
��.
&�1��
+�8K
c�
j� B-
� 4 '
�� �
1���)
&1�!
G(�
)
J&� �
�� 3
&I #
��!
3-1
Impu
lse
resp
onse
3-1-1���
� ��
� ��
�
����
����
� ��
'���
� �!�
/ n�
�O
�! "
���!��!
(
z�� 0
�1 ~
;� ��
� ��
&��!
U �
��<+
�! '�
���
�!�/
n��O
� ��
&2
� "�&
!
00
()
()
()
()
()
yt
vt
yt
gt
gt
αα
α=
+�
=�
���
<+ #
�;A
��v/
�
"��
.�
�� ���
��� ��
����
� ����
� ����
� �� ���
��� �
����
��
�.
����
��A
���
<+ #
��!�
"��
1 �-�
� �$
Be
�! ��
&��! �
�0! &
�!:
� �
"��
1 $�6
� ���
4 #���
����
�! �
�0! �!
�/ J
��8�
���� \
jo�.
� �
-�� �
�0! ��
�� ;
A ��o
���)�
"��
&�
� (�D
+ �� '
����
. ��
�� 1.
+ ��
���
�!D
��� �
;F1 "
=0.5
ssu "
�� �&
� J�
�8� &
I�4 �!
�/ �!
�/ n
��O
��12
&�10!
���<
+ .
(��
����O �
�o
�����
3-2
0()
t TK
gt
eT
−=
���
'���
� ��
� %4
"��
1 �!�/
n��
O J���
) E �4
2 "�&
! ���
<+ $�
��G��
1 E
��,+
,� 0,�
1 �� ��
,� �
� &��
! �
7�61�
. �
�>1���
$�11
��1 ��&
F� ���
&1�� �
1��1
�W
��D�
��
�+K
��
� $ �
��<+
.
"
)� E��$
$� 4
0.38
&2
� "
�&!
1��$ "
!�C
$�
'���
� B
&�+ �
�+ J�
I"
�� ���
F��
"��
1 �W��
� J&�
�1��
4 ��
"�)
#&�!
n��O �
&�!
�&�2
"�&
! J&�
.
3-1-2�!
���
�� �
��� �
��
�� �
��
�� �! �
jO n��
O�
�! "��
�!��! '
����
(��
����O �
�o
�����
3-3 ��
g o(k
) ��
$ ��
�<+ E
��+
� �1�>
��
�;
A ��
[v(t)
- v(
t - 1
) ]/�
.
"��
�"
#$�
�
j/
��+ �;
!�� $� �
!�/ n
��O �
W��D
�6.
6
0�1
��)��
�G1 �
�!
,�
\,�
��� �,
1 ��12 �
� ��
O �
��0!
#�;
A&�
�
� �
���,�
� ���
,* J
�,���
� � �
��� �
�;! '
����
\%�o
1��$
"!�C
4 ���
! U��A
�+ ����
+ #��!
p4�
�� (
%H��
�� 0%�
-�1 �
j>$ p
4� �!
�%����
'�G
�+ �
E2 #
�� �
� ��
�
��
�!� .
3-1-3���
� ��
� ��
� ��
% ��
&� '�
�� (
��)�
*���
Co
rrel
atio
n
4&12 �
�! "
:�W�
$� #���
�� J�
�>��
4
>��W
�:"
� .
E��,
�� �
W� #
4�4 �
! �$
'���
� ��
�u
",D
+ 4 (
,�D+
# 4�
4 $� B
F��� J
K�A�
��C�+
v &�
�!
�! "��
�!��!
�4�A
4 #
4�4 �
�! >�
�W�:
�!�+
#
��! ��
"��
�$ 5
��?!
4&D�
J�c
#��
�
&���
0�1
# 4�4
��
� J�I
�44 #
0
�1 �
� y
�) &�
��
&
2 � "
�&!
"
�� �!�
/ n�
�O ���
<+ ��
. �
# 4�
4 ��
o&�
��
� +��1:
>�
�W�:
�A
u �W
��D�
B!�F
�� >
��W�
: $� q
i� 4
y 4u J
�c �!
�!�/
n��
OM
��
� $ �
��<+
(��
����O �
�o
�����
3-4
�
�� �
� ��
<�1�
4�4
E�-�
� 5��*
� �
R�) 5
�W��D
��
��
�+ �
. �
��
��4 #
��6+ 5
��?! p
4� �
� �! �
!�/ n
��O �
��<+
4 #
4�4 J
��8� #
��! B
��4
. �
,%�
2: ��
j�) 5
��?! '
����
��)�
� �G1�
FI
R
4&D
� ���
�!
n 4cu
rve
fittin
g
p4�
�!Le
ast s
quar
es
�
,%�
3 : J
�,��)
$� � ��
�,�� q
i,� 4
��
# 4�4
E&�
&���
\��
� �� #
��j�)
$� �4
�A 4
# 4�4
E �
��W8
&���
# 4�
4 �! v
�!��
. p
4� �
� �!
"inp
ut p
re-w
hite
ning
"
&���
�
�
��j�)
&���
y�)
L ��
Lu &�
�! 7�j�
� &��
� &�
�� ��
. �
�
� E
��1 E
��+
� ��
D� �
$ �;!�
� E �
� B��&
I �! @
&: �
,�
� SF
.) �
�,! #
�,;A
�,!��
uf 4e B
��&,I
&��,�
��
(
5�
�?��
�
��/�
�cr
a
p4�
$� � ��
��� �!
����
��
inpu
t pre
-whi
teni
ng
&1$
� ���
<+ ��
�!�/
n��O
>��W
�: �
!�+ 4
. ��
�,� �
,! ��
� E��
+ �
�G1
��� ��
j�)pr
e-w
hite
ning
�
': �
�.
�
�! "
��1 �
�* #
4�4 �
�>1���
���
dete
rend
�
� �
@HI
E2 �
�>1���
�
�&���
&��,�
�,�j�
) $� ��
,� �
,A ��
,;! �,
+ ��
����H
� %�A
����
7��
"���
���2 "
��1 &
��� 0
�1 #
�4 ��
�&�
� � ��
���
��
�� 2.
&�10!
���<
+ �4
�A #
4�4 #
�� 3
��� �
! �� �
$ '��
�� �!
�/ n
��O
(��
����O �
�o
�����
3-5
�!
N=4
096,
T=1
, fs=
1Hz
'�
���
�!�/
n��O
G0
(exa
ct)
cra
(n=1
) cr
a (n
=10)
��
�� 3.
J�X�
�>
��
���
�4�A
4 #
4�4)
&���
0�1
# 4�4
(
J
�c �!
�!�/
n��
O �$
����
�!M
��
� �
$ ���
<+
>��W
�: p
4� �!
�!�
/ n�
�O ���
<+ 4
��%��>
��
>��W
�: ��
��1
(��
����O �
�o
�����
3-6
6
�� ��
W�8�
�4�A
4 #
4�4
3-2 0
4��5�
6 ���
��
�
3-2-1 7�
8/4�
����
04��5
�6 ��
�
&,:
� E
��1 ��
��
��� J
��>��
�! ��
���� �
'��
�� ��
�)� ��
"��
q-ji
��
�!�+
�1���
) n��
O .
J�,�
8� �,!
E2 �
,�
1���)
n,��
O ���&
1�� "
%�I �
# 4�
4 �!
�4�A
����
"W�
1 ����
+ 4 �G
1 ���
#���
1���)
� J�
�>��
���
�! ���
1���)
"��
����+
B!��
"%
. u(
t)=�
cos �
t
(��
����O �
�o
�����
3-7
��
Go(e
iw):
"
�� �
1���)
n��O
. ��
�
&��! 0
�1 y
��� �
�4
�A
��4
n,�
�O �� �
�1 E2
�W+
�! 4
�4�A
����
"��
1 �W��
� �1
���)
.0�
1 E4&
! 4 #
0�1 "
%�I �
# 4�
4 \�I
�!
�4�A
"
�� �&
� � �
E��
1 B-�
�
3-2-2
��
� ��
04��5
�6 ��
��� 0
9/4;
�< e
-j� t
�!
>��
W�: $
� � ���
��e-j�
t
q1��
�) �
�1��
�) n�
�O ����
$�
!�A �
��<+
�=�
0
JK�A
� ��]I
�
&:
�.
'
�,��
,� ��
,�I
�� �,$
>�
,�W�
: �!�+
4 #
4�4 J
��>��
E �
! 7�j�
� �!
) 4
3���
,� �,
! ,�
4�A
>�,�
W�:
3���
��(
�!
�6��
����
�� �j
�� �!
>��
W�:
(��
����O �
�o
�����
3-8
�!
74 �j
�� ��
��
�N
��
��4 7�
� �j�
� 4
v #
4�4 $
� BF��
�)
q1��
�) ��
%���
&��! �
���&1
(
,� ��*
&1��
. �
#��!
��� �
� �!��
� ��;
!
���
D+ �+
&�)�
� R��+
�G
&2
� "�&
! JK�
A� ��]
I �
.
�
&,2
,� "
,�&!
�G1
��� #
���1��
�) �
�1��
�) n�
�O ���<
% #�
��1��
�) �
V��
$2 ���
-+ �!
. �,
! �� ��
,� �,
�7�6
1� E��+
� 0
�1 ���
1���)
�8��
6� J
��8� �!
���W-
� . �
&1��
��4
V��
$2 �
� 7�6
1� b�?
<� 5
�0��6
+.
���
� �!
����
� J�
�>��
J��8
� "��
�-��
�� "
�� �
� p4�
��
���
&��W1
$�6� #
�8 ��
� J�I
� '�
.
�=">
�
p4�
U &:
� �
_���
�1���
) n��
O $� 3
��! E
4&! �
��<+
. �
"W�
1 �! �
��<+
q1��
�41/
N
&��
� ")�
. �
��
� �
�����
���<
+ #��!
( �
�O #
4�4 E
�zR
N(�
)
"��
��*) .
#��r
+2.
1(
3-2-3���
�6 ?�
�;� �
�#!��
: ��
09/4
;�< ��
�@���
e-j�
t
J��>
�� �
��)y(
n)
B&W
+ �!�+
4
'��
���! &
1�!��!
:
�
����
# 4�4
>�,�
W�: p
4� �,!
�,�c
��,�
<+ E
��:
�4�A
���)
�� �
� �
�&
"%��
� �!
"��
����
� #
4�4
��4 "��
.
&�
�! 3���
�� #
4�4
��4 ��
(��
����O �
�o
�����
3-9
&2
� "�&
!
3-2-4 B
�C
�� �
)04
��5�6
�EF
( �
���6 �
�Em
piri
cal T
rans
fer-
func
tion
Est
imat
e
$ ��
�<+ E
��+
� �$
\�+�
+ �! �
��) �
! �� �
�c �
��!��!
E
2 �! �
�em
piric
al tr
ansf
er-f
unct
ion
estim
ate
(ETF
E)
��
� ��
�� .
B,!��
��
,�1��
�) #�
�! R�
) �;!�
� ��
"��
� ����
� #
��!��1
2
UN(�
)#0
��
* #
4�4 ��
��
�1���
) � 5
��?��
��o �
&��
!
,�1��
�) n,
��O "
��un
defin
ed
"��
. q
1���)
�:
;A '
����
� ��
$ &�
� �1
(��
�>
q1��
�) �!
q1��
�) (
� �
�%�� �
���
4�
� �� �
A BF
��� �
���
. �
��
J�c
���
N �
�c &�
�!N
��c
� E
��F+ B
�% �!
�� �
� ��
%��N
/2
��%��
; "
�� )
�� �
� �W
��D�
.
��
� H����
�% % I
����
G : Le
mm
a 6.
1
�$ S
j;� �
�&�O '
����
���
� JK�
A� ��C
�+ "D+
��v(
t)
��c
�!� v
(�)
>��W
�: �
!�+ 4
Rv(t
)
��
$�
BF��
� # 4�
4 4v
��&1���
|u|�
C
&�
�>! �
G1 �
�� "��
. I
����
#��r
+ $�
2. 1
'�
�
���
$� ��
J�c
E&�
4&D
� J�?
D� �
�!N
"��
(
��O
��o #
4�4
��
�612 $
�
/��
&���
V/U
"
�� ��*
) �
�>1���
v �G
1 � �
�*�
"��
�&�
��)�
(. '�
�
(��
����O �
�o
�����
3-10
� �
� �!
\�+�
+ �
��<+
( �
�O ��
o # 4�
4 �!
3��!
'��
�! ��
��
&��
� ")�
(
��O
# 4�
4
� ��
�u(
t)
&��
! ( �
�O #
��r+ S
Wc2.1 U
"��1
2
#��,
�1���
) �
�,
6��1 �
4C
1=0.
"
�� .
"��
( �
�O #
4�4
��4 ��
���
�� �
! #
���1��
�) �
���<
+ 3��!
#��!
N 4
&,D�
0�1
"��
��*. �
� � H
�����%
�! "
�� �!��
! ���
<+ q
1���4 �
� ��
� �
� E
��1
( �
�O #
4�4 #
��!C
1=0
&�
��>!
�G1 �
.
N 4
�: �1�
�1 �&
�+2
K/N
#
���1��
�)D
FT
",�
� .
E�,�
1 �,;
!��"
�� 54
����
�1���
) ��! 4
���1
���) �
� � �
��<+
q1��
�4 &:
�
��
� H����
�% % I
����
H :Le
mm
a 6.
2.
: �$
'��
�� �
v(
t) =
H(q
)e(t)
��e
&���
0�1
)(
��O
��o
( q
1���4 �
!λ 4
four
th m
omen
t μ2
�� H
"��
Sj;�
��&�O
��j�)
��4
# 4�
4&�
�W1 � &
��! (
��O
�� �
�&1 .
J�I
�� �
4
3�,
�! #���
��,�
<+ U
�,�
,� � $
��,�
<+ �
��) �!
��c
��4
"��
�$ q
1���4
. I
����
B�C
��
�
��
� H����
�%
(��
����O �
�o
�����
3-11
�=">
,
%�1 :
(���
�� �
�%�%
"
�� ���
"�4
�� "
�� q
1���)
�! q
1���)
����
� J�
�>��
J��8
� ��c
���
<+ \
����
��� .
E��,
+ ,�
y�8
� J�
�8� '
����
�! E
��0�:
�� ��K
8 ���
#���
1���)
$� W��
�+ J�
�>��
$
���<
+ �� �
�c 4
.
� ��&
F�
��
� �
� "
�� ��)
� B�-
�+ ��
1� $� #
4�4 �
� ��
�1���
) � M
F)
� 4�4
�! (
��O
#
� 1 "
�� ��*
0�1 3
��! 4
��* ��
�1���
) E2 �
���
�<+ q
1���4
�;!��
� U
�!
\��
��� (
��O
# 4�
4 "%�I
� ��
"��
L�<�
� N
"��
. �!
���!�
�! V
�0)�
N 4�
� �
�* "
�� �!
���
<+ q
1���4
.1/
N
,
%�2 :
06���
� ��%
�%
�ET
FE
W1�6
� ��;
!N
��
3
��! E
4&! �
��<+
�
&:
�
�1���
��� V
�0)� �
! ���
<+ q
1���4
N 0
�,1 �,
! J��>
�� "
W�1 �
!��! 4
&!�
�1 V
:��SN
R
4 "
,��
ETFE
�
j�8
����
�X��
crud
e es
timat
e
&��
� �_���
��.
�
"��
���F�
� $� &
!� �
1 V:��
���
<+ q
1���4
) �?
+ # 4�
4 �! �
-�� B
�%
�� �
j�<� #
���1��
�) �
���<
+>&
- $�
�as
ympt
otic
ally
unc
orre
late
d
&���
: 4
�>
� ��
�<+ �
! -�
� �j�<
� #���
1���)
� 5�
8Kc�
&��
�1 ���
1���)
.
��
� uD!
&�! V
<! �
�� �
� �
��+�
� #$��
����:
�! B-
�� �
�
����
4.
J�X�
q1��
�4 ��
e . 4
N =
100
00
"��
. � '
���
�! (
� �!
�����
\���
+ E
��+ 4
�:0.
5
(��
����O �
�o
�����
3-12
�! ��!
( 4
#0�
1 �
� �
(�D
+ E��+
���
: �!
��
��
� �&
U
�����
&�z
# 4�
4 �! "
%�I�
�,�c
���
<+ �
30 �
,�c #
4� #
4�4 q
1�,��)
,��
�4 ���
,�"
�� ��
)��
#
0�1 #
4�4 "
%�I �
%4
"��
1 \%��
q1��
�4 ��
�� ��
1 �
"��
�&�
� � E
��1 �
$
�!
���<
+ q1��
�4 ( �
�O #
4�4 "
%�I �
�� &�
� �
KW� n
��O
1/N
&�
� � "
)�
�6��1
� 4
�!
��1/
N
&��
� ")�
.&�
�� "
� #
4�4 J
��>��
��c
�! E
&� �
�4� #
��!
�!
��N
Ak2
"
�� \
�����
. #
0�1 #
4�4 "
%�I �
%4
q1��
�4 �!
��!
(��
����O �
�o
�����
3-13
V�0
)� �! �
�N
0�1
�! J�
�>��
�!
&��
� B��
.
�!
q1��
�4 ")� �
�1/
N
�!�+
�-j!
��&1
;!�
�,�
,��� �
� �! "
�� ��
q1�,
��4 #
4�4 0
�,1 E
��,+ V
�0,)�
&:
� V:��
. � �
� &�!
�z &
��! �
���&1
��4
# 4�
4 q1��
�4 V�0
)� E�-�
� ���
J�I
V
,<! �
�� "
�� �
�c #
$�����
�: n
��O
��
� u
D! &�
!.
� ��
/�im
puls
eest
impu
lsee
st(i
d)
&1$
� ���
<+ �
�c �
��<+
$� �� �
!�/ n
��O �
��� �
�.
�����
#��!
�4�A
4 #
4�4
(��
����O �
�o
�����
3-14
6��
��W�8
� #��!
�4�A
4 #
4�4
3-3SP
ECTR
AL A
NAL
YSIS
:B
�C �
������
�<
q
1���4 V
:��
#0�
1 # 4�
4 �! �
�c �
��<+
�! �
� �
7�61�
�&���
����:
��j�)
J��8
�
3-3-1 ��
�4�<
J�8�
���
K �9
����
)�
v
L�!��
( �
,� � �
��,��
�,�c
��,�
<+ q
1�,��4
V:�,
� #��!
E��+
� �� "
�� #$
�� ���
�: p
4�-
jD� #
��� �
�>1���
. V
�0)� �
! ��
- "
�� �j�
� 4
#���
���
<+ q
1���4
N "
�� J�
�>��
�! 0
�1 "
W�1 �
� #�>
4
��
� ��*
.
�
,�c
%�,��I
� �A
��,�-
7&,
8 �+ �
& ��
��/
0�1 0
�1 �!
J��>
�� "
W�1 �
��c
U�$
jD�
#���
��>
1��� �
��
|�D
% 0�1 #
4�4 J
K�A�
(��
����O �
�o
�����
3-15
�
���
G0
J
�I� 0
&��W1
����:
�A
�&
�: E
$4 �!�
+ "��
\��
��W
γ(�0)
�
� � �
����
γ
�!�+
�?<�
� ����
��O"s
hape
par
amet
er:'
"
�� .
&:
� E��
1 �� �
!�+ �
� $� #
� �1��
1 B-�
.
J�I
#���
1���)
��� 0
%4
&1��
� �
� "
�����
E$�%
� #4��
� ��;
!e�
���
$� ��
6�O
Ham
min
g
,�
� ����
� #
��! E2
B-�
�� �
� #
�&�+
E
��1
"��
�&�
� �
.
�
�! ��
��6�
O y�8
γ &2
"�&
! ���
<+ q
1���4 4
3��!
����!
�� &�
�! #� �
1�� �!
&�!
��
� ����
+.
�&!�
�1
V:��
q1��
�4 &��
! (��
! j�A
��6�
O ���
�
��
� '
����
(���
� @
HI 4
3��!
�! �6
�� &�
�! ��O
j�A
��6�
O ���
�
��<
�1� �
��!��!
γ �!
G0(
ω)
�
� ��
�� �
$� �
����
�
��6�
O=
10
E2 �
�j;� �
1 �6�
�1 4
(��
����O �
�o
�����
3-16
� #
�>
p4�
�;A
4 ��
�! �4
K8 0�
1 �
���+ #
��!
��
��4
3-3-2 M
��� L
�!����
�v(
�)
�
0�1
��c
���
� v(�
)
"��
'� E
2 5���
�^+ ��
6�O y
�8 �!��
! �G1
��� �
$�! �
�� �
� y�)
E���!4
&��W1
7�j��
E
� ���
� �!
E �
� X�A
�! �6
�� ��
,� "
,�&!
�$ �
��<+
�;!��
��
�&2.
�
&��W1
J��8
� B!��
0�1 �
�c '
� 5���
�^+ y
�) ��
�
�,�c
qi,�
4 ��
,�<+
0�,1
��c
�&�!�
�� "
�� ���
! j�A
��
� $ �
��<+
'��
��.
3-3-3γ %
���
$�
H��5
�6 M��
�� �
�< +�
NE
w
γ(ξ)
:
fr
eque
ncy
win
dow
"
�� ���
� �� $
� ��6�
O 5�?
<��
��6�O
�$ ~
;� 1
��
* ��
>1���
E
2 q1��
�4M
(γ)
5�?
<�� �
> 4
��6�
O
V
�0)� �
!γ
�(��
! ��6�
OM
(γ)
4
V:��
W�(γ
)
&!�
� V�0
)�
(��
����O �
�o
�����
3-17
�
�! W�
F+ �;
!��
#��!
q1��
�4 4γ�
5
"��
���F�
� $�
��
�� 5.
Exam
ple
6.1
A S
imul
ated
Sys
tem
'
����
y(
t)-1.
5y(t
- 1)+
0.7y
(t-2)
=u(t-
1)+0
.5u(
t - 2
)+e(
t) (6
.67)
y
��� �
e(
t)
q1��
�4 �! &
���1
"��
. #
�4u
J��>
�� �!
PRB
S
",�
� �&�
(�D
+ .
1000
J
��>�,�
$� �,1
��1
"��
�& �
� � ��
��� �
�c �
��<+
#��!
. ��
6�O
Parz
en �!
γ=10
, 50
&20
0
E�,�
1 ��j-,
� "
�� �&
�� �
����
���
�� ��&
F� ��
&�:
�
&��
� �G1
�! \
γ=50
&�
�!
(��
����O �
�o
�����
3-18
3-3-4
��
� 0;��
N� H
�����% %
I���
��� 0
P��
��
�����
�< "
�� �C�
� �$
w��
�! ��
�<+ q
1���4 4
3��!
#4�
��6�O
5�?<
��
Bia
s:
&1�
�$ 4 '
�O �;
!�� �
� �
�! "
W�1 7
4 4 J
4� S��
��
#��,
! W1�,
6� ��
;! �A
2 �j��
4 4
&���
:O
#�,:
��,6
� �&
� � �
&�
��: �
�* .
M(
)
"��
��6�O
q1��
�4
"
�� �$
���� �
! ���
+ SWc
0�1
�
V
aria
nce:
#
4�4 #
��! M!
�4� �
�u
#0�
1 �%�W1
4 ��
�� �
W�v
"��
. W�
&1� �&
� �
��+ K
W� ��
&���
: ��6
�O �?
<��
. q
1���4
W�F+
�;!��
q1��
�4 #��!
W�
F+ �;
!�� �
$ "
�� ���
� �� $
� 3��!
�;!��
$� � ��
��� �!
MSE
3-3-5 ���
8� Q
��E�
� �
B�8
� γ=
N/2
0
�6��1
4 ��
<�1�
��
� '��
. V
�0)� �
! qi�
�
�,�<+
�,�W%
� 4 V
:�� 3
��! �
� �
#0�
1 .
��
� �
���� &
�2 "
�&! \
����
����
��4
��� �
�.
(��
����O �
�o
�����
3-19
� t
��1 q
1���)
�! ��
�!�4 �
�6�O
�� �
�1 p
����)
�� J
�W1 �!
#���
!
� V
�0)� �
!N
(��
! ��6
�O E��
+ �
) �
�0! (
��&F�
0�%�12
�� ��
�� �
�<�1�
��
&,:
,�
W1�6
� "%�I
� . $�
�;!��
6.60
'
: ���
<+ q
1���4 V
:�� #
��! ��
��
� �6
��1M 4
W� �,
-�� �
�,/
&���
! (z�
� &�!
��6�O
�!�+
4 �:
&�
��:
. �
���
4
��0!
N�
�
&,��
! �,W�
�� q
1�,��4
W1�,
6� M
,!�4� �
,+ �
,� ��
)�� �G
1 �
, y
�,) �,
! 4
�;
!�� $�
6.60
��
��! ��&
F�
&2
� "�&
!.
%4 "
��1 �
����
� B!��
E� �
J��6
� #�:�
�����O
��4
j�%
�! �z
���
V�0
,)� �,!
�� "
)�� �6
��1 E
��+
�N
�� �
�<�1�
(��
! ��6�
O E��+
�
.
3-3-6 0
��;��
)� ,
%�B
�C �
��� ���
�< :
M���
M����
�� +�
NE �
����
H
��5�6
M����
��:
"��
7�61� B
!�� "
%���
�! �&
� � �
M!�4�
SWc
�1
���) �
�6�O
J��8
� p4�
M�
�� M��
�� ��
: q
1���)
E�&��
� ��6
�O J�
�8�
���!
�! ,
p4�
� B
lack
man
-Tuk
ey
,�
",�
&! E�
�$ E�&
�� �
J ���
��9�
O&2 .
��c
': �
�6�O
y�8
�$�! �
��
�� y
�) E��
�! ��
� ��G�
� �� #
��G
��c
': 4
� u(�
) �C!
#��!
&���
: " �
�cu
"��
'�:�
�A
0(
)N uϕ
ω=
�
\
�+�+ �
��: �
! 4 �
�c #
��! B
!�F��
>��
W�:
�4
�Ay 4u
"��
#
��! �
0>��
J���
) �6�
�1 �
ETFE
&2
� "
�&!
.
"
��� ��
F�� $�
v�W+
�� �� E
��! �>
d�
1
(��
����O �
�o
�����
3-20
�1�>�
� �
7�61� E
��$ E
�&�� �
��%�
�>��
>�
�W�:
�!�+
� ��6
�O ��
/ �! �
� #$��
����:
E��+
� J
�I
E
��1
1��$ ��
6�O #
�&�+
4 #0�
1 B!�F
�� >
��W�
: �!�+
�$ B
-� �
&1� �&
� � �
�
! &:��
A #0
�1 0�
1 ��c
4 &�
� �1
B�� �
�* �!
B!�F
�� >
��W�
: �!�+
"��
#0�1
# 4�
4 ��4
E
��$ �+
��� J
�I10
0
'�
�� @H
I ��6
�O J�
�8� �!
�� ��
F! 4 '
��>!
�G1 �
��
=10
0
,�
� $ �
�,�<+
�,$
��c
"��
��)��
����
j*� �
�c #
4� ��
��
�
���/�
�M
AT
LA
B
����
ET
FE
�;!��
3��
� �! ��
��c
(��
����O �
�o
�����
3-21
&1
0�� �
��<+
�G1
��� v
�F1 �
&�+ �
.
E2 y
�8 4 �
�6�O
d�1 �
�<�1�
E�-�
� M
��
��4
��
��
SPA
&1$
� �
��<+
�$ �
;!�� 3
��� �
! �� �
�c
v�F1
�&�+
��<�
1� E�-�
� 0�1 �
6�� �
,
��
��4 �
�6�O
d�1 4
y�8
�
�j� �
�c
��4 K
X� ��
>�
�! �
�c d�
1 �! "
��z
\��
�� p
4� �-
��pe
ak
�� ~
/�4ET
FE
,�
B�8 �
��!&�
� ��
��
spaf
dr
�$
&: 7
�61� &
1��+
� �� q
1���)
�! ��
�!�4 �
�6�O
J��8
� �! �
�c �
��<+
. g
= sp
afdr
(dat
a)
�
3-3-
7W
elch
met
hod:
Ano
ther
Way
or
Smoo
thin
g th
e ET
FE
p
4� �
� � �!
��L
J�c
�! E
���i�
: ��;
�N
��
� '
��F+
B-�
S!�;
�
#
4� #�
�� ��
>1���
J�I
L ��
%�� �W
��D�
k=1,
2,..,
M
��
� 7�
61�
�
� �
|�D
% 0�1 q
1���4 3
�-��
E2 �
�� #
� �W�
�D� �
��/�
�M
ATLA
b
[Pxx
,w] =
pw
elch
(x,w
indo
w)
3-4 �
"/>�
B�C
��
�v
3-4-1 +�
���� ?
��S �"
/>�
���K
J
K�A�
���
v "
��1 E
��+
� &��
! '�F�
�� #
��� �$
�&1� B
!��
(��
����O �
�o
�����
3-22
"
�� BW
� V<!
B�jD
+ �!��
� t��
1 ��
.
3-4-2��
�K +��
��� ?
��S ��
T �"/
>�
The
Resi
dual
Spe
ct1r
um
"��
1 �4
�A 4
# 4�4
\�I
�! E
��+
� &��
W1 #���
�$�&1
� B!��
���F��
� JK�
A� ��
�
E
2 �&�
����:
��c
�6��1
� 4
\
�F+ E
�� |
�D% �!
� �
E2 �
�&F� �
!�
"��
1 E��+
� ��
�$ \
�F+
�6
��1 �
4
�!
�� ��
;1��:
N�
� 4
�
�
�;!��
SWc
6.60
���
<+
\,�+
�+ ��
,�: �
,! &,�)
� � R
��+�
���
<+ #
��!
&�)�
� R��+
� 0�1
. �
��<+
���/
�!
"W�
1
"��
���W
�: ��
o
�����
Cohe
renc
y Sp
ectr
um
q1��
�) �!
���!
�4 ����
� ��
U ��>
�� "
W�1 �
�J
��
� �
��+ �
1�>��
&:
� E��
1 �� 0
�1 �!
�5 0
4��5�
6 ��
k(ω
)=1
�
��
��,!
MF)
v�W+�
� �� "
�� �
�� �
� �!
y 4u q
1�,��)
E2 �
0�,1
4 ��
�,�
4 ��
&1 j
A�&+
. ��
'��� B
�C
�� �
MA
TL
AB
����
sp
a
0�1
��c
v �!
�4K8
��G
&10��
���<
+ 0�1
(��
����O �
�o
�����
3-23
3-5
SUM
MAR
Y ET
FE
"��
�$
W1�6� q
1���4 �
! 4 3
��! E
4&!
W1�6� �
�;!
��
� �
� V
:�� #
$�� ���
�: �!
���<
+ q1��
�4
4-1
4 P
RE
DIC
TIO
N
Lj
ung
chap
ter 3
4-11-
step
ahe
ad p
redi
ctio
n
'���
� #�
�!
�4�A
��! V
�O)
3��
� �! M
F)u 4y (
"��
�1�>�
�
�� L
&1 ��
��<
�1� W
����
�D1 �
! &�!
�: .
"��
�-��
�j��
$� E
�� B
��&I
$� �
$ ����
�&2
"�&
!
'�
��1
� ��
�;
!�� 3
��� �
!! 4
�! ��
�+ �
"
�� '
�:��A
�!
��
� �!��!
�����
�6��1
� :
�!
��&F
� ���
�� �
�z=
0
�! �H
% &2
� "
�&!
4
�! �
� �
� �
SFD
� ����
�&�
�61�
� �$
�>���
<+
�>
���<+
�=H
-1G
u+(1
-H-1
)y
$� ���
�� &�
� � �
��W+
�4�A
4 #
4�4 3
��� �
! �� '
����
�4
�A ��
%&�
U '
����
J&�
$� dK
c�y=
Gu+
He
"
��
�����
�
��!
V�O
J&� V
F1
"��
'���
� J&
� $� �
����
B?)
2 :;
A '�
���
�4��
-&:
�� ��
>�1�
-#�
Wc&�
�&���
4-2
?"� a
"�
�&�!�
p4�
�� �
v q
i� 4
��! V
�O�
&2
� "�&
!
���� b
��
v� : �;
!�� �
�! V�O
�� #
��!v=
He
��e
4 &���
0�1
h(0)
=1
�&�
����
1 �$
5��?
! "��
�!
�6��
��
#
��H���
�! �
� �
e=H
-1v
&2
� "
�&!
��! V
�O J�
��) R
�) �;
!�� �
3.
15
3.16
One�step�ahead�Prediction�of�y
�
��<+
#��!
J�I
y '�
��1
�
us
ing
(3.1
5) a
nd (3
.19)
, res
pect
ivel
y. C
olle
ctin
g th
e te
rms g
ives
or
#�
&� 1:
'��
��M
A
Exam
ple
3.2
3
��� #
��!3,1
6
'��
&:
� �
6��1 �
�
3
��� �
! 43.
15
B?)
2 :;
A '�
���
�4��
-&:
�� ��
>�1�
-#�
Wc&�
�&���
4-3
�
��<+
$� �
4 ��
"��
E2 �
J���
) 4 5
4��+
v &�
� � �
����
� 0�1
. #�
&� 2:
'��
�� J
�X�A
R
Exam
ple
3.
Con
side
r a p
roce
ss
Th
en
�
and
the
pred
icto
r, ac
cord
ing
to (3
.15)
,
Unknown�Initial�Conditions
*�
<M� #
'��E �
�
�! v
�!�� �
� B
�8 �
(-
,1]
"
��1
����
. �
� ��
��H� �
�* ��
12 #�6
! �� "
�� �
� ��� �
�+ �
��.
&:
� J
�W� B
!�� ��
�� �
��� �X
�� �
��W%� �
� "��
W�F
+ J���
) ( �
� ��
�� "
� .
��&�O
#�:�
�j�) #
�: �%�
W1 ��
"�4
�12 $�
��
&14
� � �
�* "
�� �!
j��
1�1�i�
��
*�<M
� ��8
%�
The�Prediction�Error
� �
��<+
#�;
A
��
�%�I
� G 4
H �
��! &�
��: S
�� e
�&
� #�:
�� �
! #� �
;!�� &
:
� E��
1 �� &
2 � "
�&! &
��� 0
�1 ��
&1 .
�;A
�� �
!in
nova
tion
E
��$ �
t &�
��
�.
4-2k
-ste
p-ah
ead
Pred
ictio
n of
y
'�
���
�� ��
��4
��! V
�O &�
� &�%�
+k
step
ahe
ad )
3��
� �!
u �+t+
k 4y �+t (
"��
1 E��+
� �
1�>��
��
$�
'��
)�c
B?)
2 :;
A '�
���
�4��
-&:
�� ��
>�1�
-#�
Wc&�
�&���
4-4
�
��<+
"���
"��
J4� �
j�� E
�W1 3
��� �
�! �
��+ �!
��v
&2
� "�&
!
�
��<+
�;!��
� �;
!�� �
� E �
���� �
!y
'��
E
�� |
�D% �!
&2
� "
�&!
#�
&� 3:
J�X�
: #
��! '
����
��!
V�O
�$2
&���
�W��
D� �j
� �!
7��
4-3 �
0��"�
�� ��
"�% �
��� b
��O
BSE
RV
ER
S
J����
#��r
+ � #
�$
���� �
U
��!
V�O
��
� 7�
61� 0
�1 $� #
�$ J
&� E
�� |
�D% E
4&! J
��>��
J
&� $�
4"
�� #0
�1
�4�A
�-�%�I
� �
$ J&�
BX�
��
� ��
)�� ��
�! ��
��
y(t)=
G(q
)u(t)
5��?
! '��
�� J
&� &�
�� y
�)
p
4�1 :
?�� �
J&
� 5��
�
�! V�O
:�! "
�� �!��
! 4&
D� #
�:����
��O �!
���
$�! 5�
�?!
:
B?)
2 :;
A '�
���
�4��
-&:
�� ��
>�1�
-#�
Wc&�
�&���
4-5
�
p
4�2 :
�� �
�����
0�1 4
&D� �
1 #�:�
�����O
�!�$
J&� $
� E��+
�
)�c $�
�1 &
��! ~
�D*
�� �
��&�
��: �
!��� J
&� 4
�: t
� .
#��1
��$ #
��! ��
���
(%H�
�s<
0
4 4
p4�
&,��
W1 �,�
�� p
4� &�
�! #0�
1 �4
�A ��
�1
"��
��W��
�� �<�1�
�!
��
� �! �
>�4�
J&�
��<
�1� �
��!��!
���4 �
�8% ^
�� ��
�� " �
�'4 +�
6�
��) *
�� c
� �;
A $�
��%4� M
���
��
j�) �
��+ �!
�� �
�! V�O
p4�
w �
�� �!
� �� �
��4�
��: �
+ ��
�%���
) E��+
�
.
'��
�� �%
��� @
�c 4
� �
w J
���) �
+ �&�
��/
��!
V�O
&2 "
�&!
. ��
� J�I
�
w=1
#��%
&� ��
��
� �
�����
�>��
4� 3
��� �
! ��! V
�O �
2 41 &:
&! &1�
�+ �
��.
� ��
��! �>
���<+
� w
=H-1
"
��.
�W
�+ &
��� �
�<�1�
#�D1
�! ��
WG
&�
�! �&1�
� ���
� ���
� M
���
�C� �+
Mjo �
�%4�
4�
��! $
� ����
W
�� &�
�� ��
<�1� #
�D1 �
! ��
�4�A
0�1
E2
���4 J
&� '
o��j8
��
���]
+.
4-4*<
!�7 ��
5�E
�� �
4�A ��
��! �
��<+
��%�
� ��j�
) y4��
� M��
� �
&:
� �_���
�� "
%�I #
�]) J
&� #
��!
E� �
��v 4
w >1�
�� �!
��� B
F��� #
�:0�1
� #
��,�1
�����
4 ��*
�R
1 U
R2
B
,!�F��
4R
12
��,�
<+ &
��,�:
y �
� �
����
1 �1�>
��
��
K ��
%�� ��
�!
B?)
2 :;
A '�
���
�4��
-&:
�� ��
>�1�
-#�
Wc&�
�&���
4-6 4
P (�)
��
�<+ #
�;A
q1��
��� q
�+��
+�-�
J���)
BI
$�R
icca
ti
&2
� "�&
! �$
4-5+=
$% �
�! V�O
J���)
��
��! "
%�I �
��W
=H-1
"
�� .
$� d
Kc� 7
&8 5
��* �
H ��
&��
! #�D
1 �! &
�!W
G
4 �&
1�� ��
�� ��
��W
&�� �
�j�) ��
�4
�A 0
�1
"%�I
� k-
step
$�
E2 ��&
F�
&2
� "�&
!
5#�
�
��.
����
b��
L
jung
Cha
pter
4
5 -1 #
�� +N
'<��
��.
����
b��
�"�S
� ����
����8
% ���
� �
���
J&�
;A
'��
��j
�
"
�� E
2 � �
�g
���4
'��
�� �!
�/ n
��O
4h �,
! �,�
",�
� JK�
A� &%�
� J&�
�!�/
n��
Oe
�,�
,�
(,�
D+ .
#��%
��>��
g 4h ��
����� 6
��B���
" ��
5� #'�
d'<
�
&1��
. #
$�� ��
W� #
��!g,
h 4
J
��>��
e (f
e)
&�!
&��! l
<��
. f e
��
� l<�
� E2 q
1���4 4
��>
1��� �!
�� "
�� )
�?+ e
����
.N
(0, �
)
*
��2��
#��
mod
el st
ruct
ure
:M
J&�
��W�
�O
(��
����O
j�
;A '
����
,M
(�)
$� "
�� 5�
�W8:
6
��4 #
�� I
� �E�=
*��
�-
j! ��
�A��
�! ��%
&� �8
��6�
"!�C
4 � "
�� 54
����
. #$
�� ��
W� �
�-�%�I
�
'���
� J&
� e
3��
� �!
�
U �
� � &
�%�+ E
2 ,
�4�A
J��>
�,� �
�W,�
J&,
�
)
j*�
+0�
1+
JK�A
� (
# 4�
4 4)
j*
�+
0�1
( �
� �
�:�}
. �
,� ��
,��1
5�&:
��� 3
��� �
! �)�*
J���
) ���
! ��!
�! ��
f e(x,
�) �4
"��
1 ���
!
����
\jo�
�
#�:
�%�W1
g(k)
, (h
(k)
J
�c&�
���1 �
����
� B!��
K�8 �
� &���
: &�j!
. �,
! &,�
! ��,z
�1 �,! 4
��
&1��
����
1 4&
D� �
�!� �! "
%�I #
�]) �
#��
� �
4&D�
�%�W1
3��
�.
J&�
j�
"%�I
� ���
� �W
��
;A
'���
�
�! "��
�!��!
)
()
()
()
()
()
()
()
(t
eq
Dq
Ct
uq
Fq
Bt
yq
A
�
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-2
&1��+
� �
� "��
32 ��
�� L
��<��
� E2 $
� 54��
�� ���
A��
6 &1�
�� �
���� �
����
� ���
����
! E2 "
��) .
FIR
A=F
=D=1
, C=0
A
RX
F=C
=D=1
O
E
A=C
=D=1
A
RM
AX
F=
D=1
B
ox Je
nkin
s A
=1
Stat
espa
ce
x(k)
=Ax(
k-1)
+Bu(
k-1)
"
�� ���
� �� $
� J&�
�� �
>���
<+
�(
t)=�’
�(k,
�)
5 -2� #
���8
% ^'�
�F� �
��� b
�
&2
� �
;A E
�����
� 5��?
! '��
�� #
��%&�
$� ]
�! ��
W��O
J&�
.
;A J
&� �
����!
÷ J
&� #
����&
�9
"��
��j;
� ����
! J&�
�� �
G1 �
� $� �
�&1 ��
;A
��o .
$� &�+�
�W8 ��
%&� �
�:
5 -2-1A
RX
: Equ
atio
n E
rror
Mod
el
J
&�A
RX
"
�� �1�
>��
)
()
()
()
()
(t
et
uq
Bt
yq
A
�
A
R p
art:
auto
regr
essi
ve p
art A
(q)y
(t),
x pa
rt: e
xtra
inpu
t B(q
)u(t)
(cal
led
the
exog
eneo
us v
aria
ble)
E
�ze(
t)
��� E
2 �!
��
� �:�}
q1��
�%
��� �;
!�� �
���F
equa
tion
erro
r mod
el
���'F
��
�
M,�
�+ 0�
,1 �,�
,�
y�)
J&� �
��$
��&1
S!�;
+ -0
�) "
����4 �
! ���A
�� �
� 0�1
J&�
1/A
�,
! 4 �,
�j�)
��
� J
��8� '
����
. �
V%&�
;A
E���
��� 7
�) B�
% �!
(%H�
�;
��
� �
� E�
�1 K
m ��
"��
�%&� �
����
� $� (
.
�� �
>���
<+ J
&�
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-3 ��
;A
E���
��� 5
��?!
Li
near
regr
essi
on �
���1
�1�>�
�
� �
�
E2
� ��
�&�
�&:��
� #��
#4�I
E���
��� �
� �!
4� "
�� J&
� #�:�
�����O
�� �!
. �! "
�� �!��
! ���
<+ #
�;A
�:
������O
$� �
<! ��
�μ
"��
1 E��+
� �
1�>��
�� �;!�
� &��
�! 7�j�
�
5 -2-2FI
R
J&�
FIR
"
�� �1�
>��
)
()
()
()
(t
et
uq
Bt
y
�
�
� ��
��1 E
2 �!�/
n��
O �! J
&� ��
. "
�� ;
A E�
����
� ': J
&� �
�)
b�A
"%�I
AR
X (
b�,A
"%�I
4O
E
�����
�O ��
��
� � �
E��
1 �&�!
�-��
��/
U"��
effic
ient
ly e
stim
ated
4ro
bust
aga
inst
noi
se
"��
. �1
������
#���
���
4 '��
�� ��
� &
I�4 ��
� (
01 \
;� &
��!
��0!
E2 �
!�/ n
��O J
�c "
�� \
�+�+ �
��: �
! 4 �:
������O
�&�
+
��
� &���
��o p
4� 4
�$ ��
��!
�
B�%
�!
;A E
�����
� "0�
��!�:�
�����O
�&�
+ B-�
� BI
#
(��-
+
��
� �_
��� �$
.
E
2 � �
�
"
�� .�
��&F�
\
;� $�
���
<+ ��
��
����
BW�
$�(
01
&
I�4 ��
� "
��.
#� �
,j��
&,�z
$� ,
j� "
,%�I �
Lagu
erre
��
� ���
�� "�
� �-�
�
5 -3 #
�� *
��2��
Ps
eudo
linea
r re
gres
sion
"
�� ;
A �W
� E�
����
� 5��?
! '��
�� #
��%&�
�>
��W�
�O J&
� .
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-4 5 -3-1
Out
put E
rror
Mod
el S
truc
ture
\�/
J&�
�� �
y 4e
�H% "
�� �!��
!ou
tput
err
or (O
E) m
odel
4
��
� �&1�
�Aw
(t)
"��
�1�>�
�.
J&� '
����
�� �
>���
<+
�
w(t)
�
���1
#���
�$�&1�
0��:
�
� �
#$��
��W�
���
<+ #
�:����
��O 3
��� �
! �-j!
J
&� �
� �
w �
� �
�W��
D� �1
�>��
5 -3-2A
RM
AX
Mod
el S
truc
ture
�
� �
���
+ 0�1
#��!
b�A
��j�)
�! %
&� U0
�1 �
�c "
4&D
� B-�
� BI
#��!
.F=
D=1
)(
)(
)(
)(
)(
)(
te
qC
tu
qB
ty
qA
�
�
MA
psr
t: M
ovin
g av
erag
e (M
A) p
art C
(q)e
(t),
�A
RM
AX
"
�� �?
��� 4 J
���� �
��&
1���� J
&�
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-5
J&�
�� �
>���
<+
��
"��
.
�6
��1 �
&,
2 � "
�&!
. �,!
��,�
��� ��
�,! �
,�
,� �&
, �,
-1��9
�: �
E2 �
,! 4�,�
� $� "
,�� �
�,�!�4
Pseu
dolin
ear
Reg
ress
ions
&�
��
�.
d4��
� t=
0
#���
��<+
&��$
��1 ��
�<+
t<0
�
� �
� �
��* �
�F� �
�12 �!
E �
W1 �
��� 5
��* �
�� "
�� .
A �C�
�+ &�
�1 "�&
! ���
4 ���
<+ �
� �
u8�!
B�8
�� �
�W%�
��
���� E
2 #�;
. �
")��
�G1 �
��*
�� ��1
2 E��+
� �
� ��
$ ��1
��%4� M
���
� �F�
�! '
���>
%� ��
. �,
! �,�%
4� ��&,
F� �
�,;A
�C� "
W�1
cμ ��
��
� ��
��μ
��*
����
�0! ��&
F�C
(z)
"
��
� $�
��
��� ��
"��
�� �
> ���
max
(n*,
nb)
&�
�! ���
�&1 $�
�1 J��
6� ��
%4� M
��� �!
�+ �
� d4
��
5 -3-3 #
��A
RIM
A(X
) #
�6! �
��y(
t) 4
u(t)
J
&� �
AR
MA
X
��
� ����
� ��12 q
1��
$��y
=y(t)
-y(t-
1)
J&�
AR
IMA
X
�,��
4u=
0
&��
!A
RIM
A
&2
� "�&
! .
5eK
�,A� E
�,�
J&� #
��! ��
��
��4
J&�
� 0
�1 J��
>�1� J
&� �
� �
�"
�� \
����
&�
5 -3-4A
RA
RX
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-6 5 -3-5
AR
AR
MA
X
'
����
#��!
j� �
>���
<+ J
&�B
J
�! "���
!��!
5
��?! �
�PL
R
��
� ��
��1 �
1�>��
#��1
��%�
PLR
$� &
�+��W8
:
�
�
(�D4
1 :
��4
�I
'��
��
"��
��&�O�
1)
�,�
�A
&,I�4
��,�
L��,
A(
",�
� ��&,
�O E2
�,>�
��<+
2 : y
�! "
W�1 &
�!�
�!�
+sm
ooth
&�
�! S��
� #���
&�! �
� ���
�� �
! &��
! .
"��
���� �
� $� �
�� �� 5
��W+
.
�>
���<+
#�:�
�����O
�6
��1 �
G 4H
�! "
W�1 &
�!�
4 �H
O S��
�H
-1
&��! �
�&�O
."
��1 $
��1 ��
� M��
� 7��
+ �� �
�W%�
.
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-7
��� ��
%�� �
���
��
����
� J&
�n k
"��
�!��!
�� ��
A�+ &
I�4
j� �
�! V�O
J&� �
! ��
y �
� �
� $ �
��<+
5 -4
+� 6
!�) �
�eE #
��A
RM
AX
#
4�4 J
&� #
���0�
$� � �
���� #
��! %
4 ��
��4
"%�I
#�]
) J&�
��
��� #
��! '�
��>%�
- E
��,+
� U�
4�A J
&� �!
�� "
%�I #
�]) J
&�A
RM
AX
�
� B&W
+ .
B&W
+ �� �
3
"��
��?��
"%�I
1 ( 0
�,1 E
4&,! '
����
2 ( #
��� �$
�&1� &
��� 0
�13 (
#���
�$�&1�
': 4
&���
) 0�1
':
1 : ^
"�� �
���
��'4
�����
E
! "%�I
#�]
) '��
��
�4�A
0�1
MF) �
# 4�4
J&�
�! "
%���
�!-
��
� B
&W+
�4�A
�=A(
�)x(
t)+B(
�)u(
t) y=
Hx(
t)+v(
t) 2
�! ��
1 �
��7
��� +�
'��
���7
�� V
����
. )p "
�� S�
�� ��
+��O�
( &2
� "
�&! E
2 ���
�� J
&� �W
�����
��
y=H
(pI-
A(�
))-1
B(�
)u(t)
=G(p
,�)u
(t)+v
(t)
��O
�! #0
�1
�4�A
����
� #���
�$�&1
�T
���
� 7�
61�.
��
�
jW� 5
�/4��
� SWc
�: �j
*�) �
# 4�
4T
3�,�
� �,! �
�,���
J&,
� U �
,� �,
�)�� �
G1 �
"!�C
�W�F+
step
in
varia
nce
"
�� �W
��D�
B!��
. #�
&� 1:
�'�'�
����
��
�� #�
&�
# 4�4
J&�
�$ "
%�I #
�]) 5
e ���
�!-
&��
��!
�4�A
Exam
ple
4.1
D .
&���
y�)
u �6
��1 �
��
� J
��8� ��
+�� �!
#� �
jO
/(
)(
)(
)(
1/)
ys
ut
vt
ss�
��
�
y=[1
0]x(
t)+v(
t)
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-8
����
� J&�
G �! "
�� �!��
!
1/
1
1/
1(1
)(
)(
)(
1/)
11
T
TTz
ez
Gs
Gz
ss
ze
z�
��
��
���
��
�
��
��
��
��
�
��
�;!��
�! �6
�� ��
y(kT
)=G
(q)u
(kT)
+v(k
T)
�
� �
. y
�) �! e
�I
��! V
�O J&
�v(
t)
&���
0�1
G(q
)u(t)
�
� �! �
� ��
����O 4
�! M
F) #$
�� J
&� ��
&� �&
/
�� 0�
%�12� "�
����
���4
.
2 : ��
g��'
4 "
�����
E��
�F /��
�4�
"��
�1�>�
� '��
�� �
� "%�I
#�]
) J&�
�� v 4
w &�
��: �
$ #�
��1��
��� 4
��* �
�>1���
�! BF
��� #
�:0�1
� y
�) E��
�1 ��
� ��
��
v 4w
��12 #
��! &�
! &���
: &���
0�1
�G1 �
J&�
��
",%�I
#�,]
) �,�
� �,�
",)�
�&:
� V
�0)�
. ��"
�% *
�<M�
�� *<
!�7 ��
5�E:
#'��
E1
&:
� �_���
�� �
4�A ��
��! �
��<+
��%�
� ��j�
) y4��
� M��
� �
��
K ��
%�� ��
�!
4
P (�)
��
�<+ #
�;A
q1��
��� q
�+��
��
$�
+�-
� J�
��) B
IR
icca
ti
�$
&2
� "�&
!
&2
� "�&
! �4
�A �
��<+
3��
� �� �
!.
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-9
E2 J
&� ��
AR
MA
X
"��
.
W�
� �� �
��� #
'��E
e(t)
In
nova
tions
: #
'��E
2 J�
��) 4
.48
&�
�� 0
�1 (
\�I
�! E
��+
� ��e
"��
1 �1�>
��
&���
0�1
E2 �
��e
q1��
��� #
���
J
&� #
&�! J
���) �
� �!
AR
MA
X
&2
� "�&
! �$
7�) �
! "%�I
#�]
)
#
��! �&
� �
��+ 5
�?<�
� �! �
$ �&
� ��j
�) 0�
1 J&�
�� �
e
��
��4 J
&� �
v(t)=
H(q
)e(t)
��
���S
� ^���
4�� �'
�B�
: K
�!�+
A,C
,R1,R
12
"��
. ��
�F�,�
� �,�
",�
� ��W�
���
+�W��
D� �G
1 $�
K �
!�,+�
��
����
1.
#�&�
2: #
�� V
����
com
pani
on II
+�
AR
MA
X :
7�) "
%�I #
�]) '
����
com
pani
on
�! "
%���
�! �$
J&�
AR
MA
X
��
� B
&W+
.
-
B&W
+ �!�+
\�+�
+ �&!
G
G�
B
&W+ �
!�+H
&2
� "�&
!.
H�
�
� �� �
��
��
� 7�
) �! "
%�I #
�]) B
&W+ �!
���
!��!co
mpa
nion
II
J&�
AR
MA
X
&2
� "�&
! "%��
� �!
.
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-10
5 -55��;
`"�
�6
�
^�'�
���
���
�8% #
��1(
"%��
� #�
�! '
����
y=G
(q, �
)u+H
(q,�
)e
"��
1 E��+
� �
1�>��
��
V
�O J&
�
��! E2
2(
��� &
�% ���
J&�
4
3(
V�O
J&�
��!
&��! �
�&�O &
1��+
� ��&
�O�1 '
����
(
��&
�O�1 '
����
#��!
��(|a
|>1)
"
�� ��&
�O �
�! V�O
J&�
�=
H-1
Gu+
(1-H
-1)y
4(
4 &�
�! ���
� �
�4 �
$ S��
� ��
&��! �
���: &
�! V
�:���
���O �!
"W�
1 J&�
� &�
�! ��&
�O
����
#�
&�A
RX
�
and
5(
Iden
tifia
bilit
y Pr
oper
ties
�&
,�2 "
,�&!
J&,�
�2 4 "
�� �
�! �?
D�� J
&�
�����
B*�
I �2
True
"
�� '�
���
. �
� �
���W
+ �1�>
�� /
�� �G
1 $� d
�/��
��
a m
odel
stru
ctur
e is
glo
bally
iden
tifia
ble
at �
* if
and
only
if
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-11
(z=a
ej� )
6( �
�O ��
��'
24 c
�M�4�
6�
� ����
�� +4'
<4
&2
� &&O
J&�
� 7�
�!�.
7("
�� B-
�� ��
��! l
<�� #
�����
�� �
�� �
06! E
�!
�����
B!��
���]
+
8(T
heor
em 4
.1.
: '
����
BJ
�����
B!��
"��
��
�
i. Th
ere
is n
o co
mm
on fa
ctor
to a
ll
ii. T
here
is n
o co
mm
on fa
ctor
to
iii
. The
re is
no
com
mon
fact
or to
iv. I
f na�
1, t
hen
ther
e m
ust b
e no
com
mon
fact
or to
v. If
nd�
1, t
hen
ther
e m
ust b
e no
com
mon
fact
or to
vi. I
f nf�
1, t
hen
ther
e m
ust b
e no
com
mon
fact
or
Th
e st
arre
d po
lyno
mia
ls c
orre
spon
d to
�*
. C
orol
lary
. The
mod
el st
ruct
ure
give
n by
(4.1
42) i
s glo
bally
iden
tifia
ble.
9(
The
orem
4.2
.
���
���T
rue
syst
em :
'��
��Tr
ue
�,j��
&,�z
�,��
�,��
��
�
�����
&��!
���4 '
����
#� �
j�� &�
z 5�
�� $
� ����
0! J&
� #��
�
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-12
10(6
!�) �
�eE #
�� ^
�'� �
�����
V��;
`��
: #
��,�
�+�� #
�,�1��
%� 7�,�
+ &,1��
���1 �
,� "
,�� ~
/�4A
,B,C
,K
J&�
��$
&���
! ����
��O4.
92
MF)
3n ��
�HO
� �
� ����
��On
q�+
�� &�
!A
&��!
. 4�
�� $�
&�! '
����
J&�
com
pani
on
&��!
"�K
8 �! #
��1��%
� MF)
4x
&��,�
: '�,�
�����
���O .
J&,
� �,�
",�
� E2 J
&,� �
,� E
�,!
�,��
�� B
,!�� v
�,�A
RM
AX
#
��r+ v
4�� E
2 ��G
14.
1
�Hi
! ��.
4 �H
,O J�
,��� "
,%�I #
�,]) J
&,�
��4 �
A �!�
1 �! v
�� �
� �
� �
����
+ "��
�HO "
4�.
���A
�� �
v��
��
com
pani
on I
I
J�,�
�� v�
,� �,
! "��
�HO "
4� �
A ��
#�H
O #
4�4 4
'��
��{A
(�*)
, [B
(�*)
K (�
*)]}
&!�
� B
�jF+
5-6
SUM
MA
RY
"
�� �$
7�) �
! ;A
'��
��
��! V
�O J&
�
�!
��e
&2
� "�&
! �1�>
�� J&
� &���
0�1
E����!
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-13
5-7
MO
DE
LS
FOR
TIM
E-V
AR
YIN
G A
ND
NO
NL
INE
AR
SY
STE
MS
Lju
ng C
hapt
er 5
� J
&� &
�+ E
4&!
LTI
"
�� -
����
#���
����
#$��
%&� p
4� �
�+ �
��8
. #
�4�/
� 4 &
��� \
jo� (
%H��
��
��)��
�G1 �
0�1 E
��$ �!
���!
�4 4
;A ��
o &�1��
��%&�
�>
�� "
��.
�5�
�*4
�! #$
��%&�
� G
rey
box
p
4�4 �
!Ph
ysic
al in
sigh
t
� 4
som
e ph
ysic
al in
sigh
t
� ��
blac
k-bo
x ty
pe
� "��
�-��
��
7�61
. d�
1bl
ack
box
&�
1����
�E " 6
!'�" h
��GN
+D��
5 -7-1L
INE
AR
TIM
E-V
AR
YIN
G M
OD
EL
S
&���
: ��^�
� E��$
�! ��
�!�4 '
����
#�:�
�����O
. �
J&�
5��?
! �� ��
����
� �
� E
��$ �!
���!
�4#
4�4-
�4
�A
�� g
t
E��$
�! ��
�!�4
W
eigh
ting
Func
tion
"
��
�"
��1 E
��+
� "%�I
#�]
) 4
�
"��
���F�
� $� E
2 ��!
V�O
J&�
"
%�I &�
1�� ��
LTI
#
4�4 5
��?!
- �
� ���
�1 &1�
�+ �
�$
�4�A
.
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-14
���
� i
�% ��
'� "�
LTV
1(6
%�'�D
� ��X
�����
� +4'<
4:
'���
�
LTI
�,
!no
nequ
al s
ampl
ing
inte
rval
s
#���
�,���
�,! �
,6��
LTV
&1�
� �
2(
;A
���
� J�I
#$��
: ��
�!�4 '
����
�! �6
�� &1�
�+ �
��
;A
���� J
�I
;A ��
o ��
���
��4
��
E��$
�! .
�$ '
����
(
z�� J
��>��
#�:�
�^�� �
�)�� �
G1 �
�! ��
;A
��4
$�
� �
�� �$
E��$
�! ��
�!�4 '
����
Th
is m
odel
is
now
a L
TV a
ppro
xim
ate
desc
riptio
n of
(5.
8) i
n a
vici
nity
of
the
nom
inal
tra
ject
ory.
5-7-
2M
OD
EL
S W
ITH
NO
NL
INE
AR
ITIE
S
�8% �
�X ��
B!�� 6
�<.�
�
�
�����
&�! �
$ ;
A ��o
'��
��
��4 &,
�� J&
� ��
�4�A
# 4�
4 v�W+
�� &1��+
� �
���
;A ��
o J&�
. ��
��
��
��� &
�! �� #
� �D�
* B-
�&:
� E
��1
.
y(
k)=y
(k-1
)-0.
5 ta
nh[y
(k-1
)+u(
k-1)
3 ]
"��
�&�9
�O ���
�! 4
"��
d����
4 �
$ #��
�&�
+ &��$
��1 e�!
��!�
� ;
A ��o
w�;
�
�����
.
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-15
#� �
jr,��
&��W1
�$ E
2 #�:�
�����O
�&�
+ ': &
��! "
����4
�! (
01 '
: �� B
_��� �
� E �
� �0�
�����O
>1�
>z! �
� "��
��
��4�
&�.
#�&�
3:���
����
�
"��
� �� &
�%�+
;A ��
o '��
�� (
��
"��
�1�>�
� ;A
J&�
#���
��-!
�! ��
��� �6
��1
;
A ��o
J&�
#���
��-!
�! ���
&2
� "�&
! .
���!
��<�
1� �!
"��
�&�
� � E
��1 0
�1 ��
��� 0�
z�1 #
�;A
�� &
2 � "
�&! �
$ �6
��1 J
&�
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-16
E��
+ �
�I
�� E
�D���
0�1 ��
�>
#�:��
����
5 -7-3Ph
ysic
al m
odel
ing
(
,���
(,
��� �
�� &
2 �
"�&
! '��
�� (
��r+
0�%�12
$� J&�
U#$��
%&� d�
1 �� �
B
��,�
10 U#
4�4
5 4
�4�A
15
��
� ����
��O
5 -7-4 W
�� �
� #��
crud
e ph
ysic
al in
sigh
t
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-17
#�6
! p4�
�� �
#�,�
J&,
� � 4
��,�
�+ ���
o 4 ��
��D�
4 ���
� ���
)� &�
1�� ;
A ��o
l<�
� B���
8 J&�
B�
��
� �
� .
Wie
ner
and
Ham
mer
stei
n M
odel
s ��
����
4 �:
� �
4�A �
# 4�4
�
;A ��
o E��%
� &�2
� "
�&! �
1�>��
��
��%&�
�
�H
amm
erst
ein
mod
el
#
4�4 �
;A
��o B
��8 �!
�
Wie
ner m
odel
�!
B��8
�
4�A �
;A
��o
�
Wie
ner-
Ham
mer
stei
n m
odel
.
�
Oth
er m
odel
s
�0
��<M�
�B!
��
"��
�1�>�
� &���
�1 0�1 �
&�9�
O �� �
�%&� �
� �>�
��<+
�
��
� ��
��1 �
1�>��
#���
��� J
&� "
%�I �
� �
.
"
��1 E
��+
� p4�
&�z
�! �� J
&� �
� ���
��� �
� �!
�
!� (
j��
Bla
ck b
ox :
��
����1
#� �j
�� &�
z 5�
�?!
;A ��
o 7�+
�� .
J&�
� K
X�H
amm
erst
ein
• �
� �
�$
;A E
�����
� �! �
6�� �
� ��
����
1
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-18
c ( U
se p
hysi
cal i
nsig
ht.
: 4
�&,�O
E2 #
��,! #
0���
J&� E
��+
� -0
�) ��
1��� 4
;A
��o B
��8 0�
%�12 �!
"��
1 .
p4�
�� �
!se
mip
hysi
cal m
odel
ing
���
!# $
%
��� K
X�6
� ^�'
� ��"
�%
E2 �!
��� 4
"��
E���
� Q�
�%4 �
�]j*
�I
;A ��
o 7�+
�� "
�� 7�
j��
&��
!'��
MA
TLA
B
m =
nlh
w(d
ata,
[nb
nf n
k],In
putN
L,O
utpu
tNL)
sp
ecifi
es i
nput
non
linea
rity
Inpu
tNL
and
outp
ut n
onlin
earit
y O
utpu
tNL,
as
a no
nlin
earit
y es
timat
or o
bjec
t or s
tring
repr
esen
ting
the
nonl
inea
rity
estim
ator
type
.#�
&� 4:
����
�'% b
����F
�� +4�
% #�&�
Exa
mpl
e 5.
1 :
�,1�A
5���
,I �,
�� �
$ #&
����A
�1�A
� y
�,!
&���
�A V
!�+ 5&
�I
N�O
"8��
4u
"��
���!
�4 .
J&�
"��
�-��
E2
-0�)
"���
�4 �! �
��+ E
4&!
Bla
ck b
ox
� "
W�1 E
2 �! ��
�$
;I
"��
1 ���
4 J&�
��
� 7�
j�� "
� h
&1� �!
. R
�) J&
� ��
�� ��
�Am #
Q�1� &
�W1 "
�� p
���A
N�O
��4
KX�
&�)�
�1 R�
�+� ��
�4 � �
-�%�I
� J
��8� ��
12.
^
��7 +
E�H�
Phsi
cal i
nsig
ht
&���
�A $�
�)��
#Q�1
� U#Q�1
� �F! E
�1�� J
��8� �!
d 2.I
�!
�6��
���
-j� �
#Q�1
� ���A
m ���
^+ x
(t +
1) –
x(t)
M�D
� �! 5
��j+
d 3. x
(t)
��
� N
�O S
�c $�
$�� ��
�Am �
! J�F�
1� 4d o
. x(
t) . u
(I)
� #
Q�1� �
��^+ �
! �6�
� N�O
S�c
$� �
)�� #
Q�1� \
�+�+ �
��: �
! ��
�Am �
W�y(
t + 1
) - y
(t)
�,! �,
��� J
�,F�1�
4 �
� �
R�+�
.y(
t + 1
) - y
(t)
M
!�4� �
� �
d &1�
�
�����
&�! �
� &���
: �:
������O
�:.
E�z
x @
H,I
&,�!
M!�4�
$� �
� �
1 #���
�$�&1
�
��.
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-19
�
#�,:
������O
4�,�
� $� "
�� �&
�9�O
-0�
) #�:�
�����O
4 J&
� ��! v
�W+��
�,+
�,�
,�
,)���
,W��
�+ &,
&� �
� 7�6
1� ���!
��
��� .
�� �
���+ ��
-0
�) #�
:����
��O E
��+
� "�<
1 �
.
�
� �
��
��� '
����
4 ��
��1
;A E
�����
� 5��?
! ��
.
#�
&� 5:
�8% �
�X ��
��
&�
���!
;A
E���
��� 5
��?! ��
�$
#�
&� 6:
�8% �
�X ��
��
&�
���!
;A
E���
��� 5
��?! ��
�$
5-7-
5N
ON
LIN
EA
R G
rey
box
STA
TE
-SPA
CE
"
�� "
%�I #
�]) 5
��?!
;A ��
o '��
��
j� J&
�
;A
��o 4
;A
E���
���
- ��
>�1�
&:��
-
�Wc&�
�&���
5-20
��
w 4v 4
) �?
+ ��^�
��
"��
:����
��O ��
�! ��
�� �
$ 7�)
J�I
�: �
'��
�� �
� �>�
��<+
H
ere,
for e
asie
r not
atio
n, w
e in
trodu
ced
�! "
�� �!��
! ���
<+ #
�;A
4
#�<N
� /��
/��b
��
����
(
0�
1 $� y
��o� �
��<+
J&�
#��!
� ��
���
"��
�$ �>
���<+
$� � �
���� 4
��! V
�O J&
� �� �
!si
mul
atio
n m
odel
��
$ &�
��
�
�(t|�
)
J�,�
8� 4 0
�,1 E
4&,! J
&,� #
$�,�
��W,�
�!&2
� "
�&!
���4 #
4�4
. #�
&� 7:
#�&�
Exam
ple
5.2
Del
igni
ficat
ion
: �%
��� �
! �$
'���
� �
��
4�4
��u
#�:�
�����O
4
���
<+x?
$��!
�� ;
A ���
��� J
&� �
+ &�
� "�&
!
#
�� 4
�4 ��
)�� �G
1 � �
!u
���
<+ #
���!�C
4x?
&�
� "�&
!.
� �&
� #$
�� ��
W�
�4�A
�6��
� )
��! V
�O (
���
4 �4
�A �!
)�&
� #�
�� �$�
&1� (
��
� �
��F�
.
5-7-
6SU
MM
AR
Y
E2
,-0�
) J�,�
�) �,
#� �
,j��
&,��
M,�
�+ ���
,� �,
W�� 5
��,?!
",�
� �-�
� ;A
��o B
���8 J
&�"s
emi-
phys
ical
mod
elin
g"
�!@
���Q
Y�% �
�
&��! J
4&�
5��?
! &1��+
� �
-j! &�
�! ���
! J���
) 5��?
! ;A
��o B
�j8 J
&� ��
��&1
��0
%�.
6Pa
ram
etri
c SI
: Lin
ear
opti
miz
atio
n ca
ses
Ljun
g C
hapt
er 7
�,�
o #$�,
� �,�
��! �j
r,��
���,�
��F! �
"��
J�?I
B!��
���! 5
��?!
;���
"D+
�����
�O 3��!
E4&
! ���
<+ �
,�
,� 7�,
61� ���
,-+ 5
��?! 4
;A
. �,
6�� �
Pred
ictio
n Er
ror
Met
hod(
PEM
)
b�,A
4In
stru
men
tal
varia
ble
met
hods
(IV
)
��
��� #
��! (
�����
�O&1�
� �
��
�! .
�� �
PE
M
��W-
LS
� 4
IV ��,
! �,�
�,+
LS &2
� "
�&! n
��O
. 7/
4��
(��/
���� 0
����EP
#
��!
;A '
����
��
���
�%
� L�K
: l
�?<+
��!
V�O
J&�
)�>
���<+
( �
$ ;A
J�X�
&�1��
�4�A
4 #
4�4 3
��� �
!
;A
��o �
E2
� ��
Z "
�� �&
� #�
�� �$�
&1� #
�� �
8��6�
. � �
&� u
D! KW
� ��%&
� ���A
�� �!
�;!�
. L%
� L�K
:
�,� B
��&I
��! V
�O #�
;A E
2 \��
� �! �
� #$��
����!
8�1
J��8
� .
�,6�
� �
M(�
)
�,8��
6�
$� #�
�� "
���%&
� ��
12 ��! �
M(�
* )
�� "
�� %
&� 0
E�� U
� ��
@>pr
edic
tion
erro
r
ε(t,θ
*)=y(
t)-�(
t|θ*)
&1�
��
� B��&
I �!
�� .
�;!��
�� �
4
�:����
��O��
��4
+��
j�8 4
(��
r+ '�
� 5e��
�1
&,1��
� ���,
� �,�
�+ ��
,� &,
�! �,�
& .
5�,G
IK�
&1���F
�� $�
!�<�1�
J&� b
�?A
� (
��r+
: �.
�! �6
�� !
�<�1�
J&� �
2I
���� M
%��
�� �
�
��
� ����
��O��
�� *
.��
� u
DW� �
� �6
��
� u
D!
�. &I
q1��
�4V�
�2 4
"��
�&Fz
!�<
�1� J&
�V
N�
V�
&��
� B��
)
��>�:
( B
?) �
8 �
� �
uD!
. �.
�����
�O ���
<+ q
1���4
� i "
�� �1�
>z '
����
#��!
!�<
�1� J&
� �! �
;!�� �
.
B?)
� 9
��
� u
D!.
��,G�
��1
B-�
� �
��<+
q1��
�4 4 3
��! $�
�"
�� �&
� � �
E
��
���:
;A
#$��
����!
6-2
�.
�/4�
V��W
: "
,��
��,�!
����!
����
E��+
�
%&� d�
1 �z
#��!
. ,
;A E
��,��
�� J&
,� �,;
!�� �,
� �
4su
bspa
ce
� ��1�
A $�
PEM
&�
�� 0
�1 y
�) �!
4IV
>1�
0�1
4 ;A
E���
��� y
�)�!
��,�
! J���
) �! �
6��
&1��
� �
� ~�
/�+ �6
�� ��
&1��
� �
�����O
���
<+ #
��!.
#���
4� U��
�4� �
> $�
! ���
-+ite
rativ
e
&��,�
:B,
?) �
4 &1�
� ��
jD� 7
�����
� 4 5
�W��D
� '6I
&�1��
#$��
����!
5K-
�� 4
&1��
��%4�
M���
�! $�
�1 �� 10
&1��
� w
��.
6-1 ,
%�M
INIM
IZIN
G PR
EDIC
TIO
N E
RRO
RS (P
EM)
���
��
���
8 �
���
<+PE
M
"��
���F�
� $�
E2 �
��
�
L(q)
a st
able
line
ar fi
lter f
ilter
ing
the
pred
ictio
n-er
ror
��(
.) is
a sc
alar
-val
ued
(typi
cally
pos
itive
) fun
ctio
n.
J&�
���
�!��
"��
%&�
���
<+
&�� B
��&I
�� ����
�.
#
���4�
PEM
�
�<�1�
�G1 $
�L 4�
&1��
54��+
': �
!.
&,�
&,�:�
�A u
D! &�
! #���
<! �
������O
4 �
� VF1
.� �6
��L=
1
���
7��1 4
2 (Q
uadr
atic
)
(�ε)
=1/2
ε2
�� "
�!�H,�
+�W
,��D
� �,G
1 $� �
,�p
4� 4
�
Lea
st s
quar
es
4su
bspa
ce
u,D
! &1�
,�
,�.
��,�
4��,>
O
ptim
izat
ion
&���
�GIK
� &�1��
+ � �
c�!��
#���
�� �
��.
���
/����
L���
: �
� �
��+ #
������O
"��
�-��
7��1
7��,1 �
,� "
�� J�
F�� "
��1 7
�j�� B
W� $� 7
��1 E
���! E
�z �
� #�
�����O
0�1
E�
�$ �!
���!�4
7��1
: �
� �
����
1 �$
#����
) �! �
�
"��
�C��
1��$E�
�$ �!�
+ 0�1
�C� �
�
&��!
.&�
�! �+�W
���
�: �$
�! � #
��� �$
�&1� �
� ���
�� �
!
��
���:
;A
#$��
����!
6-3 6-1-1
?X
0���
�EP ��
0@> M
����K
�Le
ast S
quar
es (L
S)
'���
� #�
�!
y=G
u+e
J
&� &�
�� y
�)
;A E
�����
��$
�!
#��
��
����O 4
� &�
�! �&�
��)��
�G1 �
.
U"��/
4 ��
�K� �
<� 0
� �/4
� ���
�� I
���� M
%��
�� �
e %
��&�
e %u
�EP�
� ?8/4
�.
q�+
�� �;
!�� �
�� �
q�+
�� � �
����
�D
esig
n
��
� �&
1��A .y
�� �!
��
^��re
gres
sed
�re
gres
sand
"
�� .
"��
1 �
� 7�
1 �! �
� "��
:����
��O ��
�!re
gres
sion
coe
ffic
ient
s
&1�,�
,�
�&,1��
A 0,�
1.
'���
� �
KX�
��
�!�
#�:
��%��
#4�I
h(0)
�+h(
M-1
) 4
q�+
�� �
&1���F
�� $�
.
E
���&
�O @&
:�=
�-1y
"
�� .
��
#�+ �
$ �&
�+ �!
J��>
�� E
�! #
0�1 B
�% �!
N J
&,� �
�� �
! "W�
1n )
0�,�
� ( "
�� $��
1 .
5e
��� '
����
( �
6��1$
ov
erde
term
ined
��
��
��4
y=
�’�
�’ is
N*n
N�
n #
$�� B
��&I
�! "
��Li
near
Lea
st S
quar
es
��
� B
��&I
�����
.
#
$�� B
��&I
J ���
��||ε
||2
"��
. "
%�I �
� �
VN
�!
"W�
1�
B!��
� ��
�! ��
"��
7���
��� (
�! (
�+�� ��
�"
�� BI
. #
��%&�
AR
X 4
FIR
&�
��: �
1�>��
j�jD+
n��
O �jr�
� �� B
I �
� ���
! �
� �
B*�
I �1�
>�� �
�
ε=y-
�’�
�V=
ε’ε/
2�dV
/dθ=
0 dV
/dθ=
d(y-
�’�
)’(y-
�’�
)/2d
θ=-�
’y+�
’��=
0 ��=
(�’�
)-1�
’y
��
���:
;A
#$��
����!
6-4
�>
5��W8
�! �
�
5��?
! ��
��=R
-1f
E
2 � �
� "��
1 E��+
�
R q
�+��
(
d*d
4f
1��,�
�� �,!
(
d*1
"
,��
�,
�d
�&,�+
"��
J��6
� #�:�
�����O
R $� �
� �
�W��
D� �
$ J���
).
q
�+��
�� �6
12 $�
R q
1�����
y 4u "
��)
Ryu
( L
S
���
<+LS �!
corr
elat
ion
�
� �
MW+�
� .
6.1
��
�� 1(
�-j�
8 V��
1LS
(���
� E
4&! #
$�� J
&� �
:
Poly
nom
ial f
ittin
g
�D
�� �
��4 ��
� n=
3
"��
�&�
�)�/�
0�1 E
2 �! �
� "��
. �!
�D�
� ��
�!n=
1 U
n=3
4n=
10
�,� �&
,� "
�)"
�� �&
� � �
E��
1 B-�
�
6-1-2
0��
E< ��
4&�
LS #
$�� B
��&I
� �!
���
(||��
-y||2 )
��&
F�||A
x-y|
|
�� �!
�j*�)
y $� ~
;�
"
%�I �
�� "
��2
#&�
!)
#����
��O 4
("
�� �&
� � �
E��
1 B-�
� .
#��!
a 1
"���
��[1
1 0
]’ 4
a 2=[
-1 2
0]’
"
�� .
��?+
(P
roje
ctio
n) y
�D�*
#4�
a 1-a
2
�� �!
Ax l
s=[1
4 0
]’
",�
�.
��&F�
J�I
x1 4x2
�;!��
$�a 1
x 1+a
2x2=
Ax l
s
�� &
2 � "
�&!
x 1=2
4x 2
=1
"��
.
��
���:
;A
#$��
����!
6-5
��
� E
��1 E
��+
�A
x ls=
Py
q�+
�� ��
"��
P "
�� �$
b��A
#���
,
P=P*
,
P2 =P,
, I-
P�0
6-1-3�
� � I
����
��
��
� �
� E�
�1 R
�) J�
X� �
���<
+ 3��!
��%��>
�� ��
quas
i sta
tione
ry
&���
:�!
�! "���
!�
�
��<+
3��!
E&�
��*
#��!
) �
��]+
cons
iste
ncy
( &
�!)
#��r
+ SWc
2.3
( �.
R*
�
��� ��
o :
# 4�
4 ���
��
� �
���+ v
�� �
�u
J��>
��pe
rsis
tent
ly e
xciti
ng(P
E)
�W+��
nb &�
�!
�. f*
=0
: v
�� �
�5�
�* �
�
$ ���
� $� (
�:"
�� SF
D�
BY�
( ov ��
&� '�
����*
��>
1��� �!
&���
0�1
&��!
v 0=e
q
1���4 �
!�
�! "��
�!��! �
��<+
q1��
�4 ��>1
2:
V (B
est l
inea
r un
bias
ed e
stim
ator
(BL
UE
)
���
u 4v 0 )
��* �
�>1���
�! (
BF��
� 4
n a=0
&�
�!
�,+
,! #
�,���+
M,F)
E��,
����
�� �
u &
,��) 4
��,�
� y
�,+ &
,��!
.
��
'
����
BX�
y=B
u+v
.
,;A
���<
+ ����
���
�� �
��=B�
=Ay
,
� �,�)
�� �,
G1 �
��
.A
�+
��
� B��&
I��=
AU
�
��
��
AU
=I .
�-12 E
4&! &
2 � "
�&! 3
��! E
4&! �
��<+
\�+�
+ �� �
!PD
F
E2 q
1�����
���+
��
�����A
0�1
C "
�� $��
1 ���
. �
���
<+ J
�I �
�
()
()
11
1
11
ˆ'
'
ˆco
v()
'
CC
y
C
θϕ
ϕϕ
θϕ
ϕ
−−
−
−−
=
=
�����
�9��
��
���:
;A
#$��
����!
6-6 �
� �
��� �>
�
��<+
cons
iste
nt
�4�
�
��$
��4n a
>0
"��
� #
����+
#���
y E
�,z 4
"��
v 0 &�
�,� 0,
�1e�
��� "
��1
�
! &:��
A ���
��! �
��<+
3��!
4 �&
�.
Wei
ghte
d L
east
Squ
ares
"��
�-��
� LS
7�1 �
! ��
�� ��
)�� �G
1 �
1��$ E
$4W
LS
��
� �&
1��A.
�!
��� E
2 ����
��LS
&2
� "�&
!
��
�� 2(
'��
�� #
�:����
��OA
RX
&�
10! ��
�<+ ��
. #$
�� ��
W� J
&�
5
��?! �
� "��
y=�’
�+e
"
��1 E
��+
�
E
� � �
��
4 E�
����
� �� �
!�
"��
:����
��O ��
�! .
'��
�� �
� ���
<+ J
&��=
�’�
�,!
��! ��
,�<+
#�,;
A 4 "
,��
�! "
��ε=
y-�
. ��
� ���
�� ��
)�� �G
1 � �
!2
&2
� "�&
!
��
�! "��
�!��! �
�����O
���
<+
�
���/�
�M
AT
LA
B
��
���:
;A
#$��
����!
6-7
Ass
umin
g th
e sy
stem
is se
cond
-ord
er w
ith n
o tim
e de
lay,
we
take
na
= 2,
nb
= 1,
nk
= 1.
�4�A
4 #
4�4 J
�I6
�� ��
W�8� #
��!
"
��1 �
�A �&
�2 "
�&! t
��1 �
�
B
ette
r ide
a: tr
y m
any
diff
eren
t stru
ctur
es a
nd c
hoos
e th
e be
st o
ne.
Na
= 1:
15; N
b =
1:15
; Nk
= 1:
5;
NN
= st
ruc(
Na,
Nb,
Nk)
; V
= a
rxst
ruc(
id, v
al, N
N);
To c
hoos
e th
e st
ruct
ure
with
the
smal
lest
MSE
: N
= se
lstru
c(V
, 0);
For o
ur d
ata,
N=
[8,7
,1].
Alte
rnat
ivel
y, g
raph
ical
sele
ctio
n: N
= se
lstru
c(V
, ’pl
ot’)
; m
odel
= a
rx(id
, N);
com
pare
(mod
el, v
al);
��
���:
;A
#$��
����!
6-8
J
&� �
���+
AR
MA
X
mA
RM
AX
= a
rmax
(id, [
na, n
b, n
c, n
k]);
Con
side
ring
the
syst
em is
2nd
ord
er w
ith n
o tim
e de
lay,
take
na
= 2,
nb
= 2
, nc
= 2,
nk
= 1.
Val
idat
ion:
com
pare
(val
, mA
RM
AX
);
6-1-409
�� '���
?#$
� :v
��&�
��T
�
B-�
LS "
�� >
1� 0�
1 �! .
'��
�� �
Ay=
Bu+
v
��v B-
,�� �
,)� #
��,! "
�� ��
3��!
���
<+ &
��W1
&���
"��
3��!
E4&
! ���
<+ E
��+
� $�! �
$ v�
� 4
"D+
�.
E �
! l<�
� 5��*
� H
E��+
�
E �
� ��j�
) �!
y 4u �!H
-1
"
��
;A E
�����
� J&�
�! %
���)
��
j�) V
�O $� �
����
� J ��
� ��
L=H
-1
"��
���<
+ ����
� �
�.
e�! ��
� J&
�re
peal
ed le
ast s
quar
es :
&���
y�)
H=1
/D
&��!
�
� �
�$
;A E
�����
� �! J
&� �!
�6��
��
��
���:
;A
#$��
����!
6-9
3
��! E
4&! �
��<+
��A
D 4
BD
"
��1 �
��
��
O � �
�G
��
� �
$ ���
<+
���
�!
6-1-5Re
gula
riza
tion
�
� ���
�1 �$
J���
) �! �
��<+
�����
��
5�4�/
&1��
� E
���8 K
m ��
je
�!
.
��
�# "
,�� �
,�%4�
5�8K
c� 3
��� �
! #� �
;F1 �
�&W�
�� "
�:���
���O #
�]) �
"!�C
�;F1
(
.���
,F�� $
� E2 B
,�%
"��
�.
���
� #
$�� B
��&I
&��! �
���
# �$
#�:�
�����O
VN
+�W��D
� �G1
$�
",��
�,-�
�ill
con
ditio
ned
�,
�)��
�!$
%<ill
-con
ditio
ned
�� (
E ��
�)�/
��I
#�,��
! q�+
�,�
+�W,��D
� �G1
$� ��12
q�+
�� �
� �!
$��
� .
E2 �
! 4� �
��: $�
regu
lari
zatio
n
?@!JY
\^
. �.
&�1��
&��!
�$ �:
������O
�&�
+ ���
(Non
linea
r bla
ck b
ox)
�
,��
�,! ��
�,:���
���O 7�
,�+ E
���1 "
�� �-
�� $
���
<+�+ �
� �:
������O
����
! 7�+
�� E
�� �
)�/� �!
�!
�� ��
CVN
�&
,� �
� ",
!�C �,;
F1 #��
�! &1
�� &�
�&��
�&14
� �1
�&���
\�<
+ � �
F� "�
� �! 4
� .�
�&,�+
�,�
")��
�G1 �
#���
���O E
����! E
��+ �
�� #
�� �!
��
�:���
���O�#
&��
� J���
� �� &
14���
. �!� �&
,�+ 4
�&,�
� �
�,;F1 #
�� �!
����
! �&�
+ ��0!
�� �!
����
&14���
�A �
���! �
�F�
# .
6-1-6 '�
Y��ZPE
M
7/4�
� ��
��LT
I
H��5
�6 M��
�� ��
'
����
���
y=G
u+H
e
#��!
&��!
w
=Gu
'
�� 4
&D� #
�� "
%�I �
) #
��r+
2.1
(
DFT
#�
;A
�! "��
�!��!
'��
J���
��O �;
!�� SW
c
��
���:
;A
#$��
����!
6-10
�
�;
A ��
�) E
�� |
�D% �!
4
"
�� '
�:��A
E
�� |
�D% �!
y=_
u
6.24
�;
!��
� �
� �
�6��1
. \
�+�+ �
� �!
PEM
��
��� ��
V $�
� �
B��&
I ��
$� �
� "��
��c
�>���
<+ (
�>
5��W
8 �!
$���
���: �
!�+Q
&��
� � ��
���
. '
% SWc
�� �6
12 $�
6.1
W1�6� q
1���4
v(k)
�! E2
S�W;
+ $� "
��Q
�� �
� �
�&
Q �
��<+
q1��
�4 3�-
��v
�! 0�
1 7�j�
� �1 �
�c
��4 "
��|H
|2
y�,8
��
. �
�)�� �
G1 �
E4&!
R�N
�;
!�� �
�W
eigh
ted
LS
J&� #
��!
& E
��+
� �$
�N
�/�
p
4�PE
M
�! B
&W+ �
!�+ (
E �
� "�)
p4�
ETFE
1
$4 �!�
+ �!
S!�;
�si
gnal
-to-n
oise
ratio
"��
. �
��4�
5��?
! �� �;
!'�
���!
%��>
�1�
�
��<+
5��?
! �
�cEF
TE
$���
���: �
!�+ �!
Q
��
�
��
��4�
����! 4
�� �
�! ":�W
� �+
. �
p4�
�>
5��W8
�!PE
M
�&���
����:
�!�+
�! ��c
�>���
<+Q
"��
.6.
4
� ��
�G
=0
&��!
)1
��$ #
����
( p
4�PE
M
B,�4
�,>�
��<+
7�,1 �
,! �,�
&,��
,� B
��&I
�� �$
�!�+
Whi
ttle
��
� ��
A���
.
��
���:
;A
#$��
����!
6-11
6-1-7�
Y�X �
�\6 �
�� 0
����EP
Subs
pace
Met
hods
:
# 4�4
J&�
�! "
%�I #
�]) J
&� ��
"��
��4
E�-�
� ��
- �
�� ���
� ��
��� �
�� 4 B
&W+
�4�A
.�,6
�� �
���
��
� ��
��� "
%�I #
�]) J
&� ��
�F���
. E
2 � �
,� �,
$ J&�
�! E��
+ � �
� ;A
'��
��v 4
w �,1
&��,�
0"
��1 &
���:
p
4��
0>��
E
2 � �
� "��
v "
�� >
1� .
���F
� ( �
0�
�
J&�
7.54
$�
��-z�
�7.
55
,>1�
0�1
E ��
J&�
#��!
�$ "
�� �
�)�� �
G1 �
�!ex
tra st
ate
"
�� $��
1.
� "
%�I #
�]) J
&� ��
$� "
�� �-
��ph
ysic
al in
sigh
t �
blac
k bo
x
5��?
!ca
noni
cal
"
)�� �G
1 �
. �
���
v��
cano
nica
l
��
���� �
!
# 4�4
�! "
%�I #
�]) J
&� "
����!
E�z
-"
,��
&:��A
��4
E��
- �
4�A 7�
�ex ��
&�!
l<�
� �
� �
� �
) �! �
?D��
J&� �
+.
M,F)
�� &�
�� "
� u 4y
4 &1�,
� ,
� #�,�
� �$�&
,1� �
�F�
x &
�! �:
�� �
$ ���
<+ \
����
�D1 �
!&1 .
� ��
&���
y�)
���
x &�
��:
����
�:J&
�
'��
��!
��+�
� �4
�A #
4�4 5
��?! ��
5
��?!
�
;A E
�����
&2
� �
�W
�����
�� "
��� �!
LS �
$ ���
<+ �
� �
. p
4� 5�
?<��
&�� �
�LS
�� �
� ���
<+ E
�! 3
��! E
4&! 4
����
E �
! ���
! �G1
$�.
� '
����
#��!
���^+
E4&!
uI�
W� �
� &���
"�
MIM
O
"��
J��8
� B!��
�
�� �
p
4� q
1�����
q�+
�� ��
�<+ E
�-��
E(t)
��
��
4 0�1
.
���� +
�)�
x : �
�< 0E
�� U�
1 ��n x
�: #
�: �
�! V�O
1 �+n
�4�A
�(t|t
-r)
E
2 �&�
��j�)
�&1�
� �
��)��
�G1 �
.
,� �
,$ J
&� '
����
#��!
��
����
1 &1��+
��! V
�O J&
� ��
k
��! V
�O �j�
�! 7�
�)
0�1 �
�)�� �
G1 E4
&! �)�
* (
��
���:
;A
#$��
����!
6-12
&��!
E��$
�: #
��! J�
I
�� �!
`r(t
)
#���
��! V
�O B�
��1 �+r
��
� ��
A��
#
��! ��
�! &�
%�+ �!
t=1…
N
q�+
��`
&2 "
�&!
"%�I
� '
����
#��!
"��
���� �
! �$
#�: �
��0�
W1�6�
�.
'��
�� ��
� n
7��+
#��!
��� "
��r�
n
q�+
�� (
1� �:
` �!
��!n
&��!
�.
�� �!
x �G
1 ���
;A
\���
+ 5��?
!`
r(t)
"
)�� �G
1 � E
��+
�
��L
q�+
�� (
n*
pr
�� "
��p
"��
���4�A
�&�
+ �!��!
�.
L
+�W��
D� �G
1 $� �&
�2 "
�&! J
&� ��
��
� �
�<�1�
#�D1
�!w
ell
cond
ition
ed
�,-�
� (%H,
�� &,
��!
"%�I
#�]
) #�+�
� ��
�� �
�<�1�
#�D1
�! "
��ca
noni
cal
�
� .
�. B
?) �
E2
+�W��
D�
j�8 p
4�10
��
� �_
���.
{. �
��<+
relia
ble
&:
� �
_��� �
�A "
���� �
!.
}. p
4� 4
�� �
�����
��%4� �
�&F� E
����!
E��+
� ���
<+ J
&� $�
PEM
#
4�4-
�,��!
��,�
<+ #
��,! ��
,�
4�A �
� J��8
�.
����
��
���:
;A
#$��
����!
6-13
��
�� $
� � ���
�� �!
n4si
d
��
� �
$ ���
<+ �1
�>��
z
= id
data
(y,u
,0.1
); m
1 =
n4si
d(z,
[1:1
0],’s
sp’,’
free
’,’ts
’,0);
#��!
n=2
�� �$
7�) �
! ����
"
�
� |�D
% ���A
�� �
�� &�
��: 7
4��� B
W� $� �
� q�+
�� �]
8� $�
]�!
�$2 q
�+��
#�6!
E��+
�
q�+
�� ��
�<+ #
��! ��
���A
��st
ruct
ured
��
�� $
�pe
m
�,�
� ���,
�� E��
,+ �
. ��
�,�
pem
$�n4
sid
#�
�,!&�
� � �
����
� ��%4
� ���
<+ E
�42 "
�&!
. m
2 =
pem
(z,m
s,’d
ispl
ay’,’
on’);
��
�� �
E��+
� 0
�1 �� �
G1 ��
� ���
pe
m
��
��4
m3
= pe
m(z
,’nx’
,1:5
,’ssp
’,’fr
ee’)
; co
mpa
re(z
,m1,
m2)
;
��
���:
;A
#$��
����!
6-14
6-2In
stru
men
tal v
aria
ble
met
hod
��!
V�O
#��%&
� �
OE,
BJ,
AR
MA
X
�! "
W�1 �
��<+
J&�
�;!��
� "
�� ;
A ��8
�
E
2 �!��
� 4 "
%�I �
� �
#��!
#$��
B��&
I
�
����
���!
��&1
��4
�
$�! #�
��4�
J��8
� BI
����
"��
+�W�
�D� �
�! �!
��
�&1�
� 0�1
�� j
D� 7�
�����
5K-
�� e
����
B_��
� �1��
�� �
-�� �
�/ .
�?X
+��
IV 0
��;��
)� 7N
X ��
LS
/�
��.
6-2 -1 IN
STRU
MEN
TAL-
VARI
ABLE
MET
HO
DS
#
��!;
A E�
����
�
�! #$��
B��&
ILS
#��!
L=1
4ζ=
ϕ
��
� �
$ M!�4�
�! �6
��
�! �
��<+
� 0 &:
� E
��1 �
� &��
� B
��ε 4�
&���
�1 ���
!�4 '�
! .
J� �&
,� "
%�I �
��
,�<+
#�,;
A ε
(t,θ)
�
�A J
&� #
��!)
�&�
� $ �
��<+
"��
(
$� BF
��� &
�!Zt-
1
&��!
. �
'���
� �
���
B
�% �!
��!
>��!
�4� )
��%��
B�%
�!y( 4
v o &2
�1
"�&
! 3��!
E4&
! ���
<+) .
3�,
�! E4&
,! ���
<+ v
4��LS
��
� �
F1 (�
1 "%�I
��
>1�
0�
"��
. �
�A �
��<+
#��!
B��&
I 4
&D� #
�� #
��!
��
���:
;A
#$��
����!
6-15
�
� ���
��! &
�!E2
� ��
$� �:
�1��
1 Z
t-1
4� (
tra
nsfo
rmat
ion
&,
1��+
,� �,�
"��
α(ε)
=ε
&,��
!.
��j�)
V�O
E ��
|�D
% �! �&
� �� #
&�! J
���)
L �-
�� 4
� �!�
&��! �
��!�4
�1�>
��"
��
4 �
�! ��
�!�4 e
���I�
���H�
#��
$� #
�� �!
� &�
�!
&�-�
� R&*
�$ �
;!�� �
��A
���
<+ \
�+�+ �
&!
�
����
3( Ps
eudo
line
ar R
egre
ssio
ns
J�X�
� PL
R
V�O
J���)
��!
���
�!� "
�� ��
�!�4
. �&
1�����
! &�!
������O
���
<+ �
ε $�
BF��
��
"��
�$ �;
!�� �
�� �!
�� �
�
�
� �
1 SFD
� �� &
� ��
�� KW
� ��
. p
4� $� 3
��! E
4&! �
��<+
#��!
4��� $
�IV
�� �
����
� E��+
�
�
4���
$�� B
-�� �
)� #�
�! E
���! �
� #
�6!
� $�ζ )in
stru
men
ts o
r ins
trum
enta
l var
iabl
es (
� ���
�� �
�
3��!
E4&
! W1�6
� ���
<+�
�;!��
�!���
�;!��
�� "
�� �&
�2 "
�&!
LS &�
�! ���
� �
�4 3
�-��
��� "
��
\
�+�+ �
� �!
�� �!
� 0 4
B��
W1�6� 5
��?!
4�
� �
�* "
�� �!
.�,
$ v��
4 ��
G�� �
� #��!
��
�����!
&�!
.
�!
4 ���
W�: �
� �!
&�! "
��4���
�� ��
"��
E2 v
�� 4
��
���v
&��! �
��W�
: ��o
V
� /��
Inst
rum
ent
:��
%�% M
��5 �
/!�6
�
$ '��
�� �
#
�� �!
�� "
�� �
� �&�
y �&
� ��j
�) $�
u 7�
1 �!
x ��
�! �
��
� ����
� ����
�� .
��
���:
;A
#$��
����!
6-16
�+
��!
>��!
�4 7&8
v 4ζ �
� ��
��+.
�
�;!��
�� �
K "
�� ;
A ��j
�) (
.
� "
��4���
�� \
�+�+ �
� �!
� $�
�� "
�� #
4�4 �&
� ��j
�)v
"��
BF��
�.
�/
!�6 V
� /��
,
%�1 :
+���
V�
/��:
�� �!
��<�
1� (
ξ E
2 J�c
�� "
�� ���
� �� $
�n
= na
+ n
b
"��
. ξ(k)
=
�� �!
�-�%�I
� �
"��
�1�>�
�
,
%�2: �
J��8
LS ��
3��!
���
<+ �-
�� 'o
��j8
4 &�
� � &
�%�+
E �4
2 "�&
! 4
B� #�
�,! 4
�� $
� � ���
�� 4
&�%�+
x . N
=Â &
M=B
�
,%�
3 : #
��! ��
��! ��
j�)IV :
�$
'���
� #�
�!
E���
���
<+ ��
��! q
1���4
Cra
mer
Rao
"
�� �$
)&�
&�:��
A � �
E��
1 #&�
! #���
<! �
(
�
�
"
�� .
����!
��&F�
P CR
�
$ M!�4�
�! �6
�� �
� �
&���
: J��
6� ��
12 � �
F� ��
W%� ��
. �!
B-��
��
Ada
ptiv
e IV
��
� ��+�
�
7��
1 : �!
�$ J
&� �
��<+
LS
�
���+ 4
_ 4 θ
� &:
� �
� 3
��! �6
��1 ��
.
7�
�2 :
�� �!
&�%�+
ξ �!
# 4�4
E �
� ��j�
) �!
_ �
��<+
4_
2
J��8
� �!IV
��
���:
;A
#$��
����!
6-17
7�
�3 :
&�%�+
w
�
��<+
4L �!
LS
7��
4 : ���
-+15
.22
�!
��! �
�_
2
&�%�+
4ξ(2
)
�� �
! J��
ξ 4L $�
� ����
� �!IV
��
� $ ��
����O
��1 �
��<+
.
Con
side
ratio
ns
� 4
q1��
�4M
SE
"��4
�����
d�1 �
!�+
!�<�1�
"��
�
#��&
�OIV
"��
1 ���
]+
�&�
� &�%�
+ J�W�
B!��
��o #
��<��
O "��
�-��
� ��
��j�)
$� � �
����
�
���
��
� p4&
<� 3
��! E
4&! �
��<+
�
v 4� &
���! �
��W�
:)
3��
� �! "
��4���
�� &�
%�+u
���! �
FjI �
.( 3
��� �
! "��4
�����
���! �
FjI �
r &,
�%�+
��
�
J&� �
�� E
�! "
�� �
1
� "
��4���
�� ��j
�)&�
� @HI
�� '�
���
(���
� ��
&��! #
�D1 �
!
� &�
�W1 ��%
&� �8
��6�
�0�
���
4 '��
��)
&��! �
G1 &�
W�
F+ J&
�(
����
4(J�
X� :
�-j�
8 ��
�F�A
RX
4IV
�
mod
el =
iv(id
, [na
, nb,
nk]
, C, D
); ��
�� 5(
� ��
��j�)
�!
��
���:
;A
#$��
����!
6-18
��
�� 6(
�:����
��O �
��<+
�! ��j
�)
U0
�1 E
�!
>1� B
�% �!
IV $�
���!
�-j�8
AR
X
��
��
�� 7(
IV
�!��
��! ��
j�)
mod
el =
iv4(
id, [
na, n
b, n
k]);
C
oncl
usio
n: W
orks
slig
htly
bet
ter t
han
just
AR
X in
stru
men
ts
��
���:
;A
#$��
����!
6-19
6-304
��5�6
��� I
��� �
� �/�
�� 7/
4��
��
�
$ ��
�<+ ��
����
�O J&
� E��+
� �
� "��
�� q
1���)
E�&��
� ��
�<+ \
%�� b
��A $�
.'�
���
#
�:��
4y(
t) 4
u(t)
&�
�>! �
G1 �
�� .
�&�
#���
�$�&1�
#��%
��>��
���)
) �!
B�8 �
D
FT (
"��
�W��
D� B
!��
�
� �
��
��� #
�� �
8��6�
�! �6
�� ��
F�FI
4 ��:
�� �
�F� �
� �
� $ �
��<+
�612
G "
�� q
1���)
# �&�
+ �
�
� B�
�&I &
�! �$
�����
J�I
�!
S�W;
+ B!��
�� �
$ 5��?
! �ET
FE
&��!
��
�H
&��
� ���
!�<
! p4�
&��! "
!�C 4 7
�j��
.%
�,���
y�,)
q1�,�
�) E�&
�� �
�� �
! �: �
!��� �
y�)
��
"��
. $�
%�F�
� ���
<+ p
$� �O
V�O
�! E��+
� 0
�1 "��
( �
�O #
4�4 �
� �:
�!���
� H
"��
��.
��/�
�M
AT
LA
B
����
M
ATL
AB
"
�� ���
� �� $
� ��
��� d�
1 �� #
��!.
sys =
tfes
t(dat
a,np
,nz,
iode
lay)
��
np 4nz
&���
: �:�
�* 4
��W;�
�&�
+ \�+�
+ �!
. ���'
�
���
+���
M��
5 �/!�
6:
��
� 7�
61� �
���j�
) �1
���) #
�: ��
%�� �!
�G1
��� E
$4 ��
/ �!
. �
�� 7N
X U<�5
�/ :#�
�� �$�
&1� #
�� '
6I
��4
'�,�
�� �
� ��,
�� �
�,F�
�,! 1
��$ "
!�C �
�4 B
�% �!
�&�
&1��
� �
��)
q1��
�) E�&
�� �!
J�F�1
� �! U"
�� �
$)
&1��
� 7�
o � '
: �
( �
��$�
���Z ]
��/� L
�T��
: �
#��
U&��
�! V��
$2 (
$�
��1 &
�! �
j�<� #
���1��
�) �
�� �
� &��
�1
t��1
&1��+
� �
j�<� #
���1��
�)&1�
�&�
\���
+ q1��
�) E�&
�� �
�� &�
�! 54��
�� 5�
���$
2 $�
�
(���
�� �
�%�%
: "
,�� \
,����
���,�
! &2�
� "�&
! S�c
�� $
� ��
�����
&��
! ( �
�O #
4�4 �
�� .
��,$ &:
� E
��1 ��
���&
1�� "
%�I �
�4
�A 4
( �
�O #
4�4 �
�!���&
1�� v�
W+�� q
1���)
E�&��
� 5�
8Kc�
.
��
���:
;A
#$��
����!
6-20
� �
��
�% �� '
��� (
��/���
� ��T
%(
�����
��
: '
����
���
y=G
u+v
�
,�O �,
! (,
��O #
4�4 4
� �!
M
&��!
Gu
"
�� (
��O
���&
1�� "
%�I �
0�1
$ ��
�<+ ��
0�1
E��+
� 4
�B
and-
Lim
ited
Sign
als
: �,�
3
�,�� �
,! ��,1
2 E��$
����
�O ��
�) B
&W+ &
��!
4&D�
&1�! #
4�4 J
��>��
���
�� $
���
<+ ��
'���
� J&
� # 4�
4 �!
�4�A
����
�O �
�c '
��F+
�! 4 �
� �W�
�D� E
��+
� ���
�
Con
tinuo
us-T
Ime
Mod
els.
��,
���O
#�,�
3�,�
� �,! E
��,+
� �� ��
���O
'���
� ��
� E
��1 R
�) u
I�W�
��
�����
"%��
�!.
� :
Tra
de-o
ff N
oise
\ Fre
quen
cy R
esol
utio
n &,
1�� 3
�-��
�;!��
��c
0�1
~;�
4 �1
���) �
��%4$
� .�
"��
�;!��
#4� q
1���)
�! ��
�!�4 4
'�F�
�� J
���� E
��+
� ��
��
6-4 �4
��8�
PEM
%IV
PEM
�
&��
� J&�
�� 0�
1v=
He
�
"��
� ����
� B!��
���o 4
;A
��o
;A #
��%&�
7��+
#��!
�
�! �W
�F+ ��
�! 4
$�! �
FjI �
� ���
�� B!
���!�
�� ��
�1�! #
�:&�
�
7�,�
���� 4
+�W
��D�
'6I
5K-
�� ��
��
� 7�
61� ���
>+$�! p
4� �! E
2 BI
;A
E���
��� "
%�I #
��X��
� �!
�� �
� jD
�.
� "
%�I �
S∈M
&:
� 3
��! E
4&! �
��<+
$�! �
FjI.
� &�
�! W�
F+ J&
� ���
S ∉
M
�1�>
z &:
E��
1 �� B
�jD+
M*
'
����
S �
�4 &1
$ � \
�F+ ��
��
�
4 q
1���4 �
�! �/�4
�;!��
desi
gn v
aria
bles
��
��
4 #$��
����!
#��!
�
PEM
�!v &:
� �
� 3
��! �
��<+
>1�
. &
�! B-�
� �)�
#��!
H �
� � $
���
<+ �-
�� � &
��! 7
�j��
�
� ��1�
A �
# �$
d��+
PEM
&1�
��� �
� $� ��
����
>%� $�
]�!
�� �
� �
�4:
do
not u
se in
form
atio
n ab
out t
he n
oise
–
Leas
t-squ
ares
est
imat
e (L
S)
use
info
rmat
ion
abou
t the
noi
se (G
uass
ian
dist
ribut
ion,
)
– A
ssum
e θ
is a
fixe
d pa
ram
eter
_
Wei
ghte
d le
ast-s
quar
es e
stim
ate
(WLS
) _
Bes
t lin
ear u
nbia
sed
estim
ate
(BLU
E)
_ M
axim
um li
kelih
ood
estim
ate
(ML)
–
Ass
ume
θ is
rand
om a
nd
_
Leas
t mea
n sq
uare
est
imat
e (L
MS)
��
���:
;A
#$��
����!
6-21
_ M
axim
um a
pos
terio
ri es
timat
e (M
AP)
IV
M�
��
� ����
� \��
�� "
��4���
�� �-
12�! v
4��� &
:
� 3��!
E4&
! ���
<+
>1� 0
�1 E
�� J
&� E
4&!
. �
�� "
�����
�� ��
<�1� �
!�+ �&
&� J
&� "
����
" �
�*�?
A ;
A #�
�%&� #
��! ���
�8A
RX
�
� �
� ���
��
� ��
���
! J���
) 5�W�
�D�
�
$�! �
FjI "
%�I �
SεM
&:
� 3
��! E
4&! �
��<+
. �
W�
F+ J&
� "%�I
� S
∉M
"
��1 ~
/�4
j�A �
-j�8
�
��
��4 p
4� #�
:����
��O 4
���<
+ q1��
�4 ��! ~
/�4 �;
!��
� p
4�le
ss ro
bust
4st
atis
tical
ly le
ss e
ffec
tive
$�PE
M
"��
su
bspa
ce
�"
�� �&
� I
��c
;A "
%�I #
�]) #
��! b
�A ��
;!
� $�
! �FjI
"%�I
� Sε
M
&:
� 3��!
E4&
! ���
<+.
�
W�F+
J&� "
%�I �
S ∉
M
"��
1 ~/�4
j�A
�-j�
8
� ��
���
! 7�)
5�W�
�D�
7 *
�<M� 6
�g�7
: "
�8% �
) T4���
�"
T4���
�"�.�
������
�
+�
5� *
�� k!�8
�
�MA
q1��
�4 (��
r+ �W�
�D�
V
�
��>�
: v4��
VN�
V
�
�:����
��O �
��<+
q1��
�4
�B
&W+ �
!�+ ��
�<+ q
1���4
*�<M
� �����
��
��
���!
E��+
� p4�
4 �!
�� ���
<+ ��
�)�.
�Si
mul
atio
n:
�,�
�,�
�F� '
: �! ��
����
4�A 4
� 5
4����
#�: #
4�4
���4 '
����
4 �&
�
�����
J&�
�!.
! "
��9�:
p4�
�� �
����
6��B
4)
��4��
� 6!�)
(��
7 ��
�� �� �
�4���
6!�)
^�'�
� +7 �
���4 �
'�"
. �
Ana
lysi
s:
#��
"��
��! (
��r+
5��?
!Z
&��
! ����
A� �
) "
,��1
�,-�
� B,�
8 � �
,� (4
#��,�
2 b��,
A �
� �
uD!
W1�6
� ���
<+ .
S,��
"��
�-��
E�z
��
"�
&�! UB
�8 �
j�j
D+ u
D! t
��1 $� �
����
� � &�
�W1.
o '
����
#��!
d�/�
�LT
I
��
� �
� '�
��+
���8 '
����
�! q
i� 4
��
� u
D!.
o �;
A (
��r+
q1��
�4 �&�
!� �;!�
� �� �
V
W1�6
� B��
qi�
4 &2
� "
�&!
VN�
V
�
� �
uD!
. o
#��!
uD!
�� �
!���
IV 4f 4
f N "
�� w�
c B!
�� 0�1
.
7-1�8
% �) T
4����"
�
7-1-1 �)
T4���
�"�
�� �8
%PEM
:I
��'l�
���
�
���Ljung�chapter�8
�;
A q
1���4
�
� �W�
�D� &
1�� y
�) 7�
j�� B
W� $� 5
�?<�
� BW�
$� �� J
&� 4
'���
� (
#��!
E��+
� ��
."
,����
��&,F�
��
J&�
4 p
4� "
%�I �
���!
� &�
� � l
<�� (
��r+
��;! ��
. &�
:
� E��
1 �� �W
��D�
��D1
�$ #
��%�X�
.
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-2
#�&�
1.
������ �������������������������
� ��
�$ '
����
#��!
&���
y�)
u 4e q
1���4 �
! &���
0�1
BF��
�� 4�
�!��!
4 �:
4 \
�+�+ �
!1
&���
:
�
�! V�O
J&�
�
� ��)
�� �G
1 � �
$ 7�
j���1 �
�����O
�!
"
�� (
��r+
�W��D
� B!��
�;A
q1��
�4 "��/
4 ���
�! �
M���
�� "
D+ .
�;A
q1��
�4PE
M
�! "��
�!��!
��
��
��
����
��
22
00
02
12
12
0y
yu
yyu
yuR
aR
bR
aRbR
abR
�
��
"��
$��1 �
�F�
�� �
! 5�W�
�D� �
� #��!
�
��
�0
00
00
00
(0)
[(
)(
)][
().
(1)
(1)
()
(1)
0(1
)[
()
(1)
][
(1)
.(
1)(
1)(
)(
1)yu yuR
Ey
tu
tE
ut
ay
tb
ut
et
ce
tR
Ey
tu
tE
ut
ay
tb
ut
et
ce
tb�
��
��
�
��
��
��
��
�
��
�
��
�0
00
00
00
0
(0)
[(
)(
)][
().
(1)
(1)
()
(1)
(1)
[(
)(
1)]
[(
1).
(1)
(1)
()
(1)
()
ye yeRE
yt
et
Ee
ta
yt
bu
te
tc
et
RE
yt
et
Ee
ta
yt
bu
te
tc
et
ca
��
��
��
�
��
��
��
��
�
��
�
���/
�
�20
00
22
20
00
00
00
22
00
00
2 0
(0)
[(
)(
)][
(1)
(1)
()
(1)
](0
)2
(0)
2(0
)2
(0)
1
y
yyu
ye
yRE
yt
yt
Ea
yt
bu
te
tc
et
aR
ab
Ra
cR
bc
ac
bc
Ra
��
��
��
�
��
��
�
��
��
�
�
��
��
00
0
00
00
02
22
00
00
00
00
2 0
(1)
[(
)(
1)]
[(
1)(
1)(
)(
1)(
1)]
(0)
(0)
(0)
(0)
(1)
1
y
yyu
yey
yRE
yt
yt
Ea
yt
bu
te
tc
et
yt
aR
bR
cR
aR
ca
ca
ba
ac
cR
a
��
��
��
��
��
�
�
�
��
�
��
�
��
�
�
q
1���4 J
�I�;
A
�! "��
�!��!
���
���
22
00
0(
)0
20
22
1y
yV
Rb
aaR
bbac
a�
��
�
�
�
�
�)�� �
G1 �
�!�=
μ=1
&2
� "
�&!
�� �
�2
20
00
()
02
21
2y
VR
bbb
aca
aa�
�
��
S
��� E
�� �
�* �!
V &
2 � "
�&! �:
������O
�!)
r 0=R
y(0)
(
�� #
�$� �!
�! "��
�!��! �;
A q
1���4 �
�F�
���4 �
�F�
�! q1��
�4 $���
�� �;
A q
1���4 U
�� 3
��! �
��<+
'o�
�j8
"��
.
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-3
�6
��1 �
PEM
#
�:����
��O 4
�
A ��
��! �
�F� �
!
a* 4b=
b 0
&��
� B��
. �,
� �,�
,�
�&,
�� 3
��!
���<+
"
�� .
S��
���
<+ $�
���! �
� &:
� #
���� q
1���4 �
� 3
��! �
��<+
��
%4
"��
. V
�0)� �
��/
μ V
�0)�
r 0 ��
J�W1&
! �� 3
��! V
:�� �W
�����
4.
#�&�
2.
��������
������� ��� �!�"�
�'�
�� �
��
�! �� J
�X� �
� J�I
E� �
��v 4
w q
1���4 �
! &���
0�1
1 &�
��:
. ~
�D*
��A�+ �
! ���
<+ J
&�
��4
�
� ��)
�� �G
1 � .
�! "��
�!��! �;
A q
1���4
�� B
��&I
q1��
�4 ��
��
� � $
���<
+ #�D
1 �! �
�����O
. �!
"W�
1 S��
� E �
� ��*
�!b
&2
� "�&
!.
&:
� ��
��!
V�O
#�;A
B��&
I ��
�
���
<+ ��&
F� �
� �!b
�,>�
��<+
4 #
�,;A
q1�,
��4
�,! �
,��F
� �
1 #�
�,! "
�� "
%�I �
���!
) &1
��+
� �;A
q1��
�4 B��&
I1
��
.( �
&��! J
�W� B
!�� �
-j�8 �
+ ��
�1�>
�� &�
! �� "
�� �
4�A q
1���4 $
� ���
� �;A
q1��
�4 �-�
� �>
��-1
.
j5
X ��%
��
�e�I�
�� J
&��=
bu(t)
M
jo ��A
�+ �!
����)
�� �G
1 �
q
1�,��4
�! �6
�� �
� ���
-+ J&
� �� �
! 5�W�
�D� 4
��
#�;
A
�4
�A q
1���4
�-�%�I
�
�>��
�!
"��
E2 $��
���
� �,!
�&,�
) ,!
���<
+ ��
��� �
�"
��
7-1-2 �
���0<
.V N�V��
��
PEM
� ��
� � E
��1 �
� "��
�� �
> d�
/��
;
��� �z
"D+
���
<+
W1�6� �
�;!
&,I
�����
�!V
&,��
,� B
,��.
)
��>�:
( . ��
��
4 ��
4&D
��1 �%�
W1 �
� �
y�)
��G��
�� #
��!
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-4
����
��"
�S� �
4
D1
�"
���
4&D
� �1 �
%�W1 �
! $��1 '
����
�-j�
8 ��
�! #�
�! .�
%4
"��
1 �-�
� ��
��
j�8 #
�42 �
�,
� y�)
�� �
4�A 4
# 4�4
�%�W1
�� �
�&1�
� ��
&�%�+
�$ '
����
4 .
�
r(t)
"
�� ��&
1��� �
���
���A
(�D
+ J��>
��)
���-+
B!��
.( &
�! J�
�>��
��
info
rmat
ive
&�
�! .
E�,�!
d�1 (
in
form
ativ
e
E �
!� z
(w)>
0 is
pos
itive
def
inite
"
�� ��
.
�
e(t)
�+
��&1���
"��
� 4 ��
* ��
>1���
�! ) �
?+ J
��>��
4+�
(�
>0)
�
#�:�
�j�) �
��1�A
(dt(i)
(k)}
00
, i =
1-4
; t =
1,2
, ...
��&
�O
"A��
�-
&���
: .
",�
� E��$
�! ��
�!�4 �
�j�) E
�z"
�� E�
�$ �!
���!�4
0�1 E
2 #�:
�!�/
n��O
.&1�
Hi! ��
�$ v
�� ��
12 7��+
�� &:
��A
� �;!�
�.
�
y 4u #
��%��>
��jo
intly
qua
si-s
tatio
nary
(
, �� �
,�12 �
,>
5��,W
8 �! �
&���
: ,
;A ��&
,�O '
�,���
�,!"
�� � �
� &�%�
+ ��&1
��� #
�� 4�
4.
*���
�D1
I
���E �
���
k!�;
��:
S1 �
�� "
�� E2
�>
��W�+
�! R�
) v4��
'��
��
;A ��
�! �F
jI)
$�! �
( �
$ J
��>��
y 4u "
�� � �
� &�%�
+ ��.
�
"%�I
� $�
! �FjI
u=w
�
� �
��)��
�G1 �
. �
H �
�! 4 "
�� ��&
�O 3
�-��
4 (�1�
�G 4F
��
��4 �
�A�+ &
I�4 (
B��&
I
� $�
B&W
+ �!��+
e 4r �!y 4u
&���
! ��&
�O .
#��&
�O b
�A ��
;!G 4F
&:��<
��1 ��
.R�
,) '�
,���
�,�
� y
�)&�
�! ;A
.E
�! ;
A �&
��� 4
&D� v
��
�� @
HI E
��+
� �+ �
&�9�
O B�jD
+ B!�F
� � �
�.
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-5
����0
<.�
#��!
PEM
��
��� �!
quad
ratic
�! "
�� �!��
! �;A
q1��
�4
�! ��
���
J�I
D1
#
��H>�
� �! &
��! �&
� &�
%�+&2
� "
�&!
L
emm
a 8.
2.
�
���0<
.V
N
� M
���
"D+
;A
J&�
v
�� S
Wc "
A���-
��&
�OD
1�;
A �;
!�� U
8,1
8
0�1
"��
"A��
�- �
�&�O
�
�6��1
� d(5
) 4
d(6)
"
�� "
A���-
��&
�O ':
4� J
��>��
"��
E���
� �W�
.
��
�
��
��� �
� �!
�;
!�� �
� � V
N
��
#&�%�
+D
1 4
V "
�� (
��r+
�6��1
J�?
D� .
\�+�
+ �� �
!
�!�,+
�! "
A���-
��;
! &I
&�
� � B
��
Theorem�8.2.
�
���0<
.����
�� R
�) M
��� "
D+V
N�
V
\�+�
+ ���
: �!
�? N�
�
�8%
����
`�
� ^"
�� ��
��0<.
D1
E
��+
� ��12
�! �� �
��<+
"���
� ��
;!�4�
j� "
%�I �
!��
��
�
&���
: �$
���� �
!
L
S� +�
��4
� �
�4 ��
%&� �8
��6�
� ��
J&�
\�F
+ ���
�! �!
���<
+ �� "
�� �
� �6�
�1&�
� � B
�� ��
.
��&,F�
V ��,
���"
�� \
�F+ E
�! �
�A
�V
"��
���!
�4 ��%�
�>��
5�?
<�� 4
J&�
Uj*
� '��
�� �!
':
. �
#��r
+ $�
2,2 &
�! # 4�
4In
form
ativ
e
&��!
�z(w
)>0
in (8
.13)
.
� ��
� 5�
?<��
2 #
4�4 J
��>��
)���
1���4
( &1�
� "
%�A '
���>
%� ��
>�: �
.
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-6 7-1-3
+� �
���0<
. `"�
�True�value
:CONSISTENCY�AND�IDENTIFIABILITY��*=�
0�
�
�'l�
8.3
: c
'% *
�<M�
G "H�
� ��
Z
S!�;
� 5
�/4��
�D
1 4
S1 ��
J&�
���A
�� �!
"W�
1M
#��
In
form
ativ
e
"��
�
��A�
+ ( B
��&I
(!&�
) "%�I
� G �
G0
&�
�! 4 �
: �
�
�����
Q
uadr
atic
�
S�M
)
':
��G
': 4
H &�
��! �
��<+
#��%
&� �8
��6�
� (
��'
l�8.4
: c
'% *
�<M�
G �
�;"H
6��
4 +N'
<�� �
�
� ��
Z
S!�;
� 5
�/4��
�D
1 4
S1 ��
J&�
���A
�� �!
"W�
1M
#��
In
form
ativ
e
"��
�
� ��
A�+ (
B��&
I (
!&�) "
%�I �
G �G
0
&��! 4
�: �
�e 4u B
F���
)$�!
�FjI
( �
G 4H
J&�
#�:�
�����O
&���
! ���
� BF
���
� Q
uadr
atic
Crit
eria
�
Go �
G:
�
J&�
OE
y=
B/F
u+e
4y=
Gu+
H*
e
��H
"��
l<�
� 4 "
!�C)
� �,
+1/
H
4 ��
,/O
E
�,�
(�,
� �
���
� #
�� ��
�
� J
&�B
J
���
4 ���
<+ E
�-�� �
� "��
� � �
� � 0
�1G
�42
� ':��
) ��
y=B
/F u
+C/D
e
#�&�
3.#�$���#��������!��%!$�
������ �&�'�����
�'�
���
�
J
&� ��
��
�! V�O
5
��?! ��
OE
��
H
%4 "
��1 J
&� �
G ��
��
4 "��
���A
�� �!
'�
�>! �
G1 �
U S
Wc8.
4
���
<+ �!
&�
� B��
� E
��+ ��
o ����
� #��!
2 �;
A �!
E&�
��
;���
"D+
true
valu
e
��
� S
FD� 0
�1.
7-1 -4 �
�4�7�
E ��!�
4J�8
% T4���
�"
'��
J���
��O �;
!�� �!
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-7
5�/
4��� "
D+SI
q1��
�4 4�o
#��!
e o "
�� ���
F�� $�
E �
� ���
+ �!
�;
A �
�c�! "
�� �!��
!
PE
M
&��
� B��&
I �� �
!�+ �
� J��>
�1�
� �-
��%�I
� J
4� 7�+
4
��8.
69
��
B��&
I �+ &
1��
� ��*
�
� ��
&:
� E��
1 �;!�
�PE
M
�!��+
4
�!
&��
� B��
. #�
&� 4.
4
$�! �F
jI '
����
()(*
$�
! �FjI
'��
�� �
)e 4u BF
���
� ue =
0 (
�6��1
� ��
B=0
"
!�C 0�
1 J&�
��� "
��H
=H*
�
��<+
&��!
G �,!&2
� "
�&! �
$ J��
>�1� E
&� B
��&I
.
� J
�X� �
� �
Lim
iting
mod
el
\
�F+
best
mea
n-sq
uare
�1
���) E
$4 �!
Q*
"
��
#�&�
2 : "
��� +,
5)G "
H V,
��� �
�.����
��� ��
J
��>�1�
��! �
�8.
69
�1�>
��&:
� �
6��1
#�
&� 5.
+!��$�,!!�+���
��
�u
'��
��! �1
�>��
��
"
��1 E
��+
�
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-8
J���
) e�I
8.69
�
� �
�1�>
��.
#�
&� 6.
J�X�
'��-�������!����
������� �.���!������!������/�
�
�!�
( #
��OE
�
# 4�
4 4 "
��1 J
K�A�
��C�+ "
D+ '
����
PBR
S �!
� u(w
) ^ 1
all
w.
�
��.
��
�W��O
J&� �
�)�� �
G1 �
�!
�
#$��
B��&
I $� �
:����
��O
&�
2 � "
�&!
)Q
=1
B�%
�!H
*(q)
= 1
and
�u(w
) ==
1 .(
B-,�
�
,���4 '
�,���
4 J&
,� �
1���)
n��O
E��
1"
�e�! #
���1��
�) �
&! 4 �
��O #
���1��
�) �
��A
S�W;
+ �&�
: V
��1 �
� "��
�&�
� �
&1��H�
� #
�� �!
�A
$� J��>
�1� �
�� '
�� 4
&�-z
�� �
�F� �
� "�4
��� $�
e�! #
���1��
�) �
�;A
.
c (
#��
ARX
'��
�� ��
� J�I
AR
X
&��!
jW� E
��: J
&� 4
"
�� &!
����!
�6��1
. $�
��12 B
�% 8.
69
")��
E��+
� '
����
�� #
��!
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-9
1
$4 �!�
+ �1
���) n
��O
�1���
)Q
�� �
��.&:
�
�$ E
$4 e�!
#���
1���)
�! ��
"��
B-�
S!�;
� �
.
7-1-5
a"�
�� �
���0<
.IV
*�<M
� �)
f� E
�! 7
�j�� y
�) �! �
� ���
<+ &I
E��+
� 0
�1 p4�
�� �
�4
2 "�&
! �4
�A 4
# 4�4
.
*�
<M� �
���0<
.
� �
� E�
�1 �
��9�:
�
�
�����
#��
5�/
4��� "
D+ ��
D1
Uf N
�f
&�
� � B
��.
�.����
��� �
;�" �
��,� *
�<M�
'�
���
#��!
���
0
"��
>1� 0
�1 �!
���4 �
�&F�
� 0 (G
0)
��
� �
$ ���
<+.
���
�
u 4�
0
&���
! BF��
�)
$�! �F
jI(
�G
o �
G
� J
��>��
# 4�
4in
form
ativ
e
&��!
� u >
0
�
&��W1
�e�>
��� .
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-10
J&�
���
&�! E
�W1
����
#��!
" �
;�" ��
��
+���
�����
�&7��
)In
stru
men
t
����
�,
� �,
� �
U���
4 '��
�� ��
�
4 J&
� '��
�� ��
� n n
and
n m
6�
6��"�
�����
(���
�!
�$ E
��! �
7-2��
�<M� �
������
T4���
�"�
Ljun
g ch
apte
r 9
*�<M
� T4���
�" #�&�
��
&���
���+
J�X�
�� �
! d�/
�� E&
� ��
4� #�
�! .
�$ '
����
������O
4 20
t��1
�� "
)�� ���
� ��
��� �
�� ��!
���
4 ��&F
� "��
�&�
� � E
��1 B
-� �
���
4 ��&F
� �! "
W�1
� 0=[
0.3,
0.7
]’
"��
"
�� w�
;� �
��<+
q1��
�4 4 3
��! �j
r�� 4
�6�
� �
."
WD*
KW� 3
��! �
�� �
q
1�,��4
b�,?
A �
�6��
&� �
� �
"WD
* ���
��<+
. ��
������
� *�<M
� T4���
�" m���
4 +=$
%PEM
�
��'
� ���
��
����O
� #
��!N
�
"
�� J�
��1
� T
4����"
��4��
�
'�,�
�� 4
�,�
��� #
�,:��^
�� �,!
4 "
,�� �
W,��D
� B!��
(��
r+ 5�
�?! 4
54��
�� �:�
�����O
"��
���!
�4 .
P �
&:
� E
��1 ��
��
��� &�
� "���
� "��
���<
+ q1��
�4 ��
.4 �
$�,! �
W,��D
� E2 �
> �
!��� ��
��� E
����!
E����
c� ~;
�re
liabi
lity
"
��.
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-11
� �
� #
��! t
��1 �2
�� &
1�� �
��!
J���
N�
#��!
N �1
� ��
��W�8
� 0�1
4&D�
.�%�
�,� "
,1�� #
$�,�
��W,�
� E
��1
���8 #
�����
�� #
4� 4
&I q
1��j+ �!
W1�6
� t��
1 �� &
:10
%
#
��!N
`300
&�
��: �
W���
. �
��
>�: "
8�� 1
/,
&2
� "
�&!
7-2-1���
���� *
�<M� T
4����" �
7� :
Cram
er�Rao�Bound(CRB)
� V
GE7
A( �0
��<M�
(MLE)
maximum
�likelihood�estim
ator�
�
%���I
� %�>
z �!�
+PD
F
) �?+
�%�W1
(
��
����O �
� �! �!
� �
� �
����
1 �1�>
��.
�� �
"��
J��6
� .
�: #
�$� �!
yN
�&�
� �
� �
� �
� $ �
��<+
5�&:
��� �
-�� J
���I�
y *N
�,! \
�����
&:
��
likel
ihoo
d fu
nctio
n
"��
�&�
� � 5
�&:��
� #��!
���!�
�!y *N
� �F
��
�,� &1
�,� �
�<�1�
#�D1
�! �
!�+lik
elih
ood
�� '
�0���
�>
���<+
�� �
!m
axim
um li
kelih
ood
estim
ator
(MLE
)
&���
�
#�
&� 7.
J���1
�$�
+ �!�+
�! %�X�
�
&���
y�)
y(i),
i =
1, ..
.• N
.
�&�
+N
�! BF
���
) �?+
��^��
J
�,�6�
��>
1�,�� �
! J���
1 �
0
q1�,
��4 4
7�j��
�i &�
��!
join
t PD
F
&���
)
�W��
D� �!
"��
� ��
jPD
F
���
<+ &�
� '�0
��� ��
� &2
� "
�&!
�!
�6��
��
��
� ��
��>
1���
�� .
�>���
<+ (
#���
��>
1��� �j
r�� M
���
"D+
qO
MLE
"
��
B( ���
'<4 V
��PD
F
��4��
� 6!�)
�� #
���4 +
�
) �
?+ ��
^�� &�
�� y
�){y
(i)}
4
BF��
�id
entic
ally
dis
trib
uted
$�
~� ��@
��
) �?+
��^��
W1�6
� "%�I
� "
��12
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-12
q1��
��� q
�+��
4 ��*
��>
1��� �!
J���1
�$�
+ �!�+
M-1
��
4
��o
Y
��'��
���
C( *
�<M� T
4����'7
� :Rao�Inequality
�Cram
er
q�+
�� �! �
� ���
<+ "
����
mea
n-sq
uare
err
or
�� E
��! E��
+ �
��&
F� U�
�A �>
���<+
( �
P
"��
(z�
� .
��&F�
�� �
� "��
��
�� w
�;� "
�� �-
�� ��
%���
P (
, #�
�!"
�� �&
Fz 3
��! E
4&! �
>���
<+ .
� �� �
�$
#4��
� �1
Cra
mer
-Rao
&�
� � l
<��
��
7.8
0 �:
������O
�&�
+ ���
d q
�+��
&��!
M q
�+��
d*d
7�
1 �! �
� "��
Fish
er in
form
atio
n m
atrix
�
� �
�&1��A
.�
^�'
� �'�
'� (�
'=�
0 "
PD
F
6��
4 ?'5
� ^J �
��,� (
�'G�
�� ��X
�� ��
�� �'
�" ^
J +�
�S� ^
�D��
. D(
CRB
�
����
�<��
��0!
�
�W��
D�M
M��
� "
D+
��
� J
�W1 �1
�>��
. �
f e 4
7�j��
� "
��1 E
���! �+
&���
: BF��
� �:
�;
!�� �
� �
�� �
E��
1 E��+
� �
W��D
� h&1�
�!M
�! "��
�!��!
J
�IC
R 3
��! E
4&! �
� ���
<+ �:
#��!
�� &
��
�
�: #
��! ���
�� �
�N
"��
~�D*
���
<+ p
4� �:
4.
��;"
0e T
4����" �
� �'
F0�
����
�! "
�� �!��
! �;!�
�
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-13
7-2-2 a
"� ���
���� T
4����" �
�!�4J
PEM
�Theorem�9.1.�
� �!
������O
���
<+Q
uadr
atic
PEM
�
�! (
!&�) '
����
)$�!
� (
�&�
� � M
���
�!S1
;
�! �6
��
q
1���4 �
! J���
1 �$�
+ �!�+
#���
W1�6
� ��;
! ���
<+ #
�;A
��
P � "
��
#�$�
�! ��
�<+ q
1�����
N �! "
���!��!
+�
�S�
/'S4
�P
�!
����
V’=
0
E �
� ;A
�! &2
� "
�&!
V’
J
�I�*
&2
� "�&
!.
�
��<+
q1��
�4 �W�
�D� �
!Q
&2
� "�&
! �$
�
���
8 #���
%�I #
��! t
��1 �
� ��
��
� � �
E��
1
",�
� R �,
* 0,�
1 �,�
�+ .
#��,
! t�,
�1 ��
,�9�:
�(�,�)
�-1� �
! v4��
�
"�� R
�* 0�
1 &��!
�:��^
�� �!
"W�1
����:
)��
�$�&1
� �!
�
!� (
j���
� ��
T4���
�"M
�S�
"Quadratic�Criterion
���
���
e o(t)
) �?+
��^��
N(0
,�0)
�! "
�� �!��
! ���
<+ q
1���4 "
��12 &
��!
ˆ
dd
dd
y�
��
���
� �;
!�� E�
�: �;
!�� �
�C
ram
er R
ao
#��!
�� "
���=
log(
f e)
&�2 "
�&!
. �,
z �,:
&:
� E��
1 �;!�
�� 4�
�,! �
� �
� $ �
��<+
���!�
�����O
E2 &
���! �
����
I #�
�����O
.
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-14
� 3
��� �
!N
��
� �W
��D�
�1�>
�� K�
8 q1��
�4 # 4�
4 #��
#�
&� 8.
������0���+!1��������!2�,�����������
� ��
�$ '
����
u q
1���4 �
! &���
0�1
μ 4e q
1���4 �
! &���
0�1
�o.
J
��6�
�����
�O ��
� y
�)a
&��!
�
�! V�O
J&� 4
��
��� 4
PEM
��
� 2
&��!
.'�
��1
� M
!�4� �!
���+�
! J�I
'��
�6��1
� ��
�W
��D�
#��!
Ry(0
)
�&�!�
9.20
E
���! ��
2 &�
�� ��
�I ��
12 /�
� &�
�� �&1�
��
9.
20
� ��
y(t-1
)
4 ��
/E(
.)
&���
���I
��
�6
��1�
�
#�
&� 9.
+!1��������!2����%�34�5��������
������0���
� '
����
True
&�
�� 0
�1 �! �
$e
q1��
�4 41
&��>
! �G1
� ��
. J
��6�
�����
�O ���
<+ q
1���4
c &�
42 "
�&! ��
��! V
�O J&
� &���
y�)
&�
�! �&�
��)��
�G1 �
. �!
"W�
1 �;!�
� S��
�c
�
&:
)
�=-d
�/dc
( (
)(
1)(
1)(
1)(
)(
1)(
1)(
1)dy
tdy
ty
tc
yt
tc
ty
ty
tdc
dc�
��
�
�
��
�
��
�
��
��
�
At c
= c
o, w
e ha
ve
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-15
11
01
11
10
00
00
11
10
00
1(
)(1
)(
),(
)(
),(
)(
)(
)1
11
cq
qc
qc
yt
cq
et
yt
yt
ty
te
tc
qc
qc
q�
��
��
��
��
�
�
�
��
�
�
If
is th
e PE
M e
stim
ate
of c
, we
have
, acc
ordi
ng to
(9.1
7),
2 00
00
20
0
(0)
(0)
2(1
)1
1(
)(
1)(
1)(0
)(1
)(0
)0
1R
cR
cR
tc
te
tR
Rc
Rc
��
��
��
��
�
��
��
��
�
�
#�
&� 10.
J�X�
J
��6�
�����
�O 4 �
! �$
'���
�� 4� ��
&�42
"�&
! �� �
��<+
q1��
�4 ��)�
� �G1
� �
,
��
�a�
c
"��1
2P �
�
) q
�+��
(1�
1 �
� �
( '
����
�� "
�� �
�� E2
�! �
�O
verp
aram
eter
ized
"
�� .
4 \
;� "
%�I �
� �
"��
J&�
4 &�
�� �
X�I
� �>&
�: '
����
��*
y(t)=
e(t)
��
&1 e�
*� %
��6�
�����
�O �� "
��
� ( �
��
� �
�� �
G��
Go+ �
��� V
,��� �
������
G "G�and
� +I
�����
�'7 ��
���
"%�I
�� �
G
0
J&�
%4
��
��4 J
&� �
H
%4 "
�� �&
�1 ��
)�� �G
1 � ��
�0%�H 4
G &,
1��&1 h
���� �
�����O
.�>z
�!�+
"%�I
�� �
%
#�:�
�����O
G
$� &�+�
�W8 $�
�1 ���
#�:�
�^�� 4
&���
: BF��
� W1�6
� ��;
!:
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-16
H (q
, �*)
is th
e lim
iting
noi
se m
odel
, Ho(q
) the
true
one
#�
&� 11.
������0�&�+!1��������!2�#��������!����������
��
"
�� '
�:��A
���
�+ �
� �!
�
�$ �
;!�� �
!��+ �W
��D�
J�I
f=a 0
&2
� "
�&!
Th
e sp
ectra
are
"
�� '
�:��A
>�
�W�:
�!��+
�W��
D� �!
�;
!�� �!
�6��
�� �
� �
�$
7-2-3T
4�7�E
^���
� �� *
�<M� T
4����" V
�5S�
���
4��� T
4����"
: +�
�� ��
�� h�
�� +,5)
2 h�M
�S��
��
� ����
�� �
! q1��
�) E�&
�� �
1��$
�;!��
UJ���
��O $�
� ����
� �!
.T
= [G
H]
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-17
7-2-4 T
4����"
����
,�V�
���
���
����
n��
B
&W+ �
!��+ #
��! q
1���4
"��
���F�
� $� J
&�
E
2 � �
�P �
4 W
1�6� J
���1 �
$�+ �
!�+ q
1���4
1/N
P�
"
�� ��
�<+ q
1�����
q�+
��
J&�
���
��)��
�G1 �
�!n�
(Asy
mpt
otic
Bla
ck-B
ox T
heor
y)
q1��
����! "
�� �!��
! �+ �
��
W�F+
�
n 4
J&� �
��
N "
���
J�c
. V
�0)� �
!n
q1��
��� \
�F+
�
� �
���!
. �,
�� #
��,! �
,6��1
��
n W
1�,6�
&1��
� J
&� B
F��� 5
4����
#���
1���)
� ��
�<+ �
� "��
�;�
�� �&
F12 J
&� ��
"��
. de
coup
led
�
�� $�
! �FjI
"%�I
� � u
e = 0
&2
� �
5��?
�� �!
�;!��
"��
.
��4
�Ih
���� �
�����O
&�
��! �
���
�/
�� �
� �$
J�X�
&:
� E��
1 �� d
. #�
&�
12.
W�F+
J���)
�6��1
���F
�9,6
2
'���
� &�
z #�
�! �
��4 �W
��D�
�!�
���
���4
'��
��2
q1��
�4 �! &
��� 0
�1 4
# 4�4
�!1
�����
J&�
4
���
�!n6
2
��
��
� J&
� �! �
�c �
��<+
n "
�� .
'��
��� 4
���
<+ q
1�����
�W��
D� #
��!
a"�
1 : $�
� ����
�9,5
9
�W��D
� 4
#
��!n`
2
�� #
��! �6
��1n=
2
S��
#��!
4N
"��
�&�9
�O E2
�W��
D� ��
W%� 4 "
�� W
1�6�
a
"�2:
$� � �
����
9,63
#
��! ��
n '
: "
�� W
1�6�
) #
��! �
�n�
(
��
Lim
it
"��
�&�
�W��D
�.
��
&�:
� E
��1 ��
j-�P L
V�0
)� �! �
+ � ��
5�W�
�D� �
!n
$� !
�A \
�F+
P n �
�_���
�� �
&�9�
O �W�
�D� �
�&:
. j-�
� &1�
�&�
� � E
��1 &
��� 0
�1 #
4�4 4
������O
d�1 &
�z �!
R�) '
����
#��!
���<
+ �1
���) q
1�����
��.
� P n
]�;�
k��,
� ��
j% �
�
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-18
�4 q
1�����
W�F+
1/
nPn
"
%�I �
n=2
#
��! 4 h
$�1 MA
�!n=
10
��z
�;F1
�!&1�
�&�
'��
. .
�
��4
�I
n &
1�����
1 4 "
��1 �
�0!P L
�,��^+
��,D
1 $�
�,��
q,I
&,:
E�,�
1 ",�
� ��
,���4 q
1�,���
� &:
� �j�<
� #���
1���)
� q
1�����
.
7�2�5TH
E�CORR
ELATION�APPRO
ACH�
"��
�$ q
1�����
�! J�
��1 �
$�+ �
!�+ 0�1
"%�I
�� �
,
f
fd
Ldt�
��
��
��
. T
4����"
6!�)
�� ��
����� *
�<M�
L=1
hM
�S#'
) ho�
�� ��)o�
N(0,
�
#�
&�
13.������0�.�+!1��������!2�5���$!��������"�����!����������
�
�
�! V�O
J&� &
��� y
�)
�
��<+
&���
y�)
c �!IV
"��
�&�
�W��
D�
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-19
~
here
at
c=c
0 we
have
H
ence
so, a
ccor
ding
to (9
.78)
,
�!
�� �6�
�1 $�
B*�I
�6��1
PEM
��
&���
���F
�|c 0
|<1
�
��
a"�
IV "G�
Go�
�� ���
+,5)
h) 0�
N(0,
� 0e�
E2 �
��
#�&�
14.
������0�7�+!1��������!2����89���������
�
�!
���<
+IV
"��4
�����
4
�
�)�� �
G1 �
�!L=
1
�6
��1 �
������O
���
<+ 4
��! V
�O #�
;A q
1���4
7-20
4
0
*0
*
11
nn
aa
aa
��
*1
()
()*
()
()
()
2j
jjn
yhRn
yt
ht
nY
eH
ee
d�
��
�
��
��
��
�
8-1 8
���
+��B
� ��B<
���'0
!� ����
�S�
��B�
"��
Lj
ung
chap
ter 1
0
+�W��
D� E
��&1��
�! #���
4� �6
�� �
IV, L
S 4
subs
pace
&1�
� �
uD!
&1��
���! n
��O �
� .
#���
4� ���
/���
-+$�!
&1�
� �
w��
�0>
�� #
���4�
4 ��
��� �>
��
�� �
.
8 -1Batch�solution:�
: #
���4 +
5l�� V
)AX=b
� B
ILS 4
IV �!
�6��
J���
1 J���
)no
rmal
equ
atio
n
��
� �
$
E2 �
��
q
�+��
�;!��
�� �
R �
� �
�0! �
�!� �
�4 �*
�?A
ill c
ondi
tione
d .
�jr�
� �� B
I #�
�!3
��
��4 p
4�
a
"�1 :
T���
�� W
'D�
+��
S�R
�� ��
O �
��>
�� 5
�W��D
�
a"�
2: Cholesky�factorization
�
�;!��
��)�c
�&�!�
�� �
�� �
5��*
�$ �
D1 �!
�� "
��A
’
��
�
c �$
#���
�� q
i� �
� �
��/
A’A
x=A
’b�
Cx=
A’b�
LL’x
=A’b�
Lz=d�
L’x=
z
8-2
#��!
p4�
��
BI
(A is
m
n a
nd le
ft-in
verti
ble)
5
��?! �
�A
x=b
�
����
1 �
� 4
A "
�� � �
���� B
!�� 0�1
"��
1 �!�
�.
a
"�3 :
QR�factorization
BI
#��!
n
��O
LS 5
��?!
Rx=
f
�!��
�A
x=b
q
�+��
A(m
*n)
A
x=b�
A’A
x=A
’b�
R’Q
’QR
x=R
’Q’b�
R’R
x=R
’Q’b�
Rx=
Q’b
8-3
�B� 6
���
a"�
*��
1(
�� �6
12 $�
�
LS ��
&F�
R
(N)=
R’R
"
��co
nditi
onin
g nu
mbe
r
q�+
��R )
�! �
����0!
��!
"W�
1E2
��4
��&F�
���-
z��
( �H
�co
nditi
onin
g nu
mbe
r
q�+
��R
(N)
+�W��
D� "
����
I �G
1 $� 4
"��
"��
���!
2(
q�+
��R
��
� B
I �+
� ��
E��0�
: 5e
��� 4
"��
XjX�
. �
>%� &�
1�� �
� �
�4 J
���1 �
!�+ �W
��D�
#��!
0�1 �>
���
���
Levi
nson
��
�A��
4La
ttice
�
p4�
QR
#
��� be
tter n
umer
ical
pro
perti
es
"��
�����
-�
%�z p
4� %
4 "��
+�
�S�
R +�
!"� j�
��� V
D2� "
#
��1��%
� �W�
�D� J
���)
R "
�� ���
F��$�
� �F
� �! �
W��D
� �� �
t<
0
��
��4 B
I ���
4 E
2 #��!
�� "
�� $��
1 0�1
3(
#�6
! �-�
� -
t=1
$�t=
n+1
p
4� �
� �! �
� ��
d4��
�W��
D� #
��!co
varia
nce
met
hod
&�
��
� .
��
"��
��Wc
p4�
(
. 4(
#��!
� �F�
�� "
�� �
� �>
BI
���t-i
<0
E2 �
! ��
�� ��
)�� �G
1 � �
�*co
rrel
atio
n
&���
� &
�� .
�� �!
��*
�! ��
J�c
5��*
�� �
N
+n
&!�
� p���
� .
��$
��
+�W��
D� "
0� p
4� �
�
This
mak
es R
(N) a
blo
ck T
oepl
itz m
atrix
, #
��!N6
n
"��
y��8
� B!��
54��+
8 -2 �
�B�"�
���D��
���
V)
V’=0
�8
% ��X
4
;A
E���
���
��� $�
��o �
IV �!
�����
BI
U4 E
��+ 7�
�1U
E ��
1 B��&
I
�!�+
�
� "��
#��&F
� #�6
���
&��! "
WX� 74
S��
� 4 ��
* J4
� S��
� .
��
�
jr�� (
no
nlin
ear
optim
izat
ion
�! ��
"��
sear
ch
��
� �
���+ �
$
��
�>0
4f(
i)
"��
6���
"��
.
8-4
a"�
1 : k
��gradient
��
� �+ �
�j�+ M
�! U7
�����
� �W�
�D� #
��!1
"��
1 E��+
� ��
(
*)
(*)
VV
V ��
���
��
�
�
��V�
�
4 "
�� \
��f=
-V� �
&2
� "
�&!
a
"�2 :
*�'�4
��
� �+ �
�j�+ �!
�!�+
"��
�-��
�!��
� ��;
!2
��
� � M
�!
1 2(
*)
(*)
'V
VV
V�
��
��
��
��
��
�
���
�
&:
� �� �
$ #�6
���
"��
��
7�
1 �! p
4� ��
��
�W��D
� W�
F+ 74
S��
� "��
�-��
��
�
� �
�&1��A
. '
6I ��
�4� �
� � B
-��
�! v
�!��
+�W��
D�V
N
E2 S
��� 4
V’ N
"
��.
8 -2-1 ?�
'4 �� �
���D��
�� ��B�
"� +�
��2
Quadratic
:Nonlinear�LS
� p
4� �
� � V
���
�!�+
2 "
��
5
��?! �
��<+
4���
-+$�!
"
��
�=
d�/d�
��μ �+
"��
�6��
� 7��
J�c
��
a"�
1 :descent�m
ethod
�or�steepest
gradient�
�
7�
�����
( 0
1 ��
�4�
effic
ient
"
��1
a
"� 2 :
*�'�4
a
"�3 :
Raphson�
�Gauss,�New
ton
�New
ton
:� #
����+
���+
�W��
D��’
��0:
�O ��
��!
+�W��
D� �G
1 $�
"
��
J�I
W�
F+ J�
��) E
2 #��!
%4
� 0 y
�) ��
� �
��(
t, � 0
)=e o
(t)
74 �
j�� ��
"��
1 E��+
�10
.43
"
�� '�
:��A 4
��*
8-5
"
%�I #
��! 7�1
��
μ=1
"
��
#��!
4μ
�%�<
�1 $�
dam
ped
Gau
ss-N
ewto
n
���F
�� /�
�g��
. �
���
E��
�1
�=e
�� |
�D%
��
74
7�+
$� ���
<+10
.43
�
� ��
)�� �G
1 � &
�! 0�1
regularization
��
W�
F+ J�
��)V
’’
����
q�+
�� �!
( 0
1 "��
�-��
%4
"��
�HO 3
�-��
�� �
� �
� �
E��1
�H% &
��!
p4�
$� +
�W��D
� B-�
� $� 0
�:�O #
��!re
gula
riza
tion
�
� �
� ���
��
7�+
4�I
��
� �
)�/� E
2 �!
.Le
venb
erg-
Mar
quar
dt p
roce
dure
V
�0)�
� "
�� �!�
+ E�
��� �!
�6��
� �!
"���
4 7��
J�c
V:��
���
�!
Correlation�Equation
: a
"�IV�
�jr�
� BI
#��!
��-��-
+IV
"��
� ����
� B!��
0�1
� +
��S
��
�8% #
�� ��
J
&� #
��!A
RM
AX
�W
��D�
� "
�� ���
F�� $�
��
����
� �
� � �=
-d�/
d�=-
d�/d�
'�
��1
� �H
% "��
&:
� �
6��1 �
�
= -q
-k y(
t) - q
-k u(
t) -q
-k (y
(t)-�
(t))
�>
5��W8
�! �
�=1
/c �
�&
� ��j
�) �
�� �!
���
"��
+�
�S�
� ��
�8% �
�X #�
�
$�
W?8 �
-W�
&�1��
;A
��o J
&� �
Bac
k-Pr
opag
atio
n (B
P)
�� �
� �
� ���
�� E�
���
�W�
�D� #
��! �
� �
� ���
�� 7�1
�� 0
�1 '�
��>%�
B� #
��! e�
���
.;
A ��o
J&�
#��!
E
� ���
��
� �W
��D�
�1�>
��.
8-6
��
�!
"W�
1 S��
� $�
��1
� �!
"W�
1 S��
� �W�
�D� �
� &
6��
��
� �
�����
0�1.
8 -2-2 �
�B�"�
TWO�STAGE�AND�MULTISTAGE�
a
"� *�
�0���
���D��
��
#���
4����
-+$�!
&
���: �
�O #�
��4�
&1&�
uD!
�� ��
��.�
� ����
itera
tion
��
��A�'
4�
#��!
�0>
�� #
���4�
"��
�&�
����
�O �
��8
;A '
����
. &�
z � 4
#��
�! '
���>
%� ��
LS &1�
� �
B&W
+
a
"�1 :
Bootstrap�Methods
�;!��
BI #
��!�$
� ��
IV �! [�
(t,�)
,�(t,
�)=�]
p
4� U
PLR
�![�
(t,�)
= �(
t, �)
]
#$��
B��&
I 4
quad
ratic
�![�
(t,�)
=� (t
, �)
]
��
�!���
. �
���
�! J
��8� 4
LS &2
� "
�&! #
&�! �
��<+
�;!��
�!
�
���1
��>�:
���0%�
'��
�>%� �
�
a"�
2 : Bilinear�Parametrizations
y
�)���
���O &
���
�={�
, �}
�
���
�>1 "
!�C �! �
� &��
! �:
&��
! ;A
#�>
�!
"W�
1 �jr�
� (
.J�
I �
� � #$
�� B
��&I
#��!
��Wc
���
4
BI
LS "
�� �$
a
"�3 :
Separable�Least�Squares
�!
"W�
1 J&�
���
� �!
"W�
1 4
;A�
&��!
;A ��
o
8-7
#
$�� B
��&I
(
�!�
�&�
� �
�! �6
��
���<
+
LS ��
����O
� �
� �
.
�
��<+
3��
� �!
� &
6� �
��<+
U� �!
LS �
� �
B*�
I
=
5
�W��D
� '��
�>%� �
�w
ell c
ondi
tione
d
$� ��
�! ���0
%� E2
��>�
: "8��
%4
��
dam
ped
gaus
s ne
wto
n
"��
1 a
"�4 :
Order�AR(X)�Models
�High
� '
����
��
��� #
��!�$
J
&�A
RX
�
�1
;A ��
o �jr�
� �+
��
� � $
���<
+ 4 �&
� ��)
�� �G
1 �
���4 J
&� #
�6! �
$
�!
E��+
�A
RX
��
� M
':
��4M
#��
�&�
+ ': 4
N 4
�! "
����!
"��
�!N6
M
J&
� �� �
�%4� '
����
��
.�6
��1 �
�
This
mea
ns th
at a
hig
h-or
der
AR
X m
odel
is c
apab
le o
f ap
prox
imat
ing
any
linea
r sy
stem
ar
bitr
arily
wel
l.
� �
� �
7�&�
� �$
#���
4� $�
- �!
���
V:��
#��!
���<
+ $� &
�!
p4�
1 : h
���� #
�:&� @
HI
"A�
� #�
�!G
=B/A
p
4�2 :
#���
4� J�
�8�
�&
� ��
A���
orde
r red
uctio
n
p4�
3 : '
����
(�D
+ �! u
�4
�A &�
%�+ 4
.z J
&� J
��8� q
i�A
RX
�!
���
O ���
u 4z .
���
'
����
J&�
�&1��
���!
���
<+ #
��! �$
J&�
$� &�
�!A
,B 4
C �
� � �
����
8-8
E�z
4 u
�����
&���
: 7�j�
�LS
"��
# 4�4
4 �!
'���
� #�
�!.
p4�
4 : p
4�su
bspa
ce
�� �
����
� E��+
� �
�G��
�� #
��! 0�1
��.
a"�
5 : Separating�Dynam
ics�and�Noise�Models
p
4� �!
���8
;A '
����
� IV
E��+
�
A UB 4F
&2 "
�&! J
K�A�
���<
+ �+ $
���
<+ ��
�! E��
+ � q
i� ��
���<
+ ��
LS �
��<+
#��!
74 C 4
D J
&� $�
AR
MA
"
)�� ��
-!
8 -2-3
?'<��
�� 6
�H"
V’ +�
!"� j�
��� "
�8% �
�B!��
��
;A
��o #
$�� ��
��! #
�����
�>%�
B-��
&1�
� ��
jD�
B��&
I .
$�! #�
����
�>%� �
����
B��&
I �!
E&��
� #��!
���-+
�
� ��
<�1� &
�! \
����
��%4� �
�&F�
. #
�����
�� �
SISO
�
�� ?'
<����
�
� J&
�
(B =
= 0,
D =
= F
== 1
)AR
MA
"��
����
7���
���
Ay=
Ce
�
J&�
� A
RA
RX
(C =
F =
1)
5
��?��
��o �
��&1
��4
jD
� 7��
���� &
��! �
�0! 0
�1 �!
J��>
�� ��
�"
�� &:
��A �
�4.
A
y=B
u+1/
De
�
���
A=1
4nf
=1
��&1
��4
jD
� 7��
���� &
��!
y
=Bu+
C/D
e
� �
��A
=C=D
=1
# 4�
4 4 &
��!
u ��
&1 �
�4
jD� 7
�����
� &��
! &���
0�1
.7�
�����
�>
#��
4�4 #
��!&�
�! ���
� �
�4 &1
��+
� jD
�
y=B
/F e
1+e
�
#��!
AR
MA
X(F
==
D =
= 1)
,
"��
1 ��4
� d�/
�� .
��
� "
)� ��
�� B
��&I
j�8
����
\jo�
� %
4.
� #
��!PL
R
J&�
�!A
RM
AX
��
� E
��1 E
��+
�
Ay=
B u
+C e
�
�! #
�O
E
"��
1 J��
�� ��o
����
#��
�!
jD� B
��&I
�! E&
���
y=
B/F
u+e
Initial�Param
eter�Values
��
�� E
2 p$��
\��
�� ��%
4� ��&
F� ��
)� #�
�! p
K+ .
��%4�
� �F�
��)�
#��!
E2 0�
%�12 �
� �
�4
/��
J&� �
��"
�� �
�Wc \
����
.
;A J
&� #
��!bl
ack
box
O�
E��+
� �
�� &�z
")��
V�
�
$� � �
����
IV ��
%4� �
�F� �
��<+
#��!
B/(A
F)
� �
��<+
v? &�
1��10
.74
�
� ���
<+C
4
D &�
1��10
.76
8-9 .
��%4�
��&F�
�! �4K
8�
��%4�
��&F�
� "
�� $��
1 0�1
"
�� �&
� ��
���O
�$ #
���4�
��
��(
0, �
) = 0
�
��<
�1� �
(0, �
)
�-�D
1 �!
�(t|�)
, t =
1, .
.. , d
im �
�� F �
y(t)
�
�.
� J
��8�
�(0,
�)=�
��
�� �
E2 �
��<+
4����
��O E
����!
� �
� ���
<+ba
ck fo
reca
st
�(0,
�)
5
��?! \
����
��j�)
J��8
� �! ��
#4
� $�
back
war
ds
8�3
Subspace�State�Space�System�Identification�(4SID�Methods)� &�
�>! �
G1 �
�� �$
'���
�
�
�&�!�
C 4A
���
<+ q
i� 4
��
� �
$ ���
<+B 4
D �
�� �
7�6
1� .
'���
�
�����
E�-�
� p4�
��
MIM
O
�4
�A 4
# 4�4
3��
� �!
) #
��� �$
�&1� E
4&!
Stat
e (
�42
� ':��
) ��.
�
�W��
D����
-+$�!
# "
��1
4 ��
&1 ��
jD� B
��&I
4 ��
>�: B
-��
�
��
� �
$ ���
<+
j� 7�
) � "
%�I #
�])
�
'6I
M��
�� �!
���F
� �
+�W��
D�PE
M .
$� 5�
W��D
� �
QR
4SV
D
&��
� � ��
���
. *
�<M�
C "� A� "
��1 E
��+
� �� �
$ M!�4�
"%�I
#�]
) #� �
� ��
'��
�� �!
�/ n
� �H
a
��
� �:
�}&2
� "
�&! �
1�>��
.
�;
!�� �
� �
� Y
a
q�+
��O
utpu
t blo
ck H
anke
l mat
rix
#��!
�!���
��;!
�� "
��U
a 4
Na
�
� �
��A�
� 0�1
. �
X St
ate
Sequ
ence
Mat
rix 4
� Ex
tend
ed O
bser
vabi
lity
Mat
rix
��
>n � '
����
���
4 ���
�
� �
��)�
� �G1
� 4
N �&
�+"
���
. &�
�! 7�j�
� ���
���
�=n
5
��?��
��o �
� "
�� ��
� E��
�
�H
a
�!�/
n��
O XjX
� q�+
��&�
�! � J
��6�
�� "
��
8-10
��'4 ^
"�� �
���
"
�� ���
� �� $
� �;!�
� &��
! 0�1
E4&
! '��
�� � �
.
�
-�_�6
12 $
U #
4�4
�+��
"��
7�j��
&
�����
q
��
� ��
/ E�
� �;
!�� 4
&�%�+
E2
�+
&2 "
�&!
. N
z "
�� q
�+��
m*n
�!
p4�
Sing
ular
val
ue d
ecom
posi
tion
(SV
D
�06+
� �
q�+
�� �6
��1 U
(U’U
=1)
m
*m U
q�+
��m
*n
#�;
� S
���
��o �
�F� �
!
q�+
�� 4
V (V
’V=1
)n*
n&�
2 �
"�&
! U .
q�+
�� (
1�
"��
'���
� ��
� ��
�<+
. ��
� ���
�� �
! $�
� �!n
q�+
�� ��
� ��
&!�
� J0�+
"�
.
ran
k re
duct
ion
(mod
el o
rder
est
imat
ion)
)�c $
�<+
�� �
$� �W�
���� �
� '��
��
���
<+ E
2 J4�
� �
C �!
��� �
��F!
$� 4 4
LS �
��<+
A �
"�&
!&.
"��
� ��� �
� $� q
�+��
�06+
�1��
1M
=USV
’
and�D
�Estimating�B
J
� IB 4
D �!LS
4 �$
�;!��
��)��
�G1 �
�! 4
���<
+
���
�
C 4 A
&2
� "�&
!.
7�
) �! �
;!�� �
O
E
>1�
0�1
���
�I 4
"��
�
��<+
&��
! $�! �
FjI '
����
%4
cons
iste
nt
&:&�
� .
\��
�� ��
�<+ �
;!��
LS "
�� �1�
>��
��
 4�
� �F
�Tr
ue
&��
�!B 4
D ��
&F� �
!Tr
ue
��
� 4 &
�����
#
�����
<+co
nsis
tent
#�:�
�����O
ÂN
4�
N
��
� ����
�B?
N 4
D?N
�!
True
&�
���.
���'4
6!�)
U#
0�1 "
%�I �
��
@HI
&�! 0
�1 7
�+ .
q�+
�� 0�
1 @HI
#��!
Han
kel
"
��� 4
�!
�� �
4�A 4
# 4�4
&���
'��F
+ �&�
2 4 ��
�H�
)#�
���A�
(
8-11
J&�
J� I
J��>
��"
�� ���
F�� $�
�&�2
7�
+ BW�
"%�I
�!��
� 7��
��%4�
� u
��
� @
HI
0
�1 �-
�� y
�) �
N #
4�4 4
U �
-�� 4
���W
�: ��
oU
f 4
Yp
�&
���: �
��W�
: ��o
0�1
U
p 4
Yp
�
�A #
�:&&1
��IV
&1 ��
�
�
�/ �!
J�I
P �C
� �&�2
J&�
�
��
� @
HI
�! N
z "
�� q
�+��
J�I
SVD
4
'���
� ��
� ��
�<+ �+
��
� �
06+
� &2
"�&
!.
A
ny c
hoic
e of
pos
itive
-def
inite
wei
ghtin
g m
atric
es W
r an
d W
c w
ill r
esul
t in
con
sist
ent
estim
ates
of t
he e
xten
ded
obse
rvab
ility
mat
rix.
#��!
+4��
�� 5�
����
�O ���
���>
%
#���
�+��
posi
tive
defin
ite
Wr
4 W
c
�� &
�:
� #
0�1 "
%�I �
�C� "
���� �
! #� �
GIK�
B! ��
&1��
���<
+
• MO
ESP
(Ver
haeg
en, 1
994)
:
8-12
• CV
A (L
arim
ore,
199
0):
• N
4SID
(Van
Ove
rsch
ee a
nd d
e M
oor,
1994
):
8 -4RECURSIVE�ESTIMATION�METHODS
�Lj
ung
chap
ter 1
1 ��
4�� �
� 7�
�+ ��!
�: #
���-+
#���
4 � �
� &�+4
���� �
G1 �
� $� #
���-+
#���
4� �!
���$�
! #���
4����
� � ��
� �
�� �
����
&&�
p$�
�O ��
� ��
��A
2 ���+
��
�$�! #
���4�
� %
4 ��>
�� .
���
<+ $�
� ���
�� #�
��0�
"��
���F�
� $�
���$ �
�
�ˆ(t)
$�
� ��
�W�!
�ˆ(t
1)
&2
� "
�&!
�
"��
$��1 ��
�4� �
� �! "
�� E�
�$ �!
���!�4
'���
� ��
�:
�!���
� .
F)4
J���
� BX�
adap
tive
cont
rol
,
F)4 J
��>��
p$�
�Oad
aptiv
e si
gnal
pro
cess
ing
F)4
��! V
�O 4
adap
tive
pred
ictio
n
�
��
� #
��&�>
1 # 4&
D� ��&
F� MF
) "��
1 �:��
7��+
���A
m �! #
$��1
�
��>%�
� #
����
real
-tim
e
��
� J
��8�
� ��
�! 4
"��
$��1
���
� B
_��� �
fa
ult d
etec
tion
&�
� � �
;A 7K
8� 4 �
�� ��
5����
^+ ��
��
�!���
�
�����
�>%� �
� :
\���
#
���4�
#��!
off l
ine
4
&���
: 0�1
&�:
� �
�� � ��
��
��� �
��9�:
"
� �!
���<
+ �+&�
�! )
��
�
&�1��
#�>
#���
�1 ���
4� �
� #��!
on-li
ne U
real
-tim
e U
adap
tive
�se
quen
tial
"
�� �&
� � �
���� 0
�1
8-13
#�&
1.J�
X� :
"��
1 ��
�$�! 7
�) �!
�� #���
M��
�� E��
+ �
� ��
�!
�
6
�'4 ^
�'� �
� ��2
F��� a
"� +�
�� ���B
��<M�
+Q
���
<+ #
��%���
) �� �
E���
��1 ��
��
�$�! 7
�) �!
&��! �
$ ���
A��
�! �-12
�>� "
��1
�;
!�� "
��� @
�c �
x �
��A�
+ &I��
-x(
t-1)
��
��
4 .
5��?
�� �
� �� 4μ
&���
: ����
��O 4
��
�� c'%
��2
F��� a
"� I
�
��
��
��>�
:
� �
��<+
cons
iste
nt
�E�
�$ �!
���!
�4 ����
��O E
�� J
�W1 �
�A
go
od tr
acki
ng
� '
6IJ�
F�� 5
�W��D
�
�� �
�
�! �;
!�� �
conv
erge
nce
vs tr
acki
ng 4
com
puta
tiona
l com
plex
ity v
s ac
cura
cy
��4
B!�F
+ ��
� B
���
;A E
�����
� �! v
�!�� '
���>
%�R
LS 4
RIV
"
��
�
;A ��
o E���
��� �
! v�!�
� '��
�>%�
RPL
R
;A
��o �
jr�� �
! v��
� 4R
PEM
&�
��:
8 -4-1TH
E�RECURSIVE�LS�ALGORITH
M�(RLS)
'
���>
%W
eigh
ted
LS(W
LS)
��
� B
&W+
���$�
! �4
� �! �
$ 5�
�* �
.
���$�
! �W�
�D�
R 4f "
�� ���
F�� $�
.
8-14
Now
(��
�S� b
.�71� R� 5�W�
�D� V
:�� #
��!
��
� �
�����
�$ �&
8�� $�
Taki
ng A
= �
(t)R(
t -1)
, B =
DT =
�(t)
, and
C =
1 g
ives
M
oreo
ver,
we
have
"
��1 �
��R
LS
��
� �%
���) �
1�>��
.
�
e(t)=
y-�’
�
"��
��! V
�O #�
;A
��(
t)=�
�����
) \�/
7�1 �
! fo
rget
ting
fact
or
��
� �&
1��A.
��?(
0)
"��
��%4� �
��<+
.e�
���
��
* �
� �
��)��
�G1 �
�P(
0)
"��
������O
��%4�
���<
+ #��!
q1��
��� q
�+��
.e�
���
P(0
)=�
I
�� "
���
�� "
�� �
� ���
�! �
�! ��
&1 ��
)��
"�
��%4�
���<
+ .
�
��
&F� &
:
�1 �$�
�� (
z��
� &�
� ���^
+ )��
�$�&1
� �!
.��
%4� ��
�<+ �
��"
�� !
�A �
�<�1�
�� &
��! "
�� �
�W�1
. �<M
� �� h�
��4 (
�'=
����
7 /��g
�� ^
�'� �
� ��4 �
�� ��B
� +�!"
� ��B�
a
"�1:
���
<+ J
��8� 4
4&D�
��
# �&�
+ $� �
�����
off l
ine
a"�
2: �+
� ��
���P(
0)=P
0= I
�W��
D� 4
8-15
��
�P 0
� �
�0!t
&��! �
�0!
&�:
� (
01 �
�F�
�;!��
4 �:
. 6
.���
RL
S
*<!�7
��5�E
�� "
�� �1�
>�� �
�%�� �
�j�) M
!�4�
� 4,9
4
"��
�&�
� �
. J
&� ��
� J�I
�=
�’�
'�
���!
�$ "
%�I #
�]) 5
��?! ��
M
��� "
D+ '�
�� J�
�8� ��
��%�
� 4 B
=0
,A=
1 U
C=�’
UR 1
=0=
Ew(t)
w’(
I) U
Ev(t)
v’(I
) = R
2(1)
�;
!��RL
S
�!�(
t) ==
1 4
&2
� "�&
!.
LS�
*�� +
���4
+7 6
� ^J
�
�;"v
��11
.25
h�
'F �
�g ��
'4�(
t) =
1 "
+�
7 ��'F
�� *
<!�7 �
�5�E 6
��(
t)
�����
*�0
4�����
(t)
T
����� T
4����'7
"P(
t)
6�
#�
&� 2.
��%4�
M���
J�X�
'��
�� #
�:����
��O �
��<+
� u 4
v
&�
��:
) �?+
. �
� �
� ���
�� �$
��%4�
� �F�
$�
� �F
� 3��
� �! '
����
��
���
"��
�&�
� � E
��1 B
-� �
. �! 4
��
�1 �
� ��
! ��%4
� ��&F
� �! �
�0! �
� �
��>�
: ���
�� '
���>
%�.
8-16
8 -4-2
THE�RECURSIVE�IV�METHOD
� "
%�I �!
���
LS �"
�
��
54��
+ �� �
� #
�� �!
�;!��
$� �<
! � �
��
� �
�4.
8 -4-3 +�
���" �
���
���
���^�
�� +�
E
���� '
����
#� �
forg
ettin
g fa
ctor
) (�
$� ���
� �&
1� 4 "
!�C &1�
�+ �
1 &�
�!
:0.
995>�>
0.98
a
"�1 :
#�<N
�
��'
���E k
��H��
"��
E��$
�! ��
�!�4
#���
����
#��!
\��
�� �
��$�!
4 F)4
p4�
.��W
�8� �>
�
&� #
�:��
E��$
"�H
� �!
��
@HI
'���
>%� $�
E��
�C� &
�! 4 &
1�� & .
&�� B
�8 �C
�� &1�
�+ �
��^��
7��
J�c
�H% .
��! �
�<�1�
7�� J
�ctra
ckin
g al
ertn
ess
4 n
oise
sen
sitiv
ity
"��
. d
��4 �!
1��
��1 5
����^+
� �
� � �
V:��
&�!
)j
W� 5�
�C� �+
4�! �
�! $� ��
� � (
��
� � V
�0)�
jW� 4
&I �!
qi�
4 .�
��! �
�&F�
0 41 �
�>��
�A
�! .
��<
�1� �!
�>��
J��8
� E��$
�! ��
�!�4
�����
) \�/
'��
�>%� �
�
� s
mal
l
"�j!�
� 4 �C
� ! "
8�� �!
�&
� #�:�
� tra
ckin
g
���
<+ q
1���4
4 #0�
1 '��
�>%e�
���
4��� e
�!&!�
� V
�0)�
�
� cl
ose
to 1
(z�
� ���
<+ q
1���4 4
��A
��
>�:
8-17
�!��
<�1�
1
��$ "
!�C �! �
+ �&
� #�:�
� :
&�
:
� "�
$� ��
�A ��
C�+) .
$� ���
� �C�
36� "
�� &�
:��A
( . 5
&� #
��! '�
���
���
T 0 �
W��D
� U"
�� "
!�C Bi
���
&2 "
�&! R
�) �;
!�� $�
\��
�� .
1���
�1 ���^
+ 5��*
� &�
1�� U'�
���
'���
�
���
1 4
&I U
4T0
�
� � �
#��
J&�
� E
2 �C� �
+ &��
� J
�c.
+7 6
� ���
(�'
G� �0
�� #'
��E�
��D�
� V��
I�
�
/�
B� ?�
� �� �
��'4
����
� ��
�>%� #
�6��
� 7��
J�c
"��
' .
&��
� �&
�O v�
W+��
�����
) \�/
�! 7
�� J�
c .
4 E
�� J
�W1 "
�j!��
"��
1 E��+
� 0
�1 ���
! 7�+
�! �� '
���>
%� ��
>�:
. q
�+��
� �F�
��0
!R
�!� ��
>�
�! .
�+ "
�� \
����
4��� $
�R �!�
��
�0�%���
1.
�� �
�! "��
�!��!
� &:
� ��
�$ "
!�C ���
! ��H�
E��$
E&�
#�i�
$� &�
! "!�C
.
�
= 1
- �
���p�
� 6
� ^J
b.�7
Tq
" /�
B� b
���E� R
�����
^J b
���E� T
q "
IQ'
7 ���,
� +�
. �(
t) ~
1/(t
- t0).
&!�
� V
:�� ��
�! #0
�1 #
4�4 �
! 4 �
$ ���
! &�!
"��
5�8K
c� #4
�I #
4�4 �
� ��
1��$ �
�
� �!
&2
� � �
$ 5�
�?! �
;!�� 5
�&���
+
E
2 � �
� �
�� �
�$ 7
�) �!
�6��
���
"��
6���
7�� J
�c �&
��� �
���+
8-18
c (�E
��G� �
�p�� ^
�'�� �
������
*�E�
F �r4
�� U�
�����O
E �
! E��$
�! ��
�!�4 �
�)���
G1 �
�>
p4 �
� "
�� ��
%�� ��
j�) �!
E2 �
��<+
4 )
�?+ �
�^�� E
����!
y=
�’�+
v �
�)�� �
G1 �
�Ev
2 (t) =
R2(
t) �
�%�� �
�j�) U
&:
� ��
.
�
�4 J
���) �
� �
R1
&�
� � #
����j�
���!
E&��
�* $�
�
J&�
"%�I
� lin
ear
regr
essi
on
��!
����!
'�G�
+tra
ckin
g ab
ility
and
noi
se s
ensi
tivity
�
':��
) ��
�42
�
��&1
�;�
�-j�
8 ���
� �>
� .
� &
��!
����
'���
� #�
:����
��O 5
����^+
��D1
b�?
A �
5�8K
c� ��
� ���
S�c
$� E��
+R
1
��
��4 �
��<+
� ��
12
#�&
3. �!
�$ '
����
u 4v �
'��
�� ��
&��>
! �G1
� �� #
0�1
t=N
/2
��
� ��
�^+ ��
z .
�C�
� �
,-j�8
�,!
&���
���!
��
:�� V�
��
�]��
5��C�
�
4�
� ���
4 ��&F
� "��
�! ��
���
���<
+.
�&!�
� V
�0)� 5
�1���1
4 ��
� 3
��I
0�1 �
! '��
�>%�
8-19
imate
tAsym
ptotic�.Properties�or�the�Es
�
��<+
RLS
�
��<+
�!of
fline
&�
��: �
!��� �
�12
W1�6� �
��)�
%4 "
�� 54
���� �
�%4� M
���
B�%
�!
8 -4-4�RECURSIVE�PREDICTION�ERR
OR�METHODS
PE
M
��
� B
I ���
-+ $�!
5��?
! ;A
��o �
jr�� �
! .
�� �
%���)
E��+
� 0�1
���
$�! 5�
�?! ��
p4�
��
.��
� ��
��� �
!�+V
J�I
���?(
t-1)
�!
"W�
1 qi�
4 '�
: ��
j�+ M
�!�?(
t)
�$ M
!�4� �!
��� '
��� ��
* ��)
�� S
���
&2
� "�&
!
J�I
V’
'�
:
� M�!
�� .
�-��
�! "
��8 �
!V
’ t-1
"
�� (
z��
)BW
� E��$
7���
��� (
&�
� "�&
!
\
�F+ �
! J�I
�(t)
^ 4
�(t)^
) ��
>��
! J&�
�! �
�12
���4 �
�&F� �
W��D
� ��
( 7�
1 �! �
� &2
� "�&
!re
curs
ive
Gau
ss-N
ewto
n pr
edic
tion-
erro
r
��
� �&1�
�A
��
� � �
R-1
�;
!�� �!
mat
rix in
vers
ion
�
� �
��
�$�! 0
�1.
� �
��<+
J&�
�! E
��: '
���>
%� ��
RLS
"
��
�
���
R=I
�
����
'��
�>%�
�� ��
)�� �G
1 � 0�
1Le
ast m
ean
squa
res
LMS
&2
� "
�&!
.
w
here
the
gain
�(t)
cou
ld b
e a
give
n se
quen
ce o
r nor
mal
ized
as
#�
&� 4.
Exam
ple
11.1
'
����
AR
MA
X
&��>
! �G1
� ��
��! V
�O J&
�
E2
8-20
�W�
�D�
=(
t,�)
�
=d�
/d�
�W
��D�
� #
�� �!
\�F
+ J��8
� �! J
�I "
�� &�
� $��1
��
���+ �
!� $��
'��
�1 �
�&�
w�;�
&2
"�&
! �+
��! V
�O #�
;A�(
t)
�&1��
���!
�(t)
&1�
� 54
��+ '
: �!
. E
��$ �+
�(t+
1)
"��
1 �&1��
���! �
�&F� �
! #$��
1.
MD
Projection�into�
� ��
�up
date
�!
Sj��
�D
M
��>
��1 ��
�� J�
W� ��
� 4 �&
� �
&��W1
#�
&� 5.
�!
�$ '
����
RPE
M U
RIV
4R
LS
"
�� ���
F�� $�
t��
1 �&�
��
���
u 4
v q
1���4 4
��*
��>1�
�� �! 0
�11
&���
: .
#��!
J&�
RLS
4R
IV
#
��!4R
PEM
"
�� .
"��
���F�
� $� V
��$2
t��1
8-21
�
RLS
&:
&��1
3��!
E4&
! ���
<+
>1� 0
�1 �!
�
���
<+R
IV
"��
3��!
E4&
! >1�
0�1
�!
�R
PEM
�W�
�� ��
�<+
a,b
,c
��
>�: "
8��
%4 &:
� ��
c "
�����
�.
8 -4-5 RECURSIVE�PSEUDOLINEAR�REGRESSIONS
�
;A '
����
j�
J&� #
��! �
��$�!
J&� �
��<
SISO
���
�!�+
� "
�� ���
F�� $�
"��
.
We
then
hav
e th
e re
curs
ive
pseu
dolin
ear r
egre
ssio
n (R
PLR
):
�
�!��
�R
LS
�� 5
4��+ �
� �! "
���(
t)
"D+
0�1 ��
'��
�>%�
��>�
: �� "
�� j
W� #�
����<
+ 5�8K
c� #4
�I&:
� �
��� ��
C�+.
�
�!��
�R
PEM
��
"��
� #
�6!
� "
�� ��
��1
8-22
� J
&� #
��! ��1
2 ��+
�����
��
��
�
�6�
�����
�>%� $
� #� �
��1�A
AR
MA
X
7�1
�!ex
tend
ed l
east
sq
uare
s (EL
S).
�
� �
�&1��A
.�
d��1� �
>
"��
�&�2
J4&�
Asym
ptotic�Properties
R
PLR
E
��:R
PEM
#
�� �!
E2 �
�� "
���
$�� �
� � �
����
. "
�� ��
�!�4
�� �
! '��
�>%�
��>�
: ���
!��! ���
��A
�&Fz
� &�
� �&
���1
��.
#��
��A
RM
AX
���
���
�� 6�
�����
:
+D
��� `
��E
LS
+7
6�
*�� �
'� ��
0<.
�
���0<
. `��
RPL
R
#��
"O
E
6�
���; *
�� ��
�
�B<���
'0!� �
� '��
�� ?�
F c�M
�4�RPEM
"RPLR
"
�� 4
��&F�
�����
�>%� �
� �
y(t)R
-l (t)
�� �
���+ &
�! .
p4�
4 $�
- �!
�6��
� "��
G
auss
-New
ton
��
R q
�+��
\�F
+H
essi
an
"��
�! \
�����
+�W
��D�
'6I
d2 "
�e�! 0
�1 ��
>�: "
8��
%4 "��
"gradient"�direction
�
"��
���� 5
�W��D
� '6I
) �!
\��
���d (
&!�
� V:��
0�1
��>�
: ��1
\�+�
+ ���
: �! 4
�
���0��
�1� R�
q�+
�� '�
��>%�
#$��
� ��O
� R
0��
�!d*
d )d
"��
:����
��O
�&�+
( ��
0: �
� ��
3�-
�� 7��
�: �
&�!
+�W�
�D�
�
! � e
�! ��
. $�
� ����
� �!M
atrix
inve
rsio
n
&2
� "�&
! ��)�
�W�
! �;!�
�.
8-23
.
q
�+��
�6��
� p*
p )p
����4
�A �
&�+
(&:
� V
:�� 5
&�! ��
5�W�
�D� �
�&F� �
� ��
� 3
�-��
. �
� �
�;!��
� �� �� ��
>�
�!
!�<�1�
p4�
�! ��
"��
�
J���
) �1��
����
P
+�W��
D� �G
1 $�
soun
d
#�;
A �!
4 "��
1ro
undo
ff
E��+
� �
� "��
3��
IP
"��
��! ��
&��
. �
�! �W�
�D� �
�D1 �
��^+ �!
mat
rix fa
ctor
izat
ion
��
� ��+�
� B-�
� ��
. �
8% ��
X #��
^���
+� +�
���"
�J&
� J��8
� �)�/
� �! �
��! 4
��
���) \
�/ #
��-��-
+ E��$
�! �
��!�4
'���
� #�
�!
� �
����
� �$
������O
#��!
�;!��
� ��
��
11,29
)E�
�$ �!
���!
�4 ;A
J&�
( ��
�!�
�! ��
�A
#��
� &:
�
.
.
9-1 9
��<�
�_/�
��
<����
� % 0
����EP
��`�
/���9
Y�
��&�
5
OPT
ION
S AN
D O
BJEC
TIVE
S
9-1
���8
�
"��
�&�
� � E
��1 B
-� �
��
��� 7�
���
h�j!
�
B�-
�+ ��
��
��� '
���>
%� #�:�
�����O
�8��
6� B
� �
�� &
���:
!�<
�1� #�
:����
��O #
��� �0
�� $�
(�: &�:
.D
(OPT
ION
S) . $�
&���
: j�8
# �&
�+ 4 (
��r+
��^��
# �&�
+ �:��^
�� �
�.
&�! J
�?) �
�:�
�^�� �
�&1�
�� �
���� u
D! ��
�
Des
ign
expe
rim
ent
�����
7�61�
$��1
��� ��0
)� "<�
#$��
� ��2
D
ata
colle
ctio
n
1. #
4�4
info
rmat
ive
2.
#�
� �! �
1��1 q
1���)
3.
��
�$�&1�
#��
$� J
K�A�
E ��
��j�)
�&�
#�
prep
roce
ssin
g 4
��j�)
V�O
L �
��� 0
E�� U
� ��
� V�
/���
1 (
��! V
�O J&
� d�1
� U 2(
UJ&�
0��
3(
J&�
#&�
! ����
��O ��
D1)
#$���
#��
�8��
6� �!
�06
+(U
4 ( UJ
&� "
���� �
����
5(
+�W
��D�
��0:
0�
�;��)
� ,%�
V� /
��
(��
����O
�����
#�:�
�^��
9-2 1.
��<
�1�PE
M U
IV �
4su
bspa
ce
2. 7�
�1� 0
NE�
��;/��
Val
idat
ion
"
�� $��
1 ���
��
��� �&
� � �
���� '
����
��
$2 �
�� #
��! #�
����
.
9-1-1 ��
�����
� ��&�
5 :
Obj
ecti
ves
Lj
ung
chap
ter 1
2 "
�� �
�c �
��<+
q1��
�4 E��:
"���
� ����
�
'���
� #�
�! T
rue
e∈N
(0,λ
) E
�� |
�D% �!
4] 0=[
u,e
u "
��1 E
��+
�u 0
y(t)=
T .
��&,F�
\,�+
�+ ��
�: �!
�! "
�� �!��
! ���
<+u
T� =� E�
� ��
���<
+ J&�
��)�
� �G1
� �!
#
�;A
y-�
�
��<+
�! "��
�!��!
��
u* 4y*
&1� �&
�2 "
�&! �
$ �;
!�� $� �
� &���
: ����
4�A 4
# 4�4
.
'
�� �6
��1 �
��c
J�I
��
�! "��
�!��! �
��<+
#�;
A
&�
�$��1 E
2 �W�
�D� �
�T 0
"��
. J
��>�1�
��
"
�� ��
�<+ "
���� �
����
��&
F�C
J&�
#��!
�!
��!
"
��.
(��
����O
�����
#�:�
�^��
9-3
9-1-2�/�
� ��%Z
*�W
% ��
�'6� �
� �
��� +�
��Z
Lju
ng c
hapt
er 1
3
BY�
(0W
%�>
o
��
#���
�$�&1�
��
%��>��
�z :
����
� \
?1 #
��! �
4�A �
���+
o
�&�
#���
�$�&1�
J��>
��)
����
�O (
��
��j�)
�1�>z
V (
��%�%
o
�6� �
! # 4�
4 4
J��>
�� d�
1
%��8�
&��! �
1�>z
. o
��
#���
�$�&1�
&�! J
K�A�
E����!
# 4�
4 U&�
�W1$�6
� � �
-�� �
C�� #
4�4 (
�! J
��>��
J��8
� ���
. o
��
�1 �
� '�
���
# �8
��� �
�I �
# 4�
4 J��8
� �$��
� ���
* #�
:&���
) �
o
� "
��1 �
-��
�����
@&:
�! J
��>��
J��8
� E�-�
� e�*
� (Q�
%��� 4
# �?
��� #�
����
��
o &�
�! ���
�&1 �
�4 &1
��+
� # 4�
4 J��>
�� J
��8� "
4&D
� ��W%
� :�>
���$
2 "A�
� 4
I��c
�
o
�,�
J�
c �:
�+�4�/
&��
j�A
#���
����
� "
�� (
z��
o
.��>
�� �C
� E��+
�
���� J
�c V
�0)� �
!0�
1 �! J
"��
1 $�6
� j�8
B�%
�! E
�-�� �
� e��
�� %
4 ��
E��W
� ��
. o
$� �,�
#�,�
� �$�&
,1� B!
�� ��o
JK�
A� �
�4 ��
�� �!
�4K8
"sta
tiona
ry s
toch
astic
pro
cess
es".
&,
�-1 "
,��W+
&��
� �6
� B-�
� .
&�1��
+eK
�A�
burs
t 4
mis
sed
data
a (
�����
� ����
� H��5
�6 ���
8�
9-2�
$�
��%�%
��E9
�� �
INFO
RMAT
IVE
EXPE
RIM
ENTS
Lj
ung
chap
ter
13
o&�
� � l
<�� ��
'��
�����
�;F1
# 4�4
J��>
��.
o ��
� b
��A #
4�4 '
�� 5�
?<��
$�2
��12
)�
�c (
"��
�12 J
��>��
7�) 4
. o
%��>
�� &
�! #
4�4ric
h
&�� �
�-�2 0
�1 ��
'���
� ��
A���
�1 #�:&
� �I
&1���
! �+ &
��
.B,
��� J
&,� �
,�� ��
W%� �
�� �
����
�]+ �
q1��
�4 4 3
��! #
$�� ��
��! �!
�� &
��W1
.
(��
����O
�����
#�:�
�^��
9-4 o
&,��
! S,W;
�� J&
� ��
��� �!
�� &
��! #
�D1 �
! V��
$2 M
��� "
�� \
����
"��
'�� J
&� $�
��1 3
��!
��4&�
��� �
� ���
�� �
!J�
,I '
�,���
�,+
�,� ��
)�� �G
1 � (
z�� #
4�4 J
��>��
�&�
��)��
�G1 �
;A
J&1�
�! �
�! �A
J ��
+ �;F
1 p�I
9-2-1 �
�<����
�in
form
ativ
e
M���
��
&�
w�;�
BW�
#���
<! �
Z�
#
4�4
info
rmat
ive
"
,�� 7�
,�+ �
�,! &,
1���! �
,� "
,�� J
&� (
�! "
W�1
��
B_��
(�-
�+ ��%
&� �8
��6�
� �
��� #
��%&�
. In
form
ativ
e
��P
0� L�
N�� ��
� B���
�� �� �
�%�%
M���
. 1.
v��
��
��� �
� ��
� S
FD�
��4n
B��&
I E��
�! ��
��4
J��
6� ��
����O
n "
�� B
F��� �
% ���
. 2.
Pers
iste
nce
of E
xcita
tion
�W
+��n
J��>
��u
J��>
��PE
�W+��
n ��
� "��
��c
ϕ u(�
)>0
�
B��&
In
��!
�;F1
- �++
��*
��o&�
�! .
�,� �
�-1
&,1��+
,�
�� #��&
F� �:
�j�<
� #�:
���<
+ � �
�%�� E
2 ����
&��
! ���
�&1 ��
%��
�1���
) � #
4�4 �
�� ��
"��
���
<+ 4
��>
! �<
!co
nsis
tent
1 B
*�I
�
��
. H% � &
�! # 4�
4in
form
ativ
e
&��!
3.
d��
6� \
�+�+ �
� �!
n 3
����
U PE
�W+��
2n "
��).
4 ��*
���1
���) �
-1� �!
v4��
�
4 �
� �� &
���W1
U \
�/2
&1��&1
��(
4. �>
J�
��) :
q�+
��R
&��!
���� �
�o.
5.�>
J�
��) :
J��>
��
�$ '
����
#��!
in
form
ativ
e
��� "
��PE
�W+��
$�nb
+nf
&�
�!
9-2-1 �
�%�%
��E9
�� ��
Y��PE
q1��
�4 4 3
��! �
��<+
4 L��
��c
$� �C�
���
L�� B
-� �1
&���
: # 4
E2 .
&�! �
�A #
4�4
1.
����
4&D
�
2. �D
���+
( �
�O
3.
Cre
st F
acto
r
"��
)��
E��+ #
��� #
4�4 �
�K8
��� #
���1��
�) 7��
+ � �
� ���
�� �
! (z�
�
(��
����O
�����
#�:�
�^��
9-5
#��
�! J��>
�� &1
�� �
�A M
���
�G1 �
� $�
'��
�� �
%4
;A
��o
&�1���
��1
����-�
2 �� E
��%� 5
�8Kc�
�&.
9-2-2��
%�% �
�`Y�E9
�� b�
���
1-+�
P �/
!�6 ��
&� '�
��
# 4�
4 &���
0�1
PE &1�
� ��j
�) "
�� �-
�� E
2 #e�!
q1��
�) #�
: ��%�
� �� "
�� .
���
J��>
�� (
��r+
5��?
!J�
�>��
���
!��! "
��1 �
�&1���
� 3�
��
� �&
�! .
2-06
���� �
�E���
��E9
��
�! ��
J��>
�� �
�sg
n(e)
��e
�� &
�%�+ E
��+
� "��
&���
0�1
. �>
j�8
%4si
gn
&:
� ���^
+ �� L
�� �
�c
3- )PR
BS
(do
m B
inar
y Si
gnal
anR-
Pseu
do
J��>
��PR
BS
(
��O
%��>
�� ,
����
))
�?+ �
�o (
��
� &�
%�+ �
$ '��
�� �!
�� "
�� 0�
1 �W�
Her
e re
m (x
,2) i
s the
rem
aind
er a
s x is
div
ided
by
2 u
#&�
%�+ #
���!
)(
4 ��*
( "
�� (
��O
���/
. &
1��+
� '��
�� �
�2n
U�,�12
��,!
$� �,�
&,�
�! ��,�
� ���
A��
��j�)
#�$�
�! ��
�:
n b
�A �
�O �
�+&�
j!"
�� ��K
8 ���
��
�� .
&1� �&
� � �
�$
J4&�
� �
�F� �
�
�! J�
�>��
��O
M B
��&I
#���
M-1
��� �!
�� "
�� �j�
PE B
��&I
�W+��
M-1
"
�� .
���
!��!M
�,! �,
���0!
�W+��
���
PE "
�� �+e
�! .
��%4�
# 4�4
u(0)
#0
�1 ��
4 �
� ��
<�1� &
�!
�4�A
"��
��*.
• �
�O (
#��!
B��&I
&�! J
��>��
M ���
-+ q
i� 4
&�%�+
�
�
B-�
��c
PBR
S
����
�! #�
��! J
��>��
#��!
±u�
#
��� ��
M-1
"
�� �j�
&:
� E
��1 ��
.
(��
����O
�����
#�:�
�^��
9-6
a(
PRB
S
�!n=
7
�6��1
� 4
M=1
27 b (
J��>
�� �
�cPR
BS
#
��� ��
63 &�
��: "
WX� #
���1��
�) �
(�O
�
�� $
�PR
BS
o
PBR
S
�����
�Ocr
est f
acto
r
�� �
���!
o
"��
�HO 3
�-��
E2 q
1�����
q�+
��
o��
�� J�
�>��
( E
����!
,�
,�c �,
� ) �
,?+ J
��>��
�! |�
D% �
� $� 4
"��
�G1
���
���]+
E2 �
�c b
��A �!
�G1
���N
��
"��
54���
� ��
� S
FD�
o
�: #
��!A
(q)
(
MF)
PRB
S
! MF)
��%4� �
�&F�
�� �
�4&:
� "
��� J
��>��
�.
o
�� �
�<�1�
~�D*
&8
��O "
�� \
����
.
PRB
S
�cK
���
PB
RS
&1�
� � �
��� �
�c &�
�� 0
�1 4
.'�
��! �
����A
�H� �
��O �
�c ��
�
,%�
1 : '
�1��+
�PB
RS
�>
��
W%� ��
'���
��j�)
�� �
�E9��
��E��
�
"��
1
,%�
2: V
�0)� �
> p
4� #
�� �!
�1��1
q1��
�) J
��>��
�1��
1 �: E
2 \��
� �! �
� "��
p �
,� ���
,-+ �
�,! .p
�,! #
��! �G
1 ���
��c
�� �
� �
��<
�1� #�
D1PR
BS
�
� B*
�I .
�! �
�c B
-�p=
4
&:
� E��
1 ��.
4-.
Sine
s-
Mul
ti
(��
����O
�����
#�:�
�^��
9-7
"��
3���
� &�
z ��
� #
4�4 �>
d�
1
o
��O
�! J�
�>�� &
�%�+ #
��!M
$� q
1���)
2�/
M
�=0
,1,…
M-1
��
��)��
. �`�
�E��
M���
��6 7<
�����
o
&���
! $�)
': ��
�����
���
Cre
st f
acto
r
"��
1 ��A
) "
,A���
- ��o
��c
�! N
z "
�� B
-� .(
#$�,)
� 4�,
� �+
&��
� ���
��O �
�����
� #�
�!C
.F
��
���!
)M�
4 B-�
( . $�
� ���
��
) �?+
$�)
&�%�+
�� "
��� "
�� �
�c&�
� �
.
5- . w
ept S
inus
oids
SC
hirp
Sig
nals
or
o
��O
�! J�
�>��
&�%�+
#��!
M , $�
&�! ��
�1���
)2
ki/M
��k
��
��<
�1� "
�� ~�
D* &
8.
o�
�c V
��1 �
��!�
% E �&
1 E��
1 #��!
,N
-DFT
&�
�� �W
��D�
(��
����O
�����
#�:�
�^��
9-8
��%�%
��E9
�� M
��� (
�����
Q���
� %���'
�
o �
�O �!
J��>
��M ,
MF)
M &�
� � (
�D+ ��
�06�
q1��
�)
#�,:
�,�%��
&,1��+
� (
��O
��o J
��>��
%4
&�� (
�D+ ��
#���
�!
o
��4k
��O
M "
�� \
����
'��
�+
&1��
#���
M����
��O
( #
4� �:�
� ��
.0�
,1 �,! J
��>��
�1�>
��2 �
W+ �!
4 &!�
� V
:�� 0�
1 ��
��� #
��! ��
��&F
� 4 ��
)� V
�0)�
p4&
,<�
���,�
�,-12 E
4&,! 5
�W��D
� E �
�.
o 5
4����
#�:
��O �
�4
�A �
54��
+)
���&1�
� "%�I
� (
&���
y�)
"��
0�1 �
! v�!�
�
o
��W
c ��
�<+ E
�! (
��O
B�%
�!y
�! "��
�!��!
0�
1 ���
<+ E
2 $� �
� ,
&2
� "�&
! E2 E
�!
>1� �
&���
. v� (
t)=y(
t)-�(
t) q
1���4 0
�1 ��
�! "
�� �!��
!
9-2-3 �
�%�%
��E9
��In
form
ativ
e
����
0���
�EPG
�/4�
�8!X
��
Ljun
g ch
apte
r 13
����
� "
�� �-
��
je �
!��
���!
�FjI
� "
�� �
�
�����
. o
&��! �
�&�O�1
'��
��
o"
�� (
!&�) "
D+ ��
�0%�
��� �
#&�
%�+ U#
�?���
Be
�! '
����
o
��W
c (
!&�) '
����
� in
here
nt
��
��4
o
&1��!
��!
�A ��
� �;F
1 ( 0
1 '��
�� �+
�&�
J��8
� (!&�
)
&,I�4
(,
B��&,
I 4 �
�&,�O
'�,�
�� �
� �
y�)
'��
M��
� �
� �
��
��4 �
FjI �
��A�
+
(��
����O
�����
#�:�
�^��
9-9
• ��
�! �F
jI '
����
info
rmat
ive
J
��>��
��� "
��r
J��>
��PE
&��!
. •
E��$
���!
�4 �
;A ��
o �%��
�� �
�4)
q-ji
�� (
�� '�
���
&1��+
�
j� "
%�I �
info
rmat
ive
&�
�
• p
4�su
bspa
ce
���
<+co
nsis
tent
&:
�1
���! �
FjI �
. •
B�%
�! �
��<+
�� &
2 � "
�&!
>��W
�: �
A 0�%
�12 $�
Eu(t)
v(t -
�) #
0
�� 3
��! .
� y
��o� B
!�� ��
�<+ 3
��! (
%H��
��� "
�
oTh
e no
ise
mod
el is
goo
d (H
o –
H*.
is sm
all)
oTh
e fe
edba
ck c
ontri
butio
n to
the
inpu
t spe
ctru
m (
) is s
mal
l o
The
sign
al to
noi
se ra
tio is
goo
d (λ
o/ϕ u
is sm
all)
• �
��<+
q1��
�4G
���
': ��
W1�6
� "%�I
#��!
���!
�FjI
� G 4
H 4N
�� $�
4�,! "
,����
! "��
�!���
,F"
��
,
o $�
��1 �
� "��
�<!
q1��
�4 � �
C�� #
4�4
r ��
&1 �
�� b
�?A
�� �
(!&�
) J��>
�� 4
"��
��
�� 1.
�,,! �
�,,�!
�,,Fj
Iu=
-f.y
'
�,,���
info
rmat
ive
�,,
! ,,%4
",,�
�1u=
-f.y
+r
�,,�
r J
��>�,,
�PE
",,�
�in
form
ativ
e
��
�.
&2
� "�&
! #��H
��� �!
�
� �
�6��1
�� $
�
������O
�! ���
����
7��+
��
��
� �I
f &2
�1
"�&
! ��!
�?D�
� '��
�� 0�
1 &��
! 7�j�
�) .
��$
r ��
pe ��
&1 �
�4 &
��!
( ��
� %4
b l
<,��
�! "
W�1 "
��12 &
��!
a J
&�id
entif
iabl
e
"��
��
� %4
u=
-f(y
)+r
&�
� J
��8�
��r J
��>��
PE
'
����
&��!
info
rmat
ive
"
��
�..
9-3��
���� �
���� H
��5�6
V� /
��
Ljun
g C
hapt
er 1
3
(��
����O
�����
#�:�
�^��
9-10
Alia
sing
o
��%��
4 #
4�I J
��>��
���
10 414
0
�) 4 &
��! #
0+�:
� #
�� �!
�1��1
q1�
300
&,
1�! #�
,: �,�
%�� �
� ��
<�1�
�! &
�:��A
4 �
��: �
�O.
"��
_�-�1
q1��
�) $� �
+e�! #
���1��
�) 5�
8Kc�
#�� �
! �1��
1 �!)
140
0+�
: (
� @
HI��&1 o
KX�
#�� �
! �1��
1 q1��
�) ��
�10
0
&��!
. ��
%�� �
�O &1�!
� 10
��%��
$� %
4 �!
&:��A
140
�,�
%�� (
, #0
+�: ��
���A�
140
��
� �
6� #
0+�:
�
� �!
freq
uenc
y fo
ldin
g
&���
� 0
�1
o B
-�� �
� �)�
#��!
��j�)
anti-
alia
sing
��
� ����
� &�!
. �C
� �+14
0
&1�! �
0+�:
&�
�1 ��O
"
��1 "
A��
B!��
J� �&
� ��j�
) �� �
�W%�
."
�� '
�:��A
J� �&
� "%�I
� J
�I��
!
o
���
&1�!
&��
! 4&
D� #
4�4
ωB
&�
1��
1��
�i�: &
/ ��j
�) ��
��
4 '��
�� #
�8���
� �9
12 ) �
,+ q
1�,��
ωB
#4�
#
4�4 '
:0�1
e�! q
1���)
0�1 �
W+ �!
�� �
��
J��8
� &�!
\�4
�A 4
��
� @HI
. o
#��
�! �1�
�1 q
1���)
&�!
'��
�� �
;� q
1���)
$� �+e�
!&�
�!.
o �
� |�
Dj� 0
�1 ��
��� �!
E2 �
�C�+ �+
")��
�G1 �
��
��� J
&� �
��12 E
��+
� "��
7�j��
��j�)
�� E
�z
�����
� ����
� ����
V�
/��
o 5
�8Kc�
4 0�1
@HI
��! �
�<�1�
U#��
�! �1�
�1 �
�O �
�<�1�
"��
J&�
.5�
,8Kc�
4 V:�,
� �� 0
�,1 �
�0! �
�O �
! � �
�! $� ��
J&�
. ��
#���
�! 0�1
%4
��I
�� '��
�� 5
�8Kc�
'� �
�O.
o
\��
�� #�
� �! �
1��1 q
1���)
10 "
�� &1�
! #���
O �!��!
. 4
'�� �
jO n��
O B�8
� T
�,�
,�
��,<
�1� #�
D1 �!
��4-6 &�
�! ���
� ��
1 E��$
� �1
��1
o
#�� �
,! �1��
1 q1��
�) J�
��6
1��
�i�: &
/ ��j
�) �! q
i� 4
� 7�
61� e
�! q1��
�) �! �
� #��
�! �1�
�1 E��
+ �
� V
:�� ��
(��
����O
�����
#�:�
�^��
9-11
o (
z�� #
�� �!
�1��1
q1��
�)1 (
+�W
��D�
B-�
� 4 5
�W��D
� '6I
V�0
)�2 (
(,
01 >
�: J
&� #
��W;�
1 &
1��
� ���
3 (�! #
���1��
�) &�
� � p
K+ ��
��! J
&� �
�>! �
! � �
� e. 4 (
\,jo
� &,�
�! J�,�
�� '�
,���
�,��
��
� $�
) B��&
I ��o
J&�
�! �6
��.
o �
�<�1�
T �!
�;!��
� �
��
� �
���+
. V
�0)�
T �!
"W�
1�
&,:
� V
�0)�
�I�)
��;! ��
q1��
�4 .
T=10
� q
1���4
�! �6
�� "
�� �
�0! ��
105
�-
�%�I �
��
� ��
��! ��&
F�T=
0.1�
! �
6��
$� ���
� q1��
�4 �10
�,!��!
��
� ��
��! ��&
F�.
q
1���4 �
� ��1
â #�
� �! �
1��1
��O \
�I �!
9-4PR
EPRO
CESS
ING
DAT
A
Ljun
g ch
apte
r 14
&1��
� '
��F+
�$ #
�: ��
� �!
#���
�$�&1
� �! ���
�: 5
eK�A
�:
1. "
!�C JK
�A�
offs
et 4
���
O q1��
�)D
rift,
trend
, sea
sona
l var
iatio
n
2. $�
�+e�! #
�: q
1���)
0�1
q1��
�)
��� 3.
��
O 5eK
�A�
burs
ts a
nd o
utlie
rs, m
issi
ng d
ata
4.
��� q
1���)
� 5e
K�A�
�
��� �
� �
��*�
+1 �+3
U"!�C
��j�)
�!4
4 ��
��<
� �4
�!5
��j�)
�!L
&1��
J����
.
9-4-1 �
��d �"
/>�
offs
et
��� H
��5�6
% eD
rift
, Tre
nds,
Sea
sona
l Var
iati
ons
,
����
U�
offs
et )
���d
�"/>
�(
o p
4�1 :
��
� #
��� �$
�&1�
��
$� E2 E
�� '
� 4 ��
� d4��
$� BW
� ���
4 "�)
� #���
�$�&1
� .
o
p4�
2 :��
$� E
2 E �
� '� 4
�&�
#���
�$�&1�
#��
��>
1��� �W
��D�
(��
����O
�����
#�:�
�^��
9-12
p
4�3 :
�! �H
�e�! �
�j�) J
��8�
W����
p4�
��
"%�I
#��!
onlin
e
"��
. ��
#�: o
@HI
offs
et
J&�
��4
OE
"
�� "
��:�
�O ���
�! "
��
o"
�� ���
� "�)
� @HI
"��
:� �
� �
��)��
�G1 �
J&�
0�1
#��!
��
���4
� �
. D
rift
, Tre
nds,
Seas
onal
Var
iatio
ns
o�H
� e�! �
�j�)
o
��1 �
�j�)
o
E��$
���!
�4 �D
�� �
;A �;
!�� (
$� J
��>��
S��
+)
J&�
JK�A
�(.
9-4-2f�
� H��5
�6 '��
�
��
� @
HI �H
� ���
O ��j�
) �! e
�! q1��
�) 0�
1
9-4-3O
UTL
IERS
AN
D M
ISSI
NG
DAT
A
�� 0P
�� ����
� �� 0
Y���
mis
sing
dat
a
� �
�� �6
��1 �
+��
!�<� �
���
�;�
4 ��
(m
issi
ng d
ata)
�
�1�
#�,��
�$�&,
1� �
��,� B
�% �!
��0!
#�:0
U
�� &:
� �
� ��
O JK�
A� E
����!
e���
� &! #
�� �
�ou
tlier
��
� �&
1��A .
����
2. �C
�ou
tlier
�����
�
�$ '
����
�� ��
&�
� � &
�%�+
��
&���
y�)
$�y(
313)
�+y(
320)
�
�� B
�% �!
��*
��
��j-�
&��! �
&�
�4�A
4E�
,�1 ��
��
��� #
�;A
&�:
�
.
�:�
�����O
~�D
* ��&
F� '
����
#θ 0
"���
��F�
� $�
(��
����O
�����
#�:�
�^��
9-13
V��
$21 �!
AR
MA
X
",�
� j,*
� '��
�� �!
���
': .
��&,
1 W%�,
� �
,-j�8
. &
,�z
,��
outli
er
�� ��
��,�
"��
� �� p
4&<�
V
��$2
2 3
��� �
! ���
<+30
0
$� BW
� %4�
#��
outli
er
"��
��j;
� �� "
��
V
��$2
3 �!A
RM
AX
$�
� ����
� 4ro
bust
nor
m
�� "
��"
�� � �
V��
O �� ��
!
��A B
-��
.�>
5�
�W8 �!
&�� '
]: ��
�! �� 5
K-��
�� &
1��+
� 74�F
� '��
�>%�
.
?X +��
B
-�� �
� #��!
3 ��
��
4 BI
� ��
� ���
,��
��,�
>�: �
��
�+ �!
"��
�-��
�� &,
1��� �
��,�
:1(4 �
�,�<+
\�F
+)
���
� m
issi
ng d
ata
( 2 (J�
�>��
��j;
��1 V
<! ��
<� �
4 2 (
74�F�
7��1
$� � ��
���
1(
Q��8
� %
�� �
) ��
�� ��
mis
sing
dat
a (
�� �,�1
2 U��,�
<+ #
�,�-�
-+ $� �
����
� 4 �
4�A �
�)�� �
G1 �
) �?
+ 4 #
4�4 J
��>��
�! J
&� J
��8� �!
�� ���
��
�� #
$��$�!
2(
/
���%�
% Q
��E�
���@
S V�
/��ou
tlier
o
&1��
� �&
� E�
���c�
B!��
#���
<! 4 '
�� ��
��1
�����
$� BW
� .
o5�
,8Kc�
#4�,I
4 "
,!�C "
,�� �
,-��
�:��
$�
��0! #
���<!
"��
�A
J���1
��� J
�I �
'��
��
��4 ��
�/ �
� ��
��H� �
��� &
�! �� &
��W1 (
����
�! MW
+��
� 4
��1
7�61�
��12 �
�12 �
���� �
! ��
��
o g
� $�
onlin
e
��W%
outli
er
MZ
/P�cK
��E5
%:
q1��
�4 �
��<+
E��0�
: ��
�����
�!�W
,��D
� B,!��
"��
��4
outli
er
&��
� 7K8
� ��.
BW�
J�X��
�
��,��
� @��,
D1� �-
�%�I�� 1
\,�+
�+ �,!
(0.9
997,
1.7
157,
1.
1421
)
�����
@��D
1� "��
�� 2
\
�+��!
(0.0
602,
0.0
750,
0.0
61)
�,�
&,
:
,� E�
,�1
�,A �,
� ",�
�"
�� � �
! ��6
�:�1
. &:
� E
��1 ��
��
� �
�0! �
�� �
�4 0�
1 �&1��
���! �
� ��1
� p
�O ���
* .
�`E��
� Mh�
�6
� � �
�� � �
����
���
�����
#��!
�� �
����O
��o 5
��;�
j�% ��
! ��4
�
>1�>z
�"
�� �jr
�� ��
12 \���
+. �
��H,�
5��,�
�^+ �
,�� 5
��,*
�,�
��� 4
�,�)��
���� '
:��
"�O
��12 5
��;� �
>�
���O�
1 �! �
��+ E
4&! �
�� "
��1 �
�j;� �
� ��
� �
&:��
� ����
��O �
��<+
."
�� ��
�� �$
(��-
+ 4 $
� -
�! B-�
� E� �
)�.
,%�
1 �
� � H
�����% I
��� �
� 0��%
���
9����
�� (
�06�
#�:
���<
+ �� "
�� �1�
>�� B
I4 �
W��D
�
'�!
�����
<+ q
i�m
erge
&1�
�
(��
����O
�����
#�:�
�^��
9-14
,
%�2 :
���
9����
:
4 ',�
�,�
�&,�+
': �
�� �
� �! �
� #�
�>1���
��O
( #
4� �
4�A 4
# 4�4
"��
���! "
�� (
��O
��
���
��
� @
HI e
�! q1��
�) 0�
1 ':
4� �
e�! �
��<+
"8��
.
9-5�"
/>� i
cX
��5 �
��� ��
PREF
ILTE
RIN
G
L
��j�)
V�O
J��8
� ��:��
$� �>
-
U���
O q1��
�) 5e
K�A�
4 e�! q
1���)
0�1 @
HI #
��!L
",�
� .
\,�
��� �,
�W%�
�� "
��L
�! "
%K�A
� �>
4 �&
� ��)
�� �G
1 � �
�� &1�
! 5eK
�A� J
���� #
��! K
W� ��
"!�C
#�:�
�j�)
� � ~
�,/�+
&�E &1�
� J�
��� .
• J
��8�
;A '
����
� L
E �
� ��j�
) �!��
�L.
ε
����
^ �� �
� ��
V �J
� \^
$��
�.
'�
�� �
uD!
���<
+ #�;
A �G
��$� �
��!��!
o
V<!
$�8.
5
'�1�
�
L �!
&��
� y
�8 �� 0
�1 J
&� ��
���<
+ 3��!
��
H,>�
� �C�
.1
�,�$ �
�,�<+
��,
��! ��
&2
� "
�&!
L=1/
H0
&�
� � B
&W+ &
��� �!
�� >
1� 0�
1 ��
�� ��
)�� �G
1 �
. �
��!��!
L &
,�!
��,�
<+ �!
q1��
�4 �+
�� �
$C
ram
er-R
ao b
ound
&�
�!
oL �!
3��!
��
�C� �
��<+
Q $�
�!�+
L UH 4ϕ
4 "
����&
F�
(+ (
+�
"��
�C�� �
�12 \
���+ �
-j! "
��1 �&
��� �
���+ ��
1.
o �C
�L
"��
�&�
� � E
��1 B
-� �
&��
� �6
� ���
O q1��
�) 3
��! ��
�H� e
�!
(��
����O
�����
#�:�
�^��
9-15
o� $�
���G�
� &�z
� ���
�L
@HI
#��!
KX�
eK�A
� #
��! ��
1 U���
O q1��
�) 5
seas
onal
var
iatio
n
�H,�
e�,! �
0�1 @
HI #
��!
��12
I�c
conf
lictin
g
�
&��
.
0X��
CL
�E�`
� I���
� ����
M
���
� � u
e=0
4H
=1
3��!
�����
���
<+ &I
#��!
� *
&�
2 "�&
! �1�>
��.
��C
11
"��
���!
�4 '��
�� 4
J&� d
�1 �!
."
�&! �
1�>��
����!
��&F�
�;!��
���/
&�
�
��
��! 3
��! M
���
�-��
�6��1
#��&
F� #�
$� �!
��
��>
0.
��&F�
C'�
,���
#��!
���
<+ J
&� 4
�=G
u �!
�!��!
"��
. ��&
F� 4
C '
����
#��!
Y=G
u+H
e 4
���
<+ J
&��=
H-1
Gu+
(1-H
-1)y
�!
��!"
��.
0X��
CL
�E�`
� M��'
�< H
�����% %
I���
� ����
����!
q1��
�4 #��!
M��
� "
D+
&2
� "
�&! �
$ t
��1.
•H
ere
μ 1 is
adj
uste
d so
that
the
inpu
t pow
er c
onst
rain
t is m
et,
•w
hile
μ2 i
s a c
onst
ant,
such
that
the
filte
r L(q
) is m
onic
.
9-6CH
OIC
E O
F ID
ENTI
FICA
TIO
N C
RITE
RIO
N
B
?)15 V
� /��
� ��
PEM
%�
��IV
9-6 -1 C
HO
ICE
OF
NO
RM: R
OBU
STN
ESS
: ,
%� ��
PEM
q
1�����
q�+
��
#��!
PEM
"
%�I �
S∈M
�! "
�� �!��
!
(��
����O
�����
#�:�
�^��
9-16
q1��
��� ��
�! ��
k 7�
1 d�1
�!�
�$�
+ �!�+
4e o
(t)
��
fe (x
).
"��
���!�4
B
��&I
��&F�
�� �
E��
1 E��+
�
k &2
� "
�&! �
$ M
��� �
&�-�
� B��&
I �� q
1���4 �
�.
�6
��1 :
q1��
�4 �!
��� �
$�+ �
!�+ ��
�1 &
��! 7
�j��
�1 �
���! 7
��
���
7�2
"��
\
�+�+ �
� �!
�
ef ��
`N�
o
(��/
���� L
���
: 7�
�1 �!
������O
E �
� �)�/
� �!&2
� '
:��) E
2 F)4
'�G
�+ E�
-��
.�
� B�8
� ��
W%� �!
��$
&��W1
�HO E
�-�� "
�� �-
�� ��
� $
���<
+ ��A
�� �
$�+ �
!�+ E��
+ �1
��
4&D�
# �&
�+ ��
���
. •
L%�8�
L���
: B
!�F� �
'��
�>%� E
��1
74�F�
�! �;!�
� � 7
��1 �
�<�1�
outli
ers
)&!
4 ���A
#��
(
��
� w
�;�
o
�E��
+
�! "
W�1 �
��� "
����
I �! 7
��1f
�>
5��W8
�! �
robu
st n
orm
�
� ��<
�1�.
o 7�
�1ε2
�! #
&! B-
� �!
outli
er
"
�� 3
��I
��
�� 3.
��
� �$�
+ �!�+
#��!
�,��
����
! 7��1
2 "
,��
.#�
�,! �
��<+
q1��
�4 ���
! 7��1
��
k ! "
�� �!��
!�
�
"��
�!�+ �
$ ~;
� 4
E��+ �
! q1��
�4 '��
F+ B*
�I ��
. �!
�����
� � 7
��1 �
� �-
j�8ou
tlier
& E
�����
�1�>�
� ��
. '
� ����
! J���
I� �!
0.5*
10-3
)
�,?+
J��>
�� &%
�� "
�� �-
��10
0 4
100
- &�
� &�%�
+ .
��&F�
"��/
4 �� �
k
�! "��
�!��!
�1��
�4 ��
11 &:
� E
��1 ��
�A
%��
�� ��&
F� �!��
! .
��� L
�<� �
W��D
� �� �
1
�,� $�
�,�� 5
��* 4
"� �
"��
�{1
00, -
100,
oth
ers}
&�
�61�
� R�)
��&F�
�! ��
��
� B
�-�+
o
B-�
� �)�
#��!
outli
ers
U "
�� �$
7��1
��12 $
� -
��
�>��
����
�O �$
"��
!4� 7�
�1 .
(��
����O
�����
#�:�
�^��
9-17
o
o;!�
�"
�� E2
$� #�
> d�
1 �$
�.
�� ��
�����
@��D
1�pr
edic
tion
erro
rs 4
1���
1.8
"
�� \
�/ .
\��
�� ��&
F���
"��
���� �
� $�
H
ere
MA
D =
the
med
ian
of {|
�(t)-
ε�|) w
ith ε
� as t
he m
edia
n of
{|ε(
t)|)
&&
� 7��
1 �! B
W� J�
X�
&:
� ��
�$ �
�&F�
�!
7��1
&:
� E��
1 ��
outli
er
"��
1 3��
I) .
$� V
:��11
�!1.0
15.(
��&F�
7��1 �
� �! &
��! J
���1 �
$�+ �
!�+ ��
�k
�!
"W�
1 ��
1 ��
&1 �
��:�
B!��
V�0
)�
(��
����O
�����
#�:�
�^��
9-18
L�� �
� L%�8
� L��
�in
fluen
ce F
unct
ion
o
&��! �
���&1
���
<+ #
4� �!
# �$
�C� ��
(
+ �� "
�� �
� @&:
.(
+ �C�
�
���
<+ �!
��
LS
"
�� �1�
>��
o
oin
fluen
ce
E��$
� ��
(
t
�!��!
�W�F+
���
<+ #
4� �!
S(t)
"
��.
o
�1 �
��!��!
.&�
� B��&
I �� �
$ ���
�� &1�
��! &
�! "��
!� 7�
o
S �!
�’ S
��� �
&Fz
�: "
�� ��
�!�4
� �C
� &��
! (z�
�ou
tlier
"
�����
�.
o �W
��D�
�!S
�&:
��� 7
�&� ��
��
� �
�4� �
�����O
���
<+ $�
&�!
cons
ider
ably
inf
luen
ced
��
,�<+
#4�
&!� V
:�� E
2 VF1
&�! �
� ���
� .
oD
etec
ting
Out
liers
: �&
1�����
! �� �
�1 �&
:��� $
�ε(
t, �� N
)
E��,
+ �
1��2 �
!ou
tlier
'o
�,�j8
4 �&:
�,�� ��
� V
:�� ��
12 �C� 7
4�F� 7
��1
10-1 10
0���
�EP �
�<�/��
��
10 -1 0
E�� U
� ��
� V�
/��M
odel
sel
ecti
on
Lj
ung
chap
ter
16
$� &�+�
�W8 J
&� �
�<�1�
�! MW+�
� 5�8�
/��
: �(
��<
�1�J&
� d�1
2( V
� /��
��� �
W��
3(
��� �
�E� �
/����
+�)�
M
olde
l Par
amet
riza
tion
:. 4(
�����
��<
��� �
�&;5
: 5(
��� 0
��;��
)� �E
�'<
6( 0
NE�
��;/��
Val
idat
ion
: $�
� ����
�ZN
��<�
1� J&�
6�
� ��W
�8� #
��!
��1
�&�
10 -1-1 :��
� ��/>
��
b�� V
� /��
�E���
���
��/>
��;
A ��o
U"%�I
#�]
) U;A
4 ���
� �W
�� U
… "
�� .
�;!��
�� �
0!
;S ��
�"C�
A P
RIO
RI C
ON
SID
ER
AT
ION
S
1( &2
� "
�&! J
&� ��
�A��
B��
1���
5e ��
� ���
�1 4 '
����
(��
r+ �
��! $�
. 5
e �,�
� 3��
� �!
�,W���
�� ��
��� �
!�+ 74
4 J4
� S��
� E��+
�
V �
���� �
����
� ���
��
��� �
4 �W�
�D� ��
. 2(
�,�
�,
����
&,�!
V��
��&,�9
�O 7��
+ �!
j� J&
� E��:
�+�4�/
�� "
��1
��� �
� �!
/��
�% ���
��4
.
;A ��
o B��8
( $
� # 4�
4 #��
�� &
: E
��1 "
�� �-
�� ��
"
�:�� �
! ���
+)
4 �
�,� U'
���,>
%… (
��,W8
��
��
���
;A ��
o J&�
#��
�!
;A J
&� q
i� 4
�&�
� �
.��o
���)�
B,
W� $� �
,���D
� 4 �:
��,��
� ,
;A&1�
� |�
D% E�
����
� �� �
! B�-
�+ �
�+ &�
��! 7
�j�� "
�� �-
��.
+�P
���K
+�����
�/��
0����
8� '�
Y��ZN Z
Q��
E� ��/
>��
/6��
����
: 3(
;A
#���
����
�! v�
W+�� �
06! "
�� ��
)��1 �
���+
)��
�$�&1�
�! V
<! �
� .
#�,:0
�%�12 �
! E���
! &��
�� �G
1 �!
o �
� ���
�� �:�
�^�� �
�! v�W+
�� d�1
(��
����O�
� .
,%4
",�
� �,�)
�� ���
� ���
+ ���
#���
2 uI�
W� �
d�/�
� � �
'��
��
�����
:
�����
#�:�
�����O
10-2
��
��� �$
�I �
�4 ��
� �!
$��:
"��
�&�1
. �,
! �� J
&,� �
;A
��o B
��8 �
�4 l
�<�+
KX�
high
er (
than
se
cond
) ord
er c
orre
latio
ns a
nd sp
ectra
�
� ����
+.
4( � B
�%&!
J&�
UR�)
#����
&�9�
O 4 5
K-�
blac
k bo
x
��
� �
� ~�
��+ "
�� �-
�� .
d4�,�
� ��
J&�
$� ��
"�1
���1 �
��4E�
�$2
valid
atio
n
��
�+ �&
�9�O
�� J&�
��
S)��
. 4
,;A
E���
��� J
&�LS
!�,A
#�,�
!�<�1�
&���
: d4��
#��!
.
�,����
��G�
1� &��
W1 \��
�� J&
� ���
&��! �
�A ��
�&
Fz�:
"
,��
&,�W
1 �� �
�,A .
�,6��1
4 #�
�-�!� #
���4�
�-��
phys
ical
insh
ght
�4
2 � 5
���+� 5
��?! ��
12 E���
��1 �
� "��
#�4�/
S�)�
+ #��!
.
10 -1-2��
� �W�
�
W?8
�-W�
J&�
#��1
4�1 �
&�+ U"
%�I #
�]) q
�+��
�W+��
U��� �
j��&�
z ��
� BX
�
0!;S
���"
C� :
�( ph
ysic
al in
sigh
t
�!
/��
J&�
&: E
��1 0
�1 �� J
&� $�
�1 ���
�W+��
!�A
2( ��
�&
�+N
�&�
+ �z
�� &
:
� E��
1���
���O
",�
� ���
<+ B
!�� e�
*� E2
3��
� �!
. 4&
,�� #
�,�
�&,�+
�,!
��
��)��
�G1 �
�&�
9�O
�����
J&�
�� ��
"��
1 J�F�
�
3( $�
V�! �
� &��
! B-�
� "��
�-��
+�W
��D�
�G1 $
�2-
3 de
cade
$ ��
,�<+
!�,
<! J&
� ( �!
�� �
1���)
."
�� J��
>�1� �
�W�
>�: �
��O q
1���)
#�:&
� ���)
� �$
&1�!
#���O
�! J&
� �
.
,��
p�0
B
,X�p=
0
,� �
&,
��
.
-�+��
�� ���
)� &�
1�� e�!
q1��
�) ���
)� ��
�O q
1���)
J&� �
���9
�:)
(���
� E
4&!
( �
� �
�&
. 4(
�1��
1 q1��
�) 0�%
�12 4
(�D
+ J��>
�� U#
�� �!
N �j
,*�)
�! #���
1��$ "
!�C ��
&:
� E
��1 w
�/4 �
!3
�� �,:
$ ��
�<+ V
��$2
( �
E���
��1
. '
����
���
stiff
�
�F�
�� U&
��!
�C!"
"!�C
��: 4
&��
�! �4
': $�
�:
1��$���
#��
�! �1�
�1 q
1���)
�! J&�
# �&
�+ U&1
��
�����
!�<
! &�!
���1��$
1�,�
$ ",!�C
(,�
: �+ "
A��
&�! \
�&�
��! �
��<+
�� ?
<��
��
W�� �
/�� 0
����8
� '�Y�
�Z I��
� ��
N Z ��
%4� 0�%
�12 �!
ZN
���! �
+�8
Kc�
���
��
� L
��<��
� J&�
. �!
v�!�
� �:0
�%�12
;A
'��
��$� &
�+��W8
: •
�&�
� $ �
��<+
��c
��
�!
• q
1�����
q�+
�� (
1�R
• q
�+��
4 �:�
�^�� �
�! >�
�W�:
��
�!In
form
atio
n )
M( 5(
Spe
ctra
l ana
lysi
s est
imat
e
��
� �
$ ���
<+ (
�����
�O ��o
5��?
! ��c
.�
!�A
5�8K
c� E2
$�) 4
�1
���) n
��O "
)� \��
U�: �j
� �&�
+&�
:
� '��
�� ��
� b
�?A
. ��
��� '
����
�1
���) n
��O �
��W%
�ar
tifac
t
�:
�� �,)
&�W
1 ��
�� �
�4 $�
&��! �
�W���
�! ��W
;� 4
�:��*
�&�
+ b�?
A �
'��
��
�����
:
�����
#�:�
�����O
10-3 6(
q�+
�� (
1� �
��!R :
'���
� #�
�!
•
>�
�W�:
�A
q�+
�� "
�� ��*
0�1
��4
R #
��!s�
n
#��!
4 ���
� ��o
s>n
"
�� �
���
•
��4
#0�
1 "%�I
� 4
u 4v 0
&���
: ���
W�: �
�o
#��!
�$ B
!�F��
>��
W�: q
�+��
s >n
#
��! 4
����
s � n
"��
����
•
���
v 0 �
!�+M
A
�W+��
r ��
&��!
r �-
�D1 �
! "��
l<�
�y(
t-r-1
) 4
v 0 $�
E��+
� &��
�! ���
W�: �
�o
�!16
.14
�
� � ��
���
p4�
IV &�
�!e�! �
�� �
��
��
� �
��� �
$ q�+
��
7(
>��
W�: 0
�%�12
�:�
�^�� �
�!
�� "
�� �
� J���
�1
� ��
|�D
% J&�
� &
�! �� #
�>
&&�
��^��
�2 .
&1��+
�
)�/� �
�^�� �
�y(
t-n-1
)
�C� �
JK�
A� w
(t)
��12 �
� &��
!w
(t)
'����
! .
J�I
w(t)
�!
���
�� |
�D% J
&� �
&�! �
���4
>��W
�:
&��! �
���
. 7�
1 �! �
�
>��W
�:ca
noni
cal (
or p
artia
l)
��
� �&
1��A.
8( q
�+��
(1�
M
Fi
sher
info
rmat
ion
mat
rix
9(
#��r
+4.
1
J&�
���
��� �
� &��
�
over
estim
ated
�
� E�
-�� &
��!
iden
tifia
bilit
y
4�!
"�
$��,
� �!
�� 5
��W8
ψ(t,
θ)
� θ
= θ*
q
�+��
full
rank
�W
�����
4 &��
W1M
��
����
.
10 -1-3E� �
/����
+�)�
���
��
Mol
del P
aram
etri
zati
on
W�
1 �� #
�D1 �
! J&�
�
�1 ���
���O �!
" E
��
���P
�;� I
�4X �
<�/��
�� .
u,D
! ��,
� ����
! ��j�
) � �
�� ��
��)��
����
(Low
sens
itivi
ty fi
lters
)
"��
��)��
���� �
��+
��� ��
��
�����
�
%4
• #
4�4 J
&�-
"��
3��
I +
�W��D
� #�;
A �!
�&&�
'���
� �
����
� ��
��� �
��
�4�A
. \
jo� (
�!�
,+ B
&W+
���
BX
� e�!
10 ��
5��?
!
���
� ��
/ 5
���
#� �j
�� &�
z2
��
����
1 .
• J
&� "
%�I #
�]) J
&� �
obse
rvab
ility
can
onic
al fo
rm
# 4�4
J&,
� #�:�
�����O
��-
,�4
�A
�,� (
,E�
q�+
��A
"��
���! "
��/4&
���
� J�^�
� �� ��
G1 "
%�I #
�])
. •
�>
#�:��
�A��
wav
e di
gita
l filt
er U
Ladd
er/L
attic
e
&���
: E2 �
!��� 4
.
'��
��
�����
:
�����
#�:�
�����O
10-4
�! #$
��%&�
p4�
���
�!
��q-l
&�:
� ~
���+
.
10 -1-4��
� 0��;
��)�
�E�'<
alg
orit
hm c
ompl
exit
y
&� 0
�� V
�0)� �
! ��
��� 5
�W��D
� '6I
&!�
� V�0
)� J .
B,X�
#&,�!
� ���
�� �
5�W�
�D� '
6I �
� �! �
4K8
�+ �
�� J
&� �H
% "�e
�! 0�1
%����
�!���
inte
nded
use
"
�� ~�
��.
�;A
�!�+
� ��C
�,+ 5
�W,��
D� '
,6I
�,! 0�
1 ��
10 -1-5�
�&�5 Q
4X ��
���
V�
/�� "
�� ��
�<+ q
1���4 4
3��!
!�$
�� ����
�.
q
1���4
4 3��!
�W�!
conf
lictin
g
&���
: .
��!
V�O
�����
k ,
� � ��
�,�� ��
%&,� �
,��F
� #��!
0�1 �j
� �!
7�� �
�.
• I
���� U
<�5:
��0!
0��
J&�
)@�
;�1� B
!�� (
Flex
ible
mod
el
&:
� V
:�� ��
3��!
."
,�j!��
��%&,
� �,�
4 �
$ ����
��O �
���
B�%
�! �� #
�$ #
�����
�� �_
��� \
,����
",��
��� �
�����
�,O �
"stra
tegi
c po
sitio
ns."
&1��
(16.
5)
• H
�����% U
<�5 :�
J&�
(
z�� 0
��)
# �?
��� (
Par
sim
ony
"���
��� q
1���4
. �&
,�+ �,
! \,�
���� q
1���4
"��
:����
��O.
BY�
( ��
����4
��8�
:k
step
ahe
ad p
redi
ctio
n
"
�� J&
� M��
+ ��
&�%�+
$�! "
�j!�� �
��F�
�����
.
;A '
����
� y=
Gu+
He
#
�� 4
��!
V�O
k �j
� �!
7���! "
�� �!��
!
#�
�! �
�! V�O
��
k=
1…�
�
� �
�W��
D� .
#��!
k=
� �!s
#��!
4k=
1 �!p
��
� ��
��1
&
2 � "
�&! �
$ !
�$�� �
���� �
6��1 �
�!
J&�
J "
�� ��W
����
��-z�
� .
�� �
����
� ���
�� ��
� "��
�-��
0�1 ��
�$
W�1 �
����
R ��!
�,A J
&,� �
�0,!
"��
'��
��
�����
:
�����
#�:�
�����O
10-5
valid
atio
n-
ross
C �W
��D�
#��!
J #
�� $
�fr
esh
�
� �
� ���
�� .
+��� �
�/��
e4 �
&,�
����H�
����
"�+
#��!
�� "
���
$� �
<!�)�
>1 ���
� � ��
���
���
�����
� "
�� �
. �
��<+
� 3
��! �!
�6��
74 "
� #
�� $
� � ���
��J
��
�.
pJ �W
�� �
�@> �
���� �
�2:
Err
or C
rite
rion
(FPE
)-
Aka
ike'
s Fin
al P
redi
ctio
n
�����
"%�I
�
Qua
drat
ic
3��!
E4&
! ���
<+J
�1�>
�� ��
� E
��+
"�&
! �4
2 �
.
�
� �
�&
E2 �
J&�
���
��.
,%4
�,�
,�
��-z�
� "���
"��
J4� �
j�� &
��! �
���!
������O
�&�
+ ���
: &��
� ��0!
�� "
��� "
�� 74
�j��
. V
:�� p
$�� ��
��
�)�/�
&1����
� #���
���OV
N
$� ���!
2
� 0/N
&,
��!
. ��&
F�� 0
&2
� "�&
! ��
� $ �
��<+
���
%4 "
��1 7
�j��
.
•
0@> M
����K
� ��'�
:��
� "%�I
�
;A E
���� p
(t|m
t)
(1 s
tep)
��
,��� �
,:�;A
5��!
�� d�
�6� 4
�W��
D�J
,��
� �,!
cros
s va
lidat
ion
p
4� �,
� �,!
�,�
,�1 �
�,��H�
���� �
�,�<+
#��,
! �,
� 4
",�
�PR
ESS
(Pre
dict
ion
sum
of s
quar
es)
\
^&�
��
V ( V
� /��
Q��
E� ��
� :
��<�
����
AIC
, BIC
, and
MD
L
• p
4� #�
�!PE
M
!�,
$�� �
!�,+�!
4ε
,�
��)
�,6��1
� ��
A ��
�<+
(&2
� "
�&! �
$ �;
!��.
��
VN
��! V
�O #�
;A ��
��� J
&� #
��!M 4
UN(M
)
��
�!�+
"com
plex
ity"
&�
� � E
��! �� J
&� .
B-�
(,
�� ��
1V
N
&:
� E��
1 54��
�� #�
: ���
�! J
&� (
#��!
��
E
��&1��
�! J&�
��<
�1� #�
�!"
�� �&
� ��
���O
�$ #
�:����
�
'��
��
�����
:
�����
#�:�
�����O
10-6
Aka
ike
Info
rmat
ion
Cri
teri
on(A
IC)
• R
issa
nen
E
�42 "
�&!
�����
@&:
�� J
e&��
� �� �
!sh
orte
st p
ossi
ble
desc
riptio
n
�$ ��
��� "
���
#���
�1 �! �
� ��
w�;
� ��M
DL
(min
imum
des
crip
tion
leng
th)
4B
IC
��
� �&
1��A
Bay
sian
Info
rmat
ion
Cri
teri
on
.
10 -1-6M
odel
Val
idat
ion
Lj
ung
chap
ter 1
6 �2
�� "
�� �
� ��
� w
�;� �
� %���
best
" “b
est”
�&�
��
���0�
�> �
�� ��
S�%
"��
.�� J
&� E
�! �
�A �
� w�c
E��+
� @
&: ��
�!::
• �2
���
4 '��
�� |
�D% �
: $�
"��
�&�
��
��� :
#�
� ����
�� �
� ���
�
4��
. •
�!���
#��!
J&� �
2)
J����
,�
�! V
�O… (.
"��
\��
�� :
�,
����
"��
�-��
�kP�
;� V�k
> 0k!�
>
,%4
&�� �
�� ��
A J�
��� '
����
•
J���
�� �
! n��
O � ��
S�W;
+ ��
�! J&�
�20N
E� ��
;/��
"
��.
0NE�
��;/�
� ��`P
%�:
1( �
��S�%
�� 0E��
� �/
���� M
��� �
�8��
: J&
� #�:�
�����O
���
,-0�
) #��1
��%� �
�F�
U&��,�
:
�k4�
�8� ��
"��
�-��
����4
�912 �
! ��12 q
1���4
4 ���
<+ &
���! R
��+�
��
� �&
�6��
�-j�
8 ��
� .
",�
� �-�
� KX�
"��
3���
� E
2 ��1
� �F�
�� &
��! E
$4 �! M
W+�� �
�����O
. �
,� "
,� &,
�! b
�?A
�� �
�,�
J&,�
�,2
����4
�����
�O E2 �
��<+
�! "
W�1
3��
I
��
��4 �
��/ �
��<+
E�-�
� &��
W1 3��
I 0�
� ��1
� "�:
.
'��
��
�����
:
�����
#�:�
�����O
10-7 2(
���
B�C
�4��8
� (
��/���
� (
k��/��
�� �k
�T B
�C ��
: (
,����
��O J
&,� &
,! �� �
,�1 �
,��F
�(P
EM &
subs
pace
)
�&�2
"�&
!�&
� � $
���
<+ �
�c 4
#
��! �,A
��,��
� J&,
� �j�<
� #�:�
��A��
E&,�
�,�
4� #�
�,!
!"
�� J&
� "�j!�
�
3( �
�!��S
Pr
edic
tion
��
� :
��!
V�O
�W��
D�K
step
ahe
ad
&� u
D! KW
� ��
. 4(
��
� H����
�% 0��
��:
#���
���O #
��! ��
�co
nfid
ence
int
erva
l
)�,/
������
�O E2 e
�,��I
� ��
��*
B���
"��
. ��
�P θ
J&� �
W+�� E
�! �
)�/�
��� �!
':$�
! &��
! ��0!
�A
"
�� .
S,�W;
+ ����
� 5�?
<�� J
&� ��
� �! �
�� �
-1 ���
^+"
�� � �
! �&�9
�O 5�
4�/ E
4&!
j*� J
&�.
5( R
esid
ue a
naly
sis
:
#$��
��W�
7�61�
�!Si
mul
atio
n 4
E �4
2 "�&
!re
sidu
e
B�jD
+ �! #
���2
E2
#4� J
&,�
�,-j�8
"D*
E��+
�
��
!�$�� �
� ��
. 5�
?<��
��A
��
��� (
�6�
�1 �
&�
�! �1�>
�� &�
! �$
#���2
#��%
��>��
�(
k) z
ero
mea
n w
hite
noi
se�(
k+�)
inde
pend
ent o
f u(k
) for
��0
(pas
t and
cur
rent
inpu
ts)
�(k+
�) in
depe
nden
t of u
(k) f
or a
ny �
(of a
ll in
puts
) &
�! ��A
��
��� (
W 4
I1
$�
! �FjI
"%�I
� 4
����+
��I2
��
����+
0�1
.�,�
&,���
� �
��]+
v4��
��
�� �
�� J
&� ��
'���
� !
�A �!
��!
V�O
J&�
ε "
�� �&
�� &
���.
M��
� ��&�
�4�
ε :W
hite
ness
Tes
t
���
ε &�
�! &���
J���
1 E2 �
$�+ �
!�+"
�� .
�6��1
� �
!�+�
$�+
()
2
21
11
ˆˆ
()
()
()
()
NM
NN
NN
Rt
tR
εε
λτ
ττ
εε
ττ
==
=−
��
�
Chi
-squ
ared
#
�$2 �
�� �
!M
"��
.) �
$�+ �
!�+ d�
�6�
�!��
5� M
J���1
) �
?+ ��
^��
�2 (M)
"
��
��>1�
,�� �
$�+ �
!�+ �
�M
E2 q
1K��4
42M
"��
. &,
�� �
B��
J���1
�!�+
�! �!�
+ �� U
# �$2
���
V�0
)� �!
.( �,6
��1 �
E �
!&���
ε &I
� le
vel
� ��
� "��
�$ v
��!
&��! �
����
()
()
2
22
ˆ(0
)1
ˆ(
)(
)N
MN
N
RR
Mε
εα
ττ
χ=
<�
) #
��! KX
�M
=4 4
�=0.
05
��&F�
� �2 =9
.49
"
�� .(
��
� �
=0.5
J
��>��
&��! �
����!
v��
4 ��
��)��
�G1 �
�
J���
I� �!
95 "
�� &�
�� &*
�
2(
)M
αχ
2(
())
Px
Mα
αχ
=>
'��
��
�����
:
�����
#�:�
�����O
10-8
��� +
�����S
�� % �/
PcK �
�%�%
�� 0
9/4�
�%
��
� �
�����
�$ ��
��� $�
���!
#��!
M
=M
2-M1+
1=di
m �
��
�ε
�! ��!
J�
��)
16.5
8
E �!
BF��
� ����
� &�
Fj+ &
���U
� ��
�
� �
.
��
�N
� ��
�-le
vel
J�
��1 �
$�+ �
!�+ $�
N(0
,1)
U'
��>! �
G1 �
"
�� ���
��! �
$ �;!�
� ��>1
2
Con
fiden
ce in
terv
al: ±
1,�
Con
fiden
cs le
vel:
0.67�
Alp
ha le
vel 0
.33
Con
fiden
ce in
terv
al: ±
2,�
Con
fiden
cs le
vel:
0.95�
Alp
ha le
vel 0
.05
Con
fiden
ce in
terv
al: ±
3,�
Con
fiden
cs le
vel:
0.99
.5�
Alp
ha le
vel 0
.05
0
�-le
vel
Na
• �!�=
0.05
��&
F�N
a=2
��
� 4 "
�� J
���I�
�! J�
�>��
4 &�
�! ����
�! �;
!��95
&���
: BF��
� &*�
• ��
��1 '
��
R�N
�u
4
# 4�4
��!
>��!
�4ε
&��
� ��4
� ��
• &:
� E
��1 �
� ��1
� ��
�A w
�/4 �
! &��
! �&�
��)��
�G1 �
Mjo
��A�+ �
��.
• #
��! >
��W�
:�<
0
"��
1 J&�
E �
! \��
�� �1
��� �!
4 "
�� (
!&�)
��4
��� �!
•
� �F
� ��<
�1� �
M1
4M
2
��
"�
&�!
. J
&� �
KX�
AR
X ,
M1>
nb
�,�
,�
y�,)
,j8
'�,�
�� ��
� 4M
1�0
&�
�!
• 4
# 4�4
>�
�!�4 7
&8 �
���+ #
��! 0�1
#�>
#�
��4�
ε ��
��
4
• ε "
�� J&
� �&1�
����!
���<
+�(
t)=G
� (q)
u(t)
�!
��! &�
�! &���
# 4�
4 ���
��
�(t)=
�T �(t)
"��
����
1.
����
�
&���
>! �G
1� ��
��
'��
��
�4�A
4 #
4�4 #
��!���
F�� $�
6�
� ��W
�8� 4
���<
+&1
'��
��
�����
:
�����
#�:�
�����O
10-9
�!
��4
AR
X
��
� $ �
��<+
mA
RX
= a
rx(id
, [3,
3, 1
]); re
sid(
mA
RX
, id)
;
"��
4 ��
4 �&�
��<
�1� Mj
o J&�
�� &:
� E
��1 �
� &2
� "�&
! �$
#�: �
&1���
��!
�!
���
m
OE
= oe
(id, [
3, 3
, 1]);
resi
d(m
OE,
id);
"
�&! J
�W� B
!�� #
�: �&
1�����
!&�
2 �
'��
��
�����
:
�����
#�:�
�����O
10-10
��
�� 2.
��%
&� �8
��6�
��
��� J
�X�
�� �
����
� E��+
� �
$ 5�
����
$� �>
&- �!
��12 �
��F�
4 J&
� �8��
6� (
��
��� #
��!
Na
= 1:
15; N
b =
1:15
; Nk
= 1:
5;
NN
= st
ruc(
Na,
Nb,
Nk)
; V =
arx
stru
c(id
, val
, NN
); �
����
��^ ��
AIC
4B
IC
&:
� E��
1 �� �
j�<� 5
���
#��!
J&�
�-j�8
��
�� 3.
J�
X� :
��!
3���
� �! �
$ '�
���
0.3-
0.6r
ad/s
(
�D+
,e q
1�,��4
�,! &
��� 0
�11 4
500
�,
�� �,
1��1
&� #
�42.
'��
��
�����
:
�����
#�:�
�����O
10-11
• J
&�A
RX
��
� 10
� q
1�14$�
�! #��
�! ) �
?+
6��
��W�8�
#��
4 J
��8� E
2 �!
0.3r
ad/s
� �
��,��
��,�
")��
����
. 0�
%�12ε
B-�
� 16
.12(
a) 4
� E
2 �1
���) 4
�!�/
n��
O16
.12(
b)
"��
�&�
� � E
��1
E�
,�1 �
�+ &
:
�"
�� �&
�� "�&
! !�A
���
<
'��
��
�����
:
�����
#�:�
�����O
10-12
10 -2 0
����EP
G (
���6 �
8!X ��
?
�613
�,! "
W,�1 �
�,�! �
FjI &
�� �
pK+
(!&�
) �� "
�� E2
���!
�FjI
'��
�� �!
j*�
B-��
G �
&,��
W1 3�,�
I ��
��
4 ���
! �FjI
&
$� $�! �
FjI '
����
���! �
��
5�8K
c� �6
��1 .
���!
�FjI
� '
����
��
��� #
���4�
� 3 &1�
�� �
���� �
$ ��
�
1(
Dire
ct A
ppro
ach
: 3
��� �
! �)�*
��
�4�
u , y
&:
� 7
�61� ��
��
��� .
�! #
��� 4
r ��
&1 �%�
��� 4
2(
Indi
rect
App
roac
h
3��
� �! �
� �4
�r 4y
&��
�����
�� &�
��) 7
�j�� �
%����
�! ��
�+ �! q
i� 4
&�� �
��.
3( Jo
int i
nput
-out
put a
ppro
ach
p
4� �
� � r
# 4�
4 4
':
u 4 y
'���
� 3
��� �
� �! �
� &���
: �4
�A �
� �
��
���.
���
�%����
;Au=
r-fy
4
� ��
�! ��
J��6
� B���
8 &��
!�
+4�,
�+ �,+
�,�
L��<�
,�� E
��,+
,� h
&1� #
�� �
!&�
�W1 ���
4� .
��G1
j���
8 ��
4 �6�
�1 �
���*
j�8
#�:&
���) �
���
inte
grat
or a
nti w
indu
p
54�,�
+ ���o
4 �
�� �
���� y
��� �
R�)
. B
Y� (
7�8/4
� ,%�
ect I
dent
ifica
tion
rD
i
# ��
%��>��
$� U'�
F���
�����
p4�
� u 4
y �
��<+
#���
4� 4
PEM
#
4�4 #
��,!
-$�,
! �,Fj
I &,
�1�� U
,�4�A
��
� �
�����
.&�
� � �
�H� ��
�0>
�� #
���4�
$� � ��
��� �
� &2
� V�O
+K-
�� B
�8�
%4
1(
"��
j*�
p4�
Up4�
��
. �
�A J
&� �-
12 �! v
4���
H &�
�! 3���
�
2(
�� �
��� (
!&�) '
����
4 �%�
���
�&�9
�O �!
���+
E4&!
&. 3(
&���
: � ��
��� B
!�� $�!
�FjI
#���
���>
%�
4( "
�� � �
���� B
!�� &�
��! �
�&�O
��! V
�O J&
� 4 ��
�! �F
jI �-
12 �! v
4��� �
�&�O�1
'��
�� #
��!
5( ��
�S∈
M 4
����!
���
<+ &
��!
cons
iste
nt
&:
� .
���
%4
W�F
+ J&�
B-
,�� �
,! '��
�,>%� '
�,��! �
�,���A
��
� 4�
!4� .
��
� � V
:�� E
2 �W+�
� qi�
4 �&
�
�����
�+e�!
���
J&� �
� "��
�� B
I ���
.V
:�� #
��! #
4�4 �
! e�! �
�� J
&� ��
"��
�� E
2 p4�
(4
��
��4 #
�$ #
���4�
�W+��
u ��
pe #$
�,� ��
W� �
"��
�1 E4
&! �
4�A �+
�&�
(�D
+ 0
�=_
u
��
&�%�+
.��
� �!
%&� #
$�� ��
W� 0
�1 E4
&! #�
� �
� 3��
� �! J
�I �
� "
�) E2
�! �+
���
O
'��
��
�����
:
�����
#�:�
�����O
10-13
6( 0
�1 $� "
�� J
&� ��
"��
�� p
4� �
� B-�
� ���
���
H ��
$��1
��.
V ( 7�
8/4� �
�T ,
%�In
dire
ct Id
entif
icat
ion
p
4� �
� � G
cl
qi�
4 �
� �
� $ �
��<+
�&�!�
G D�
��
� �
W��
.
. 1(
$� � �
���� #
��! &�
�W1 7�
j�� 0
�1 J&
� ���
IV �
� �
� ���
�� p
4� �
� $� .
$� � ��
�,�� E
�,-�� p
4� �
� � (
��-+
subs
pace
��
��
4 0�1
. 2(
���
4 �-
j�8 �
@K�
A� ��
"��
�� p
4� �
� B-�
�Fy
��H�
� �
C� ���
<+ �!
���o
4 d�W�
� $�
��1
3(
$� ��
�PE
M� U
�:���
���O "
�� \
����
��
� �
����
Gcl
#
�:����
��O E
��:G
&���
!.
4(
"��
'�:�
�A
+�W��
D� '
6I &�
�! ;A
��o �
%����
���
5(
#��!
���<
+ q1��
�4
'��
���/
4� �8
!X
"��
���F�
� $�
� v
,cl
�&
� ��j
�) �!��
! &:
� E
��1 �
;!�� �
-1��9
�: ��
"��
���!
�FjI
� 0
�1 �
�cv
"��
��I
M��+
S 0 "
��
6( �
��<+
q1��
�4 �;!�
� �� $
�G
"��
'�F��
� p4�
�!���
�� &
2 � "
�&!
7(
3��!
�G1 $
�
"��
���F�
� $� �;
!��
�
&:
� E��
1 ��
G0-G
θ
��
� B
��&I
��
�S
��
���1
���) �
3��!
�6��1
� �
�1 (
z��
S "
,�� (
z��
��
��4
.4 J
&� ��
� (%H�
�h
� �
��&:
� 3
��! E
4&! �
��<+
&��! �
8��6
. a (
Join
t Inp
ut·O
utpu
t Ide
ntifi
catio
n
J&�
4 p
4� �
� � r
�!u 4r �!y
qi�
4
�����
E��0
�:G
��
� �
$ ���
<+ .u
�! "��
�!��! (
!&�)
�
7�61�
E��+
� y
�) 4
"D+
��
�����
.
'��
��
�����
:
�����
#�:�
�����O
10-14
1( �:
0�1 �
-��
-v1 4
v2 '
,: ��
"��
'�F��
� p4�
�!���
"��
1 � "
��12 �
� &���
: ���
W�:
G ',
:4 (
!&�)
F y &10
�� ��
�<+ ��
2(
���
<+ &1
�� y
�) BF
��� �
:0�1
���
G �
��<+
4 '
��F+
$�G
cl 4
Gru
&2
� "
�&!
.
7�
+ &��)
�� �
$ �;!�
� 3��
� �! �
� "��
E2 '
�F���
p4�
�! p
4� �
� "0�
B 4&
,! ���
<+ E
��+
� "��
3�,
�! EG
"��
�� .
&2
� "�&
! q1��
�4 V�0
)� B!�F
� � �
� ��W%
� .
•
�! t��
1 ��
0@
> ��T
�Y�/E5
"
�� �W�
�� 0�1
.
'��
��
�����
:
�����
#�:�
�����O
10-15
10 -3 Sy
stem
Iden
tific
atio
n in
Pra
ctic
e
L%�8�
��/
E5 % 0
����EP
: ,
W�F+
%&,
� &,1�
�� 4
&���
� ��
� '��
��
�����
3��
� �! �
� F)4
#���
����
&���
� 4
&D� ��
#$��
%&� �!
$��1 7
4�F� #
�:�%��
�� ���
� � &
�: �_
���.
10 -3-10�
���EP
��<�
�'6� L
��
Mat
lab
syst
em id
entif
icat
ion
10 -3-2��
#�
7/4�
� 0�
���EP
��%�
�� 0
!��
� #�:
J&� &
�! ��
A
�����
#��!
&1��
���F
� ': �
!4 �&
� 6
�� ��
W�8� 4
��<
�1� \
���
. �
$ �!�6
+ �! �
�� �
� ��
$��1
)��
Mj�+
4
L�K
1 :�/�
� 0����
��
• MZ
0����
�� % �/
�� ���
��� 7
�� :
��
")��
"��
�-��
�$ 5
�8Kc�
�� ��
1 $�
o
;
A ��o
���)�
��1
o
#0
�1
j�A #
���<!
o
c�
&��)
4 "!�C
J��>
�� ��
��
�<!
"��
5�8K
. •
detr
end
the
mea
n :
&2
� "�&
! 5�G
IK� �
� � �
��O q
1���)
5eK�
A� @H
I 5�
4�/.
• 0N
E� ��
;/�� �
��� �/
�� g
�� �
: �
,�
,� l
<��
6��
��W�8�
4 ��
�<+ #
�� "
��� 0
�%�12 $
� .
e�,�
��2/
3
4 ��
�<+ #
��! ��
1/
3
��
� ��
)�� �G
1 �
6��
��W�8�
#��!
. L�K2 :
0����
8� ��
`E��
�
• &2
� "
�&! '
����
�&
�9�O
�$
+��&F
� #�:
���<
+ �!
o
>��
W�: 3
��� �
! �!�/
n��
O
o
��c
(��
����O �
�o ��
�<+
o
A
RX
��
� 4
&2
� "�&
! >�
�W�:
$� ��
#��A
�+ �!
o
p
4� $� "
%�I #
�]) J
&� �
��9�:
subs
pace
. •
���
+���
7/4�
�
&��!
!�A J
&� &1
��+
�W��
�� ��
� 4 0
�1 J
&� �!
�&�
'�G�
+ ;A
'��
�� (
4
o
U��c
���
<+ $�
�&�2
"�&
! �1
���) n
��O
AR
X
��
R�W;
1� "%�I
#�]
) 4
o
4 >
��W�
: �! �&
� J&
� ��H�
���)�
AR
X
J&� 4
�
� R�
W;1� "
%�I #
�])
o
J
&�
�4�A
AR
X
"%�I
#�]
) 4(M
odel
Out
put P
lot)
�
�! ��
S�W;
+ 6�
� ��W
�8� #
�
3( 7�
�3 :
�&�
9�O B
e
'��
��
�����
:
�����
#�:�
�����O
10-16
• M
odel
Uns
tabl
e
K��
D� J
&�A
RX
��&
�O�1 "
%�I #
�]) 4
&���
: $�
"��
���! "
%�I �
� �
5 �10
step
ah
ead
�
� � �
���� #
$�� ��
W� #
�6!
��! V
�O
• :F
eedb
ack
in D
ata
J&,�
4 >�
,�W�
: 0�%�,
12 4 �
�c �
��<+
��
��4
(!&�
) # 4�
4 �!
�4�A
$� �
�4 �
����8�
&�W
1 R�W;
1� 7&8
�! �H
% &1��&
1 ��W�
8� "
%�I #
�])
."
,4� B
!�� w�
/4 �!
(!&�
) ��
4 �&1�
����!
B�jD
+ �
"��
•
Noi
se M
odel
$� ���
! "%�I
#�]
) J&�
���
AR
X
�1 �C�
�� "
�� �
�� �
� �! "
��4 "
,�� �
,GIK
� B,!��
0 �
� J&
� "�
�! &�
!.
• M
odel
Ord
er
���
AR
X
�W+��
4 �,
� �,! &
,!�
,� �
,W�!
�-j�8
�W+��
V�0
)� �! 4
&:&�
�1 !
�A
�4�A
&��
� "��
� \��
�� ��
� �!
;A '
����
( �
� "��
���
. •
Add
ition
al I
nput
�W�! J
&�
�4�A
�jI�
� �� �
+ ���
."
�� � �
-1 �&�
O
,�
��! �,
!ph
ysic
al in
sigh
t
�,!"
�� � �
�)� 'j
� $� �
� & �
>!
4�4 J
�W1 .
qi�
AR
X
���
4 &,
��� J
�,�8�
�,� 4
�4 7�,
�+ #�
�! ��
.$� �
�,G��
# �4
",�
� #�,�
� �$�&
,1� B!
�� 4
��H�
� �C�
�4�A
�! ��
%��>
�� �:
�-j "
��1 J
���� J
��>��
MF)
# �4
"��
•
• Non
linea
r E
ffec
ts:
: �
�� �
�)�� �
G1 �
�! &��
�1 S
�W;+ J
&�
�4�A
E��9
�ph
ysic
al in
sigh
t
J�W1&
!&
�>!
;A ��
o B���
8 .
��/
�
�� �!
"��
�-��
;A
��o B
���8 �
�)
#��,!
E�,
�� �
Q�,�%
4 ��/
B*�
IE��
+ (
&��! E
2 �!��
� 4 .
&���
: L���
��� B
!�� �
�� �!
��12 $
� ��
� #���
<!
• G
ener
al N
onlin
ear
map
ping
��
�
�1$� �
���,�
� �,�
!�
� ��
;A ��
o B���
8 (��
r+ �
��! �!
E��+
blac
k bo
x
"��
BI ���
;A
��o
•
l���
0S�� ?
#$� �
�E<
�,� &,
��!
,��� �
,� �,!
&1��+
�
�� �&
�O �� \
����
�W�F+
J&�
E��+
�1
$��: �
���
�� L
��<��
� E���
��1
����
#��
$� ��
!�A J
& .
� E2 B
e
4 E��,
�� �
�o JK
�A� U0
�1 �!
J��>
�� �!
&1��+
��
�! E
��$ �!
���!
�4 '��
�� 4
��0!
.
L�K
4 :Q
��E�
��� 7
�mE�
~�D
* J&
� ���
4 #��
#��!
)B�
�� �
�� �!
(&:
�1
���
. &
��,�:
,W
�F+ ��
%&,� 7
��+ .
��,�
�� �,
� %&,
�
���4 4
#$��
��W�
��! @
K�A�
��
��
� ��<
�1� ��
.
��)�
��! �
4 J
&�
�&�9
�O ��
W%�im
porta
nt f
eatu
res
��
|�D%
&�! 0
�1 .
4( �
4�R
esid
ue: ε
&��! &
��� &
�!
���4
$� �,G
IK� B
,!�� ��&
F� �!
conf
iden
ce re
gion
�
,� L
��,A
.5�
�,?!
��>
1���
o
���
�&�
L��A
��&F�
5��?
!sl
owly
var
ying
"
�� '�
J&�
#��W
;� �
&�+
�� "
��
'��
��
�����
:
�����
#�:�
�����O
10-17
o
���
5��?
! �j
�"
��:�
�* '
� 5&�
+ � M
jo ��A
�+ ���
�! &�
�! .
o
J���
� #��!
��
%&� #
��!� �
����
�1���
) ���)
� "��
\��
�� �
� �
ε �
� �
��!
5( ��
� �W�
� U<�5
:"
�e�! J
&� ��
� ��
&:
� E
��1 \
;� 4
��* @
HI .
��
�,�4 \
;� 4
��* @
HI ��
� ��
� V
�0)� �
! 4A
RX
:
� �
��� ��
�!�,�
)�� �,
G1 �
&,�!
0�1 J
&� #
��! )
�/� \
;� ��
"��
���
�� �
! & �
� .
AR
MA
X ,
OE
4B
J
���
�!A 4F
",�
� �,�
�� ��
,<�1�
�&,�
1 @H,
I #�
�W;�
�&�+ �
!��! .
4 ��,*
B-,
�&:
� E
��1 &
���
� @HI
�� �>
&�: �
� ��
W;�
6(
��;S
?��S
�/;4�
V��W
: J�
W� B!
�� ��
��
j� 5�
�?! �
-�+��
* �
&�
S��
&�W
1 j�A
"��
. #
�: ��
�1�!
arx
4su
bspa
ce
&�1$
� �
��<+
��%&�
���
4 &�
�� ��;
! �� &
1�� �
�4
7( M
ultiv
aria
ble
Syst
ems.
&,
��! �
�,��
�,�
4 #�,�
(��%
�:���
�� ��
! ���
�4�A
&�z
#���
��� �
��<+
��
� ��
j-��
."
�� \
����
"%�I
#�]
) J&�
����
�� �
o
$ �! $
� ���!
#��%
&� ��
��4�A
4 ��
4�4 �
8��6�
��
<!
")�
"�
j�
J&� �
! "��
1 � 4
$ �
��<+
. o
�
4�4 �!
"W�
1 �4
�A �:
#��!
�� "
�� �
� �>
����
$ ��
�<+ �
1���&�
J&�
o
"
�� ���
! J���
� 4
��! V
�O #�
�! �z
��i-
J&� (
%H��
L�
K5 :
��� ,
��c
.
j�)
"��/
4 #��!
J&� (
B��&
I "
��1�
��
� �
�<�1�
.��
�,A �+
��i��,
� �D�
,* #
4� �z
���
�<�1�
J&�
"��
)��
� ����
� #��!
�1��<
W��A
�� "
�� "
����4 $
� W�
F+ MF
) %4
&:
� E��
1 ��A
10 -4�<�
����5
The
Hai
rdry
er �)U ��
: E
2 ���
� � �
� &��
�) �
#� �
%�% BA
� ��
��
����
+���I
"��
%� &,
�� ,
� 7�,�
�� ��:
�� .4
E��,+
# 4�
"��
%� �!
%��8�
"��
�%�%
�4�A
��: 5
��I ��
� �
4�A 4
8(
B-�
�jO n
��O
"��
'���
� 4
&I
1��$ "
!�C ��
0.4 ��
A�+ 4
��1�C
0.14
��
1�C&:
� E
��1 ��
.
'��
��
�����
:
�����
#�:�
�����O
10-18
9(
#�� �
! �1��
1 ��
O :
#��
�! �1�
�1 �
�O ��
��1 3
��� �
!0.
08s
��
� ��<
�1�
10( �4
#���
! E��+
4 �
�! #
35 �+65
5�4
4 )
�?+ 5
��?! �
� "��
J���
I� �!
0.2
�
���^+
�:"
�� 7��
. 11(
1000
��
� "WC
�4�A
4 #
4�4 �1
��1
. lo
ad d
ryer
2;
dry
= id
data
(y2,
u2,0
.08)
; ze
= d
ry(1
:100
0);
plot
(ze(
200:
300)
);
12(
�4
�A 4
# 4�4
$� ��
>1���
J4� 7
�� �
����
�!
dete
rend
@
HI
��
�.
13( �!
��
&�
'��
F+ 6
�� ��
W�8� #
��! #�
> 4
���<
+ #��!
- "
��� 4
14(
Prel
imin
ary
Mod
els
: �!1 ( ��
��
cra
��
� &�%�
+ �jO n
��O 4
���
<+ J
&�2 (
(,�
�����O
��o �
��<+
��c
3 ( J
&�A
RX
��
� 4 45 (
"%�I
#�]
) J&�
(n4s
id)
&�
� $ �
��<+
E2 #
��! .
,]) J
&,� �
,��
",%�I
#�
��;!
(�+�
��+�
3 &
�� �
�<�1�
.&�
:
� E��
1 �� "
�) ��D
1 ��j-�
. •
#���
��<+
�6��1
�jO n
��O �
1)
�O MA
( U3 )���
+ MA
( 44 )��
z �;
F1 (
"��
�&�2
•
�! v
�!�� �
��F�
�1
���) n
��O �
� ��1
� 2 )�O( U3 )
���+ M
A ( 44 )
��z
�;F1
("
��
• �!
��%&�
�4
�A #
$�� ��
W� ��
��1 �
"
�� �&
� � �
E��
1 # 4�
4 .
� S
�W;+ #
�;A
AR
X(4
41)
4
&I0.
096
� 4
n4s3
��&
F�0.
1
"��
•
t��
1 �-
��&�
� J&�
�� q
�4�O
&1��+
�
!�<!
;A J
&� (
020
4060
802468
Tim
e (s
econ
ds)
y1
020
4060
8034567
u1
Tim
e (s
econ
ds)
'��
��
�����
:
�����
#�:�
�����O
10-19
15( Fu
rthe
r M
odel
s.
��0:
&
�� J
��8� ��
�!
�$���
A��
�! J&�
.
#�
� �!
���<
+ #�;
A 5�
�!�� �
�>1���
4
B-�
� 4 �
W��D
� 6�
���W�
8�
'��
&
�� .
$� # �&
�+ #�
�! �;
A �
�F�"
�� ���
F�� $�
��12
A
RX
(692
)=0.
094,
A
RN
X(3
322)
=0.0
94,
AR
X(4
41)=
0.09
6 n4
s6=0
.097
6
AR
X(2
23)=
0.09
88
n4s3
=0.1
��
J&�
���
�!15
�� �
�����O
A
RX
(692
).
• B
-� �
\<�
�� #�
�%&� �
&1���
��! 0�%
�12 &,
1� �&�
� �
E��1
A
RX
(962
)
U�,O
M,A
AR
X(2
23)
4
��,�+
M,A
A
RX
(332
2)
��,,z
�,,;F
1 .
�&,,1��
���! 0
�%�,,12
AR
MA
X(3
322)
4A
RX
(962
)
� �,,:
�,,� &
,,:
,,� E�
,,�1
w
hite
ness
test
4in
depe
nden
ce te
st
�-�%�I
� &�
��: S
)��A
RX
(223
)
�GAK
� B!��
>��
W�: $
� E��
1��
�&1��
���! 4
# 4�
4 ��!
.
•
Fina
l Cho
ice
of M
odel
.
��,!
$� �&
,�2 "
�&! 5
�8Kc�
3��
� �!
AR
X(9
62)
4A
RM
AX
(332
2)
J&,�
��
�+ �
��A
RM
AX
��
� ��<
�1�.
'��
��
�����
:
�����
#�:�
�����O
10-20
•
���
<+ q
1���4 �
�8
"��
���F�
�$� E2
�����
�O
Th
e es
timat
ed st
anda
rd d
evia
tion
of th
e no
ise
sour
ce e
(t) is
0.0
388.
A
ircr
aft
A F
ight
er
J&�
E �4
2 "�&
! @&:
PITC
H
"��
. "
,�� �&
,� @
HI E
2 ��>
1��� 4
�&�2
"�&
! ���
! �FjI
$� ��
.
90 �,1
��1
4 ��
�<+ #
��!90
��
� ��
��H� �
���
6��
��W�8�
#��!
�1��1
. 1(
E�z
pitc
h
U"��
��&�O�
1��%
&�
!�$�� #
��!U
RM
S
4 �&
,� #
�,�� �
$�&,1�
,�4
�A �
�! #�;
A10
ste
p ah
ead
��!
V�O
J 10
. �
� �
� ���
��.
Pitc
h
2( "
�� �1�
>�� �
j�<� #
��%&�
#��!
"�)
� �F�
. A
RX
(441
)=0.
0090
� �
G1 �!
J�W�
B!��
���
�� &�
4 �&
� � �
E��
1 B-�
� p
�H,O
��,�
� �,�
J&�
��
���
����
..
A
RX
(411
)=0.
0018
A
RX
(412
1)=0
.001
89
AR
X(8
11)=
0.01
93
n4s4
=0.0
0358
•
�! v
�!�� "
�) �
���!
AR
X(4
11)=
0.00
18
"
��.
11-1
11NONLINEAR�BLACK�BOX�MODELS�
�
"��
$��1
��� K
�8 ��
�� �W
�� J
&�
� �
� � �
#��
J&�
�
;A ��
o B���
8 �! v
�!�� 5
�8Kc�
&�!
. �
���,�
� J4&
,� $�
&,��
! $�,�
1 &��
�-��
#��!
��
11-1�8
% ��X
/��
+��
;A
��o
j� J&
� �!
���+
E4&!
phys
ical
insi
ght
"
��1 E
��+
� �1�>
�� ��
j� "
%�I �
E2 #
�����
� J&�
��
���
<�1� �
! v�!�
� J���
� 4g "
��.
11-1-1c�
M�4�
��'
�F�
��
� ��
����
#�: �
�%�� �
�<�1 �
)�&
� #�
�� �$�
&1� #
��
( �
J�X�
#��!
�� "
�� ;
A '�
���
&�1��
�
# 4�4
���H
� :
NFI
R-m
odel
s : �
={u(
t-k)}
�
�4�A
4 #
4�4 ��
�H�
:N
AR
X-m
odel
s: �
={u(
t-k),
y(t-k
)}
��
��<+
�&�
#$��
��W�
�4
�A 4
# 4�4
���H
� :
NO
E-m
odel
s : �
={u(
t-k),
�(t-k
)}
�
���
<+
�4�A
4 #
4�4 ��
�H�
: N
AR
MA
X-m
odel
s
�
�
� �
�F� �
� "��
J���
� ;A
��o J
&� �
���<M
� +4 "
/��
���F
/���4�
�
� � �
����
11-1-2 �
����
���g(�)
:Basis�function
� &
��! �
���
�4�A
( '
����
&���
y� )
#�:
��%��
�! ��
�+ E4
&!� U
uD!
�,� �!
��D1
'�,�
�� �
!�,+ �
�,��1
�� "
� �W��
�+ $�
�
"��
)(
)(
)(
te
tw
ty
�
)(
...)1
()
(...
)1(
)(
11
bn
fn
nt
ub
tu
bn
tw
ft
wft
wb
f�
��
�
�
W?8
�-W�
J&�
4 ;
A ��o
��
���
11-2 1(
�� +5
<���
Q j��
: ��
^�� #
��1��+
d��6
� 5��?
! �� �
!�+ ��
"��
�� �
�� (
'��
��! .
��,�
��
�06
+ �
��
� �
�����
��j�+
M�!
. p
4� �,
� �,!
�,��
�� #
�,: �
!��� �
Volte
rra
expa
nsio
ns
,�
&���
2 :
���W� �
!�+ � �
�1�A
�! M�
! :
�>
��<�
1� 7�
,1 �!
�!�+ �
� "��
��
"mot
her
basi
s fu
nctio
n"
�,�)�
� �,G
1 �
��
��A�
� 54
���� #
���O 4
0���
�! E2 #
�: �!�
�� 4
��
. �
� J&
� �!��+
�� d
��6�
�! J�
�6� �
!�+ J�
I.
�
!�+ �
� � � k
(dila
tion
para
met
ers)
4
&��
� $�! 4
� ��
) �� �
!�+ k
(tran
slat
ion
para
met
ers)
��
J��>
�,�&�
� � �
6!��
��D� #
4�. .
"��
���)
#��
E2 �&
� ��
A���
K���
�1��
1.
����
� ��'
� +4'<
4/�
�p�� I
�
� �
��) #
�� �
k(x)
= c
os(�
kx+
k)
�� "
��� k
4 q
1���)
k "�
� $�) @
K�A
�
� 4
��W� �
!�+ �>
�1�
�1"
�� �&
� � �
E��
1 �$
B-�
� E2
� ��1�
A
5��?
! ��
;A ��
o �!�+
( U�
�%��>
�� �
� �8��
6�st
ep w
ise
&1$
� \
�F+
�
"
�� �
�� ��
��1 �
> �1
��1
�
"��
E2 �>
�1�
�1 �jO
�
�!�+
sigm
oid
"
�� �jO
�!�+
�&�
����:
��
�
�-j�
8 "
�� �-
�� ��
W� �!�
+
jD�
loca
l 4 �
��� �
glob
al
&��!
. 4
�,��)
#��
#��W
� �!��+
Vol
terr
a
��,;
!
�!��+
%4 &�
��: �
��� ~
/�4&1�
� j
D� �
-j�8 &
1��
� � ��
��� "
%�4 �
��
.
6%�
/�
�p�� �
�Q ��
�� ��
� ��
W� �!�
�+ E
�� #
&�! &
�z #
��!3
��
��4 p
4�
1::product
Tensor�
�
!��+ �
�/ $�
���^��
&�z
#��W�
�!�+
&2
� "�&
! ���^�
� (+ #
��W�
.
W?8
�-W�
J&�
4 ;
A ��o
��
���
11-3
0�
�� $� #
4�4 �
: �j*
�) �;
!�� �
� � �j
E$4
� 4 �
W��D
��j
�,�
,�
J�,�
8� ;
A ��o
��+
�! ��
�� �
�/ .
� "
��1
d &1�
� �
��/
': �
�&�
2 "�&
! ��&F
� .
( �
: ����
��O 4
d &�
!)
�����
� 0��
(&1�
� .
2 :.�
Radial�construction
��
�^�� &
�z �
!�+ p
4� �
� � �
�! 7��1
�!�+
� 4�
"��
�j
,*�)
�;!��
�� �
� �,
�d
0,��
� $�
�� &,
�!d
#&,
�!�
�� �,!
�,�
4 �W,�
�D�
d q
�+�,�
� #
&,�!
d*d
U � (p
ositi
ve d
efin
ite)
�
� �
��/
. V
F1 q
�+��
��
dila
tion
&,
��! &
I�4 q
�+��
&1��+
� 4
�� �
&�8 �
! �� .
7��1
�,j��
$� �
��1 �:
&1��+
� �
j*�)
quad
ratic
&,
��!
.
W,?8 �
-W,�
#�,�
14�1
Rad
ial
Bas
is
p4�
�,� $
�&�
�� �
� ���
��.
3 :�
Ridge�construction
� �+
�j*�)
3��
� �! ��
&F� p
4� �
�� hy
perp
lane
�
� �
� �
l�?
<+.
�;
!�� �
� � d
E��%
��
�A
1$4
�!�+ �
( �
:� j
,�
J�,�
8� ;
A ��o
�!�+
�! �&
� ��
� &
8 ( �!
$� 4 �
�/
�� .�
&�!
d 4� "
���%�-
�� )
�1d J�
�� "
%�I &
�1�� &�
! .(
��2
�I "
%�I �
� �
k &�
�! jD
�g
",�
� ���,
� .
�1��
1 B-�
ridge
�!� 1
=�2=
1 4
�=1
&:
� E
��1 ��
. &,
!� ,
� �,��
� "
,����
! �,+ "
,�� 4
�: $
� B-�
��
.
W?8 �
-W�
#��14
�1M
LP
&�
�� �
� ���
�� p
4� �
� $� .
W?8
�-W�
J&�
4 ;
A ��o
��
���
11-4
12
0
1
�5
7 ���%
�
�!�+
���^��
&�z
#��W�
�!�+
"A�
� #�
�! !
�<�1�
p4�
$� BF��
�g
7�) �
!
#
��! 54
���� J
���) �
!
"��
.�!
\�+�
+ �� �
! �� �
B���
� U� 4�
�� �:
3n "
�� ���
���O.
E2 �
��
�
��W� �
!�+ BD
�
� #
4�4 \
�/
� "
� ��W
� �!�+
�: \
�/
�+��
H ��
�:
�� '
�!� �
�� "
��1 "
<�!
&,��
J&,�
�� �!�
,+ �:
"��
��� �
� &��
! �!�/
�!�+
( &
1��+
� .
"��
$��1 �
!�/ #
�$
�&�+ �
! #��!
�� "
�� �
� � �
�� M
F)) n
"��
��0!
.( �
q%�O
:! &�
�! ��^�
� d4��
4 y
�8 � q
%�O &1�
�+ �
. �!
"%�I
�!��
n
� �
$ "��
$��1 #
$��%&�
#��!
#���
� $�
E��+
� "!�C
#���
<! �
� � ��
��� �
�8 q
%�O (
.
����
!�� �
� +D�
� �D
�E��F
b��<
4�
� E
$ \
�F+ �
� 4
-�)��
� 5��?
! E��+
� ��
�-W�
� E
�,�1
E2 �
"m
othe
r bas
ic fu
nctio
n"
,��
!
� ��
����
E2 #
�: ���
.
�
#��
4�4
�
�=�
,� J�
�8�
�� ��
�A
BF��
� 0��
� �� �
�� �
!�+ �!
4 �&�
��/
��
.&2
"�&
! ��� �
: �4
�A �+
.
�
E$4
�! �: �
��
�4��
J�I
� &1�
� �
���
': �
!
W?8
�-W�
J&�
4 ;
A ��o
��
���
11-5
�
&2 "
�&!
. �,
e (
, �,�
��8 �
� "��
E2 �!
d��I
� j�
"��
1 ��4
� "��
)��
1���
�e
&�z
�-��
�! n�
�O #��!
1���
mos
t pra
ctic
ally
reas
onab
le sy
stem
s.&�
� � "
���
��
�A��
���
� ���
� � ��
���
��� ��
�>
���A�
�R
ecur
rent
Net
wor
ks
��A�
,+ -
!&�)
�4�A
$� ��
"��
��
� J
��8� #
4�4 �
! ��
. "
�� �-
��
)�c $�
stat
e &1
�� (
!&�) #
4�4 �
! �:
11-1-3
�8% �
�X ��
� k��,
� I�
$7 �
�B�"�
Neighbors�or�Interpolation.
Nearest�
�:
\�F
+ ��
� �
����
� ��W
c 5�
�?! �
� �4
�
step
wis
e
;A
!�
E���
�ra
mpw
ise
"
�� .
J4� "
,%�I �
B1��
p
4� �! �
�ra
dial
�
� ���
^�� &�
z
B
D��
#&�
! ���
4�
&10! \
�F+
!�A �!
�� �!�
+ &1���
! �� &
1��
� ��<
�1� #�
D1 �!
.
Epanechnikov�kernel
:� B
1�� $�
� ����
� �>
d�1
��
"��
bell-
shap
ed
"��
.E2
���^�
� &�z
"%�I
�
w
here
h is
a sm
all p
ositi
ve n
umbe
r, � k
are
giv
en p
oint
s in
the
spac
e of
regr
essi
on v
ecto
r �.
W?8
�-W�
J&�
4 ;
A ��o
��
���
11-6
B.Splines.
� :
B-s
plin
es a
re lo
cal b
asis
fun
ctio
ns w
hich
are
pie
ce-w
ise
poly
nom
ials
. The
con
nect
ions
of
the
piec
es o
f pol
ynom
ials
hav
e co
ntin
uous
der
ivat
ives
up
to a
cer
tain
ord
er, d
epen
ding
on
the
degr
ee o
f the
pol
ynom
ials
,
���� �
8% ��
X ��'
� �0��
:��
W?8
�-W�
M
LP
�R
adia
l bas
is fu
nctio
n
�
Wav
elet
net
wor
k:
�
#�&�
: #
&�!4
�!�+
\�F
+
� 4&
D� �
[-2,
2;-2
,2]
4
���
B1��
�!"
�� �
�: .
4 B1
�� 0�
��� 4
&D�
�C E
2!
"��
" .6×6
�! 0�
�� �
4&D�
±0.5
��)
�� �G
1 �
"
�� �&
�.
N,z
"��
#�;
A �!
��� B
1�� �!
\�F
+ "���
"��
4 ��W
� 8��
� �!�
�+ M�
4 Uj
*� �!�
+M
SE=4
583
"
��.
�� �!
�;A
��:
B1
MSE
=472
6
"��
�
� � �
���� �
���0!
���A�
� �!
W?8 �
-W�
$� ��4
MSE
=1.2
&2
� "
�&!
W?8
�-W�
J&�
4 ;
A ��o
��
���
11-7
�'�
�MATLAB
��
system
�identification�toolbox
� ��
��
AR
X
;A
��o
MA
TLA
B
"��
7�) �
� �!
m
= nl
arx(
data
,[na
nb
nk],N
onlin
earit
y)
E2 #
��! E��
+ � ��
�$ �
�W� �
!��+ ��
�
� ���
+.
�'w
aven
et' :
(def
ault)
Wav
elet
net
wor
k �
'sigm
oidn
et':
Sig
moi
d ne
twor
k �
'tree
parti
tion'
: B
inar
y-tr
ee
�'li
near
': L
inea
r fu
nctio
n �
neur
alne
t: N
eura
l net
wor
k �
cust
omne
t: #�
&� 1.
����
�� � �
����
nlar
x
� �
�� ��
�
���
���A
m (1�+
4 '�
���
( #
��
MA
TLA
B 4
��
�� .
�,
����
#�,�
-��-
+ ��
�F� #
��! ��
�� $
� �
� �
� ���
��.
load
twot
ankd
ata
z =
idda
ta(y
, u, 0
.2);
6��
��W�8
� 4
�����
#��!
�� #
$���&�
ze
= z
(1:1
000)
; zv
= z(
1001
:300
0);
;A
J&�
�!
�����
AR
X(2
21),
AR
X(2
23)
m
1 =
nlar
x(ze
,[2 2
1])
; m
2 =
nlar
x(ze
,[2 2
3])
; �!
"%�
4 �-W
� $� �
����
� �!
�����
8 ���
m3
= nl
arx(
ze,[2
2 3
],wav
enet
('num
',8))
; �!
"%�
4 �-W
� $� �
����
� �!
�����
8 ���
m4
= nl
arx(
ze,[2
2 3
],wav
enet
('num
',8),'
nlr',
[1 2
]);
����
�!
�����
pem
&�
�>��
;A
��o �
-W�
4 �!
14 ��� .
m5
= id
nlar
x([2
2 3
],sig
moi
dnet
('num
',14)
,'nlr'
,[1 2
])
m5
= pe
m(z
e,m
5);
t��1
���F
�
com
pare
(zv,
m1,
m2,
m3,
m4,
m5)
W?8
�-W�
J&�
4 ;
A ��o
��
���
11-8
!�<
�1� ���
��� #
��! ���
�
m=
nlar
x(z1
,[2 2
3],'
wav
e’, '
Cus
tom
Reg
’,{'y1
(t-1)
^2, 'y
1(t-2
)*u1
(t-3)
’}
12-1
12Network:�Multilayer�perceptron:MLP�
�
�-W�
$
� #�
��Wc
#��1
4�1 )
^��4
� �p�
(/�
BQ ��
4&I
� 0.
1 se
c
&,:
,�
l�<
�+ .
��,�
�,
1��+ �
,� �
�� ���
� � ��
���
��� B
_��� B
I #�
�! �+ �
�)�� �
��� ��
�+ .
��W
c W
?8 �-
W� #
��� E
��j�! �
(1
010)
E
4�,1
���
"8��
�!<
10-3
secs
"
�� .
� �-
W� ��
�)� "
�� � �
� E4
�1 (
+ ���)
� �-�
%�I�
��
� �&
�9�O
����!
. -
���� �
��� �
��� ��
�� �
��� ���
���
-
���� �
� ���
� ���!
� ��
�� "
�#$%
��&
. -
��� �
� ���
� '���
� (���
�).
- D
ie o
ff fr
eque
ntly
(nev
er re
plac
ed)
�N
'�G� �
4"�4 I
� +D�
�:
B-�
14,1
&:
� V
��1 ��
E4�1
(+
�-j�8
.
Fi
gure
14.
1 A
n A
rtific
ial N
euro
n �*
�� �+
2(
�� �!
x=
(x1,
x2,.
. .
, xI )
"
�� #
4�4 .
3( #
4�4 �
���+
net
:&�
�! ��
4�4 �
�/ �
���
5��*
�! "
�� �-
�� (
�D+ �
!�+ #
4�4.
"
��
��
l i
w il i
ii
ix
net
wx
net
11
4(
&j��
+� :
7�1 �
! �� &
��!
� &j�
�+ ~;
� #�
�� E
4�1 �:
Uj�
# 4�4
�! �4
K8bi
as, �
,
��
� �&
1��A 0�
1.
5( $
�� J
��) �
!�+f :
�!�+
#��!
(�D
+ac
tivat
ion
func
tion
�,
�12 �,
j�� $�
�,� �
,�
� ��)�
� �G1
� �!�
+ # �&
�+Li
near
USi
gmoi
d 4
Hyp
erbo
lic
��
�.
#
x 1 x 2 x n. . .
w1
w2
wn
��
#w
ix i
1 if
net-�
>0
o(x i
)=-1
oth
erw
ise
o
{
n i=1
=N
et
F(ne
t���
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-2
d�1 $�
����
+ ��
Rid
ge
"��
. �
!�+ �! &
1��+
� 14�
1 (+ �
-W�
sign
5
��?! �
� ��
4�4
linea
rly se
para
ble
&�
� #&�
! ���
A &�
��:
. B
-�14
,4
�!�+
>1�>
zO
R
&:
� E��
1 �� .
Fi
gure
14.
4 Li
near
Sep
arab
le B
oole
an P
erce
ptro
ns
���� �
�� �
��
: �,
/0 ��
1�� '
���2
����
� 3 ��
�� � ��
� �� '
��� '�
��.
456�
'���
78�
14-2-8 �
1�� �
�� ����
����
. ��
= ��
>#?
'��� �
�7+ �
��� 3
� @A 1
$� �
x ���
� ���
� .
'���
�* B
�C6&
'�6�
� ��7
+ ��3
1�� �
�� �E �
����
Fi
gure
14.
2.8
Feed
forw
ard
Neu
ral N
etw
ork
Cla
ssifi
catio
n Bo
unda
ry Il
lust
ratio
n.
��� k
��,� +
5l��
�
�! �!�
+ \�F
+ �jr�
� �
4 7�
�����
– B
��&I
�! '�
0���
4+1 E
4�1$��
%��) �
!�+ �!
1��� �
e
",�
� $�,�1
&��
>��
. �
�����
;A
$��%
��) �
!�+ $� �
���!
E&��
� #��!
E4�1
#���
�! �&�
+ �!
��
"��
$��1 B
W� ��!
"�
E��:
.
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-3
Fi
gure
14.
2.9
Hid
den
Uni
t Fun
ctio
ning
for F
unct
ion
��GN
+D��
�B��5
��;�
�N'�G
�
�#$
��� p
$� �O
�
Rob
ust a
nd fa
ult t
oler
ant
:
,%4 �
� ,
O � �
� �,-
j�8
,0�
",)�
�-W�
$� �
<! E&
� ��
�A UB
�8 �
#$�,
� $�,
! �� �
,-j�8
'%��
#���
��� �
! U�<
! !��A
'o��
j8 &1�
�+ �
�-��
��/
�&�1
B���
!��A
�! �6
�� &��
�
F)4
: t
��1 $�
#���
�
�1��+
Task
��
jW�
. �
"��
1 3��
I 0�
1 �! "
W�1
�
�j�8 &
1��+
�&�
� J&�
�� �&
�9�O
5�.
� ��
�� &
j�) E
2 � l
?<��
( V
F1 �&
p
$��2
W?8 �
-W�
(
.
12-1-1The�Multilayer�Perceptron�
MLP
�M
LP
"��
� �� �
&�O #
�$
j�8
: �!�
�� �&
�9�O
�!��+
E ��
J&�
�1�
�+ B�
% �!
. �,1
��1 (
B-�
4 U#
4�4
1���
�e
2 4
#� ��
�2
&:
� E��
1 ��
�4�A
.
�� ����
�J�
NNToolBox
�#�
&� 2.
'���
� ��
[-2;
-2]
�[2
;2]
�
���F
����
'��� �
+ G ���
0 �
���F
����
'���
�1
G ��� �
H� ��
��
p=[-
2 2;
-2 2
]; t=
[0 1
];
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-4
����
����
: ���
�� �
�F�
�* I
��� �
���J�
�) �5
/� . )
����
�ne
wp
��
�$ �
L ��� �
�� �
� ����
( ne
t = n
ewp(
p,t);
���
�:
(���
* ���N
O1
��� �
� ��P�
= �H�
�� ��
� .
��A
2 �
�� ��
G ��� '
���� �
��$�
2 4
�6� �
� (��6
�* ��
���= �
�.
net.t
rain
Para
m.e
poch
s = 1
; ne
t = tr
ain(
net,p
,t);
���
� ���
��:
�� ��O�
/% ��
��* 1
��� (
���* �
���� �
� �+ Q
� �
R��� �
����
ne
t.iw
{:,:}
,net
.b
2
2
[-1]
��
�� �
��:
G��+
�� S
$%� �5
/� ��
�� '�
��� ��
5#$% 1
TO � '
�� ��
/� '
��� 3U
a =
sim
(net
,p)
�6 �
(��6
�* V�
6F �5
/6� ��
� �� �
W� �
+ 1��
�#/L
�� X
�NO �
���F
�$�
� * �
� 1��
� �+ '
� ���
��1�
� .
a =
0
1
����
� ��
GUI
� �
�� �+
Y � �
���� Y
���� '
� ��
nnto
ol
���+ ��
�� ���
T���O
�� ��
� �5�P
��= "
��Z�
. #�
&� 3.
[�O G
����F
�� �
��+ \
�Px2
+x+1
G�
�+ S�
� �� .
G ��
�� ��
����F
� '�
��� ��
H�� Y
� '���
p=
[-1:
0.1:
1];t=
poly
val([
1 1
1],p
); ���
L ����
� ��
���$
� �����
�� ]'
���� ^
�O�
4�5W
O �����
=.
6( #
�: �1�
�1 p
$��2
4up
date
�:
������O
5��?
!B
atch
���
�$�
��P�=
�H� ��
"%7
0� ���
�O (
�� Y
� �� .
� 16
TO '��
6� '���
6NO �
(���
* '���
'���N
O '���
� ����
� �����
� �� �
�P�= �
H� ��
����
�/�%
� '���
'���N
O .
����
�tra
in
�6 �
6����
�� �6N
� �� 6�
�����)
�6 ��
Oep
och
��
���
� �� �
. �
ep
och
16
�� �6
� ��6H
�� (
��6�*
'��� �
+ 1��
'����
"%7
0� ��
� �� �
�����
. ) ��
�6��
new
ff
��� �
� ����
��� �
� �$ �
L(
net =
new
ff(p
,t,10
,{},
'trai
nbfg
');ne
t=in
it(ne
t);
'4����
�'�J
��B<
���'0
!� A
_����
���
��* '
R$� �
�E��
� ���O
�� ��
� �E �
��+
����
����
: C
onju
gate
gra
dien
t (tra
incg
f, tra
incg
p, tr
ainc
gb, t
rain
scg)
,% Q
uasi
-New
ton
(trai
nbfg
, tra
inos
s), L
even
berg
-Mar
quar
dt (t
rain
lm)
net.t
rain
Para
m.e
poch
s = 3
0;
net.t
rain
Para
m.g
oal =
1e-
5;
[net
,tr,Y
,E] =
trai
n(ne
t,p,t)
;
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-5
����
� ����
��tra
in
�$O �
+ ���
1L�
��
�* ��
�6Wb
� �65#
� �6�+
�6$�
���
�� (
���* '
��� �� '
���� "
%70�
��� �
$� ���
L ��
��� ��
�� (
���* �
� � ��
+ �� ��
� ���
� �/�
%� � 1
TO '��
� .
���6�
�� �E
� ��5
�tra
in
�65�
� �
�� �N
� ����
� Y �
epoc
h
��+ �
� � ��
O �� �
�����)
. y
= si
m(n
et,p
);plo
t([y'
,t'])
��N
O �=�
�= �
� ��
�� 10
��3 �
�P� Y
�� '��R
� d/e
�� ��� �
�� �
� ��W
�� (���
* ���
�+ ��
��� ��
����
f�+
� * �
� � �)
'���
� "%7
0� � �
5/� .
����
[�O �
1,�,
U �� �
����O �
� �� f
��* Y
�2
�� f
�� ��
2 �
6�� �=
�����
. �
5�P��=
���
) �� ��
�+ Y
� ���
�nf
tool
�
=�� �
�1�
� ����
4�L
. 7(
#�:
�1��1
p$��
2 4
%���
� 5��?
!up
date
�1�
�1 �!
�1��1
��+
4$%
���O �
� � � (
�� ��
���$�
�� ���
$� (
���* '
���
p=-1
:0.1
:1;t=
poly
val([
1 1
1],p
); "
��Z� '
���� �
+ ���+
1L�
sequ
ence
��
� ����
)���
+ 1L�
�3�+*
��(
p1={
p};t1
={t}
; ne
t = n
ewff
(p1,
t1,3
,{},
'trai
nbfg
');
net.a
dapt
Para
m.p
asse
s = 1
0;
[net
,y,e
] =ad
apt(n
et,p
1,t1
); ce
ll2m
at([
y';e
'])
ys =
sim
(net
,p);
subp
lot(2
11);p
lot([
ys',t
'])
���NO
�� �
���$�
�����
Y � ��
net.a
dapt
Para
m.p
asse
s=10
�6�
��= �
� ���L
����
� ����
(���
* �� �
� .
'��6
���+
���
�� ���
O �� �
� ����
� �� ��
�$� �
� ���$
� (���
*.
p=-1
:0.1
:1;t=
poly
val([
1 1
1],p
);ee
=0;
for i
=1:1
for j
=1:2
1
[net
,y,e
,pf]
= a
dapt
(net
,p(j)
,t(j))
;
ee(j+
(i-1)
*21)
=e;
en
d en
d y
= si
m(n
et,p
);
su
bplo
t(211
);plo
t([y'
,t'])
,
subp
lot(2
12);p
lot(e
e)
8( #
�: �1�
�1 p
$��2
4 %
���� 5
��?!
upda
te
5��?
!ba
tch
p=
-1:0
.1:1
;t=po
lyva
l([1
1 1]
,p);
p1={
p};t1
={t}
; ne
t = n
ewff
(p1,
t1,3
,{},
'trai
nbfg
');
net.t
rain
Para
m.e
poch
s = 3
0;[n
et,y
,e] =
train
(net
,p1,
t1);
cell2
mat
([y'
;e'])
ys
= si
m(n
et,p
);
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-6
subp
lot(2
11);p
lot([
ys',t
'])
�(nf
tool
curv
e fit
ting
) d
�P '
RW ��
*(
�5�P
��= >
�C� �
� ���O
�� �
=�� �
� ��nf
tool
��+
��)
12-1-2
���
���
�>���
<+ J
&�
��
��� �
!�+ 4
pem
���
�� " �
B!��
� J&
�N
NA
RX
: ��
�!�
# 4�4
�4
�A ��
�H� B
���
J&
�N
NO
E :
�� �!
�
�4�A
���
<+ 4
# 4�4
���H
� B���
J&
�N
NA
RM
AX
1 :
�� �!
� �
��<+
#�;
A 4
�4�A
U# 4�
4 ���
H� B
���J&
�)
0�1
J&� �
C 7�
j��(
J&�
NN
AR
MA
X2
: ��
�!�
���
<+ #
�;A
4 �4
�A U#
4�4 �
��H�
B���
05
1015
2025
0.51
1.52
2.53
3.5
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-7
J&�
NN
SSIF
: ��
�!�
���
<+ #
�;A
4 "
%�I #
�:��^�
� ���
<+ U#
4�4 �
��H�
B���
�'
��
MATLAB
��NN�ToolBox
#
����
na
rxne
t
B���
"�j!�
� �!
�����
E�-�
�N
N
�42
� ':�
) �� .
"��
�&�2
�$�
E2 �
��1�! �
1��1
lo
ad tw
otan
kdat
a B�
�! ��
��
�! B
&W+
X
=num
2cel
l(u');
T=nu
m2c
ell(y
');
���
�+ # 4�
4 �! �
-W�
���
+5
���
�+ �4
�A 4
2 �!6 1
��� �
e � �
��
net =
nar
xnet
(1:5
,1:2
,6)
�����
� #��
&�%�
+
[Xs,X
i,Ai,T
s] =
pre
pare
ts(n
et,X
,{},
T)
�-W�
p$��
2:
net
= tr
ain(
net,X
s,Ts,X
i,Ai);
vi
ew(n
et)
�&
p$��
2 '��
�� 3
��� �
! �4
�A #
$�� ��
W�
Y =
net
(Xs,X
i,Ai);
Y1=
cell2
mat
(Y);
perf
= p
erfo
rm(n
et,T
s,Y)
�D�*
���1�
!
&:
� E��
1 �� #
$�� ��
W� �!
��
��� J
��>��
S�W;
+ 4 �;
A >
��W�
: �A
U�4
�A 4
# 4�4
��!
>��W
�: ��
&��
� $�! �
� #�
����'
0!� �
�.����
���
Non
linea
r fu
nctio
n:
net
.laye
rs {1
}.tra
nsfe
rfcn
='ha
rdlim
'co
mpe
t (C
ompe
titiv
e),
ellio
tsig
(El
liot
sigm
oid)
, ha
rdlim
(Po
sitiv
e ha
rd l
imit)
, ha
rdlim
s (
Sym
met
ric h
ard
limit)
, lo
gsig
(Lo
garit
hmic
sig
moi
d),
netin
v (I
nver
se),
posl
in (
Posi
tive
linea
r),
pure
lin (
Line
ar),
radb
as (
Rad
ial
basi
s),
radb
asn
(Rad
ial
basi
s no
rmal
ized
), sa
tlin
(Pos
itive
sat
urat
ing
linea
r), s
atlin
s (S
ymm
etric
sat
urat
ing
linea
r), s
oftm
ax (
Soft
max
), ta
nsig
(S
ymm
etric
sigm
oid)
, trib
as (T
riang
ular
bas
is) t
rans
fer f
unct
ions
. T
rain
ing
Alg
orith
ms:
net
. tra
inFc
n= 't
rain
scg'
: |
trai
ncgb
| tra
incg
f | t
rain
cgp
| tra
ingd
a | t
rain
gdm
| tra
ingd
x | t
rain
lm |
train
oss
| tra
inrp
| tra
insc
g
#�&�
4.���
+ � �
�� ��
� � G�
T�� S
��
load
twot
ankd
ata
id=i
ddat
a(u,
y); p
lot(i
d)
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-8
X
=num
2cel
l(u');
T=nu
m2c
ell(y
');
� ��
� �+ #
4�4 �
! �-W
� �
��+
5 ��
� �+
�4�A
42 �!6
� ��
�1
��� �
e
net =
nar
xnet
(1:5
,1:2
,6)
view
(net
);
�
�����
� #��
&�%�
+
[Xs,X
i,Ai,T
s] =
pre
pare
ts(n
et,X
,{},
T)
��-
W� p
$��2
: n
et =
trai
n(ne
t,Xs,T
s,Xi,A
i);
�
6��
��W�8�
�&
p$��
2 '��
�� 3
��� �
!
Y =
net
(Xs,X
i,Ai);
Y1=
cell2
mat
(Y);
perf
= p
erfo
rm(n
et,T
s,Y)
��-
W� #
��1$4
>
cell2
mat
(net
.iw)
7*6
Mat
rix
-0
.846
6
0.53
95
0.6
794
-0.
7825
-0
.509
5 -
0.73
22
-0.6
098
-0
.265
2
0.97
94
0.1
625
0.
8786
-0
.217
5
0.47
85
0.5
622
0
.142
5 -
0.15
23
0.0
977
-0.
0989
0
.032
1 -
0.08
36
-0.3
764
-0
.375
5
0.50
98
-0.3
858
0.
3274
-0
.160
0 -
0.69
06
0.0
365
-0
.905
4 -
0.82
37
0.6
716
0.
6178
-0
.412
9 -
0.63
67
0.9
286
-0
.934
9
0.26
08
0.6
315
-0.
3021
-0
.402
2
1.38
09
0.6
589
>> c
ell2
mat
(net
.lw)
6*
1 ve
ctor
-0.1
032
0.
0053
-1
.424
9 -
0.47
56
-0.0
522
0.
1536
>>
cel
l2m
at(n
et.b
)'
6*
1 ve
ctor
1.9
008
1.
4373
-0
.216
6 -
0.11
72
-0.4
638
-1.
8671
-0
.158
1
050
010
0015
0020
0025
0030
000
0.2
0.4
0.6
0.8
Tim
e (s
econ
ds)
y1
050
010
0015
0020
0025
0030
000510
u1
Tim
e (s
econ
ds)
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-9
�
���!
�FjI
5��?
! #$��
��W�
ne
tc =
clo
selo
op(n
et);
view
(net
c)
[Xs,X
i,Ai,T
s] =
pre
pare
ts(n
etc,
X,{
},T)
; y
= ne
tc(X
s,Xi,A
i)
+D�
� ���
b
.�7
�In
ord
er to
rem
ove
the
supe
rflu
ous
wei
ghts
from
the
netw
ork,
the
func
tion
nnpr
une
is c
alle
d.
Do
a m
axim
um o
f 50
itera
tions
whe
n re
train
ing
the
netw
ork.
>>
prp
arm
s = [5
0 0]
; >>
[thd,
trv,fp
ev,te
v,de
ff,p
v]=n
npru
ne(‘
nnoe
’,Net
Def
,W1,
W2,
u1s,y
1s,
NN
,trpa
rms,p
rpar
ms,u
2s,y
2s,1
0);
>> fi
gure
(1),
set(g
ca,’Y
lim’,[
0 0.
25])
;
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-10
Th
is p
lot c
lear
ly r
evea
ls th
at th
e m
inim
um o
f th
e te
st e
rror
occ
urs
whe
n th
ere
are
only
25
wei
ghts
left
in th
e ne
twor
k. T
his c
ould
als
o ha
ve d
eter
min
ed b
y us
ing
the
omm
ands
: >>
[min
tev,
inde
x] =
min
(tev(
pv))
; >>
inde
x=pv
(inde
x)
Exam
ple
>> [W
1,W
2] =
net
stru
c(N
etD
ef,th
d,in
dex)
; >>
trpa
rms =
[50
0 1
0];
>> [W
1,W
2,N
SSEv
ec]=
nnoe
(Net
Def
,NN
,W1,
W2,
trpar
ms,1
0,y1
s,u1s
); St
art b
y re
scal
ing
the
wei
ghts
so th
at th
e va
lidat
ion
can
be p
erfo
rmed
on
unsc
aled
dat
a
>> [w
1,w
2] =
wre
scal
e(W
1,W
2,us
cale
s,ysc
ales
,NN
); N
otic
e (f
or e
xam
ple
by c
allin
g dr
awne
t) th
at th
e bi
ases
elim
inat
ed d
urin
g pr
unin
g ha
ve b
een
rein
trodu
ced
by th
e re
scal
ing
func
tion.
V
alid
ate
the
final
mod
el:
>> [y
hat,N
SSE]
= n
nval
id(‘
nnoe
’,Net
Def
,NN
,w1,
w2,
y2,u
2);
Th
e co
rrel
atio
n fu
nctio
ns a
lmos
t sta
y w
ithin
thie
r sta
ndar
d de
viat
ions
now
and
thus
look
far
be
tter t
han
thos
e sh
own
prev
ious
ly:
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-11
12-1-3Radial�Basis�Function�Networks
��
�gN�
�5/�
�
� "
��Z� G
supe
rvis
ed
"��Z
� G� �
unsu
perv
ised
���
�= ��
���L
����
� ����
.R
BF
�
65 1�
R�* ��
. I
�+�O ��
���
$� �
����
supe
rvis
ed �
unsu
perv
ised
��
��� �
� � �
5/� ��
5#$% �
�/R� �
� .
456�
14.3
.1
�5/�
�
RB
F
��/�
��T�
�+ ��
� �� �
W� ��
FFN
N
1��
.�� �
�O�/%
�� Y
� "��
O:
Figu
re 1
4.3.
1 R
adia
l Bas
is F
unct
ion
Neu
ral N
etw
ork
���
"�%
�4
��� +�
d j
�j*�
) $�
�!�+
�&
�j��
�!�+
0���
��!
� j 4!��
�
# 4�
4z p
"��
.
(14.
3.2)
•
radi
al b
asis
func
tion
B
1�� 7�
1 �! �
� �!�+
��
kern
el
4 E�
�F��
�!�+
��
� �&1�
�A 0�
1st
rictly
pos
itive
"
�� .
�j� (
+ ( �
!�+ �
� �
�j E
2 @��c
� � ��
�� 4
�� &
�� �
")� �
�* "
�� �!
"8��
�!)
���
�!�+
BX�
.( ��
����,O
��,�
9�: �
!�+�j
&��
� l<�
� ��12 y
�8 ��
��
': .
&1����
�� $
� �!��+
�� $
� # �&
�+
:•L
inea
r fu
nctio
n
•
Gau
ssia
n fu
nctio
n
�5
/� �
���F
Th
e ou
tput
of a
n R
BFN
N is
cal
cula
ted
as
W?8
�-W�
J&�
4 ;
A ��o
��
���
12-12
�'�
�MATALAB
�P
= [1
2 3
]; T
= [2
.0 4
.1 5
.9];
net =
new
rb(P
,T);
The
netw
ork
is si
mul
ated
for a
new
inpu
t. P
= 1.
5;
Y =
sim
(net
,P)
12�1�4Assignments�
10( ��
�A��
RB
F
&�:
~�/
�+ ��12
p$��
2 >1�
>z 4
� � ~
�/�+
B-�
'�� �
! ��.
11)I
nves
tigat
e al
tern
ativ
e m
etho
ds to
initi
aliz
e an
RB
F N
N.
12)D
evel
op a
PSO
, DE,
and
EP
algo
rithm
to tr
ain
an R
BFN
N.
13)
(c) �
is v
ery
smal
l?
13-1
��NONLINEAR�BLACK�BOX�MODELS
�
Fuzz
y
Neu
ro F
uzzy
W
Ave
let
13-1N
etw
ork:
Waw
lets
non
linea
rity
:
Wav
elet
s "��
: ��%�
� $� #
� �8��
6� �!
J��>
�� �
06+ $
� �:
�1��
1 ���
) #��
U��j�
+ M�!
. (
W,� "
,%�4
��,���
�,�
� 5
��?! ��
J��>
�� ��
"��
#�>
+ �
!�+ ;
A \
����
&:
� M�!
.
�k
kk
ta
tf
)(
)(
�
�e���
Y � �=
�un
ique
) ��
�� ��
N f
'��
� �
�a k
���� ^
5% �� �
(��
�
���(
t)
� ) [
�OB
asis
��
�= ��
. ��
�=� �
e��� Y
�
$%&
'��
(�)
lk
lk
adt l
kl
k0
,�
��
�
��� �
��L��
�
dtt
fa
kk
�)(
� * �
� 1��
� .
�e���
��f
�e���
�� � �
���a k
�� �=
�� 4
�#CO
. �
��) #
�� �
tjk
0e
�
��j�+
M�!
�
%4 "
�� J�
��1 &�
����
k t "
��1 &
�����
. �
!�+ M�
! �>
5��W
8 �! U
��
� �06
+ E2 #
��-�1�
���: 4
j*
� q1��
�) $� #
� �8��
6� �!
J��>
�� �
��) #
��� ��O
,�:
��O �
!�+ #�
�-�1�
���:
&���
: E2 #
��%��>
�1� U�
�O �!�+
M�! �
�jW+ M
�! �
4 &�
�.
$�
4��� $
� "��
1 \��
�� ��
�) 5�
8Kc�
���� �
�o #�
�%��>
�� #
��!Sh
ort T
ime
Four
ier T
rans
form
(STF
T)
��
� �
�����
. B
-��
STFT
&,
��! (
,z��
�,��
4 1��$
5�8K
c� &�
�! ��0!
J��>
�� J
�c ��
� �� "
�� E2
� 5�
8Kc�
&1
��
� p4&
<� �
��%4$
� �W�
� B�%&
! �1
���)
. $�
���%�
4m
othe
r wav
elet
&1
��
� ��A
��
�%�
4 J&�
13-2
)(
1)
(,
abt
at
ba
��
��
��b
4 "
��� ��&
F�a
"��
y�8
���
. .&1�
� ��*
E��+
4 4&
D� #
Q�1� �
� &���
: jD
� �!��+
���%�
4.
� ��
(��
�"
�� 0�
����
1��$
(z�
� � 4&
D� �
E2 #
Q�1� '
�� V
<! ��
"��
#Q�1�
J��>
�� (
. $�
v�,�
��
&�� �
_��� ��
J��>
��
�1���
) 4
1��$ 5
�?<�
� E��0
�: �_
��� "
�j!�� �
� "�4
�12 .
�,�o
#��%�
�>�,�
#��,
! ���
!�,�!
4 ���
� #��%
��>��
#��!
���)
#��
�-�%�I
� "
�� \
����
����!
��H� 4
���
�
"��
&���
����!
"!�C
5�?<
�� �!
. B
-�� "
%�4 �
G1 �
� $�ST
FT
��
�%4$�
&�z
�$ &�
� � B
I ��
Mul
ti re
solu
tion
"��
. ��
1��$
5�?
<��
f(t)
��
�1
���) 5
�?<�
� 4F(�
)
&1��
� �/
�8 .
B-�
� �� "
%�4
#
�$� �!
�&�
��A��
(��
� 4b=
5 4
a=2
&:
� E
��1 ��
.
� 1
4� ��
(��
� ��c
� 2 "
�� �&
� ��A
�� (
��� �
�c
�-
�� �6
��1 (
��� �
:"
�� �H
>1���
��j�)
(
"
%�4 B
&W+
, E
�,�$ E
2 &�!
( �
� "��
#&�!
4 B
&W+
)
1�,�$ #
�$�,!
� J�
�>�,�
#��,
! (
E2 �
,>
#&,�!
4 �
�1��
�) ��
�%4$�
E&�
��8
���
"��
4
�� �
�4 E
2 #��!
���
+�W
��D�
p4�
#
��!D
WT
��&
F�O
(N)
"
��
+���
F 6!'�
" j��
��
� I�'
� (���
N +�
1�
� �h= Y
� ) ��
) ���
� 1��
�hE���
���
���
� �5��
U ��
.1�
� ���E
� � ��)
���
� "�/
% �� >
T�
,,
()
()
jkjk
kj
ft
ct
*�
�+�
���
����
�!"�
# �$�!
%
1��
. [�
O i���
� 1�
� ���L
Y � ��
��
nn
tn
ht
)2(
2)
()
(�
�
�%�
4 J&�
13-3
)]2
(2[
2)
2(2
)(
2/2/
,j
jj
jj
kj
kt
kt
t�
��
��
��
�e
��� Y
� ��k
� ��
�� 1�
��j
1�� �
5 �� �
���
.h �
E�T/$�
[�O
� �� 1
,k
1��
. �6
A��
j ��
6 �) �
�6� �6
�=���
���= �
� ��R�
Y��
���� �
��� �
� ��5A
�+ j�
� .
#�&�
1.
> ���
� ��
) ���
� ��
H
AA
R
[�O �
� i���
� 4��
[�O 4
5�H
aar
��
� �� �
W� ��
.
I �2
� 2
j/2
��� �
� ���
�� �E�
1�! >
T� X#
�b� [
���O '
k���
.
V
�0)� �
!j
�!�+
� H
aar
�
� �
( 0
1 �!�/
�! �
!�+ M�
! U�>
B��
�!��+
�X�� 4
.�!
�6��
4
,,
()
()
()
()
jkj
kj
cf
tt
dtf
tt
k�
���
��
�
[�
O �� �
]���
��
� ���
+ �� 4
�� ���
2 ��
. S
�E�6�
'6�
�6��$
� �6$
� 16��
� I
��2 �+
1��
��N�
���� Y
����
�.
����
I�'
�
wavelet�function
� 5
K��
�! J��>
�� E
� M
�! #
�� �!
� U �!
"��
���!
� ��
(��
��
�,�
� �
M�!
�&
,O (
,���
$� �,1�
>�� �
,� �
� �
��A�
� .
1/2
1,
()
(1)
(1
)(
)(
)2
(2),
2(2
)
n
jj
jk
n
hn
hN
nt
hn
tn
tk
�*
��
��
��
��
��
Y�� i
/O��
� ��
�+ 1
�� ���
E� �
� �h
= Y� )
��#�P
�
��
4$5
� ��#�
P ��
�O1�
� �* �
h= 3
� .
I
TU ��
1�� �
Y��
���
����=
�� \
$?� 4
�L �
�� �
A�+ >
T� I
��2 ��
'� �
���NO
�+ ���
� �� 1
�� Y
� .
����
F ITU
�� �$
O �5�*
'�
�� >T
� I�O�
O Y � �
��
�� ���
����
�
ITU
� �
���F �
� ���
�� �
����
. Y
6 � [�
O '���
45� �
� �%�$
��H
aar
���
�� �
�� �W
�
Spec
trum
of �
Spec
trum
of
�
�%�
4 J&�
13-4
�
��1�A
��! v
�W+��
� "
�� ���
� �� $
�
�W
��D�
#��!
DW
T
�!�+
�-j! "
��1 "
%�4 �
B��
�!�+ 5
�8Kc�
B*� �
! $��1
h(n)
&�
� � "
���
.
�
�
�
mj
mj
jm
kh
md
mk
hm
ck
c)
2(
)(
)2
()
()
(1
1
][
�O I
��2 ��
�+ 1�
�c jm )
�� '
����� �
��$� S
�E��
(� *
�� 1
���
. �e
��� �� 4
�#CO '
���
��
��
mj
jm
jj
mc
km
hk
dm
ck
mh
kc
)(
)2
()
()
()
2(
)(
11
1
�+
��� �
� ��
���
c jm 1�
� S�E
�� '
� ���
$�.
1.
"
/�C�
DW
T
���C
� ��
O(N
)
1��
. 2.
��
N�� 4
$5�
v j ��
v j+1
�
� ��
wj
���
��
����F
. g
%� �$O
�����
��v j
g%� �
� 1/T
�w
j
���T�
��N�
�.
�%�
4 J&�
13-5
d 0(k
)2 2
22h 1 h 0
c 0(k
)
h 1 h 0
6!'�
" +� `
'��� �
0�� (
�N'H'
��
1�U
M '�
�� :
1�U
�� �#
/L '
R8C� ��
2 ��
���
�� '�
�� .
1�U
��M
-ban
d
��+ �
� ���m
O ���E
� � >�
���.
�
��
�n
nn
nh
Mn
hn
Mt
Mn
ht
1|)
(|
)(
)(
)(
)(
2�
�
1�U
��2
O ��&
�� S�
E�� X
�0 '
���
� ��
45�
n�e
�2
���= �
� G�T
,O '�T
� ���
. 6�
'�6�
� G�T
,O Y �
���
XZ�
v1 ��
�� �
���� �
����� �
�e��$
� � .
�� �
G6+ 3
6� '
R6T�+�
P �� Y
6����
�� �6+
16�
� I6�O
�O Y
� ��
���= �
� � �
Y� )
'RT
�+�P
.
M=2
v 2
v 1w
1
1
�U ��
���
4 ��
'��
�4
��� �
� G�T
,O ���
. � *
�� 1
��� �
��E� �
��� ��
I ��2
�+
M=4
v 2v 1
w11
w12
w13
�
����
"�Biorthogonality
S�
0 ��N
�� 1�
U ��
� , +
��
� j��
� �����
� �
. �bi
orth
ogon
al
Y��
�� �5�
�� �
+ ���
� ��6�
� ��6
,�� .
��1T
�� ���,
� �E �
S����
) �e��
� 1�U
Y �
"%�
4 $�
%�X�ha
ar :
�%�W1
{3,5
,2,4
}
�%�
W1 �!
3.5�
+0.5�
0+1�
1
��
� �
� M�
!
�%�
4 J&�
13-6
3
4
42
5
LP(3
+5)/2
=4
3
HP
LP
LP
HP
(3-5
)/2=
-1
HP
-1-1
c2...
3 5
2 4
...
c1...
4 3
...
d1
c0...
3.5.
..
d0...
0.5.
..
c 0*
(t)
d 1*
(2t-k
)
d 0*
(t)1
0.5
3.5
42
53
�
"A�
� E��
+ � #
����+
��/
B ��
���^��
&�z
"%�
4 .
V�0
)� �! ��
�d
#��,
! ,j�
8 ��,;
! �H% &
!� �
V�0
)�d�
3
��
� �
�����
13-1-1Wavelet�Neural�Network
�&1�
� ���
� ��-
���
1��� �
e �
�� "
�� W
?8 �-
W� ��
W�
�%�4
�-W�
���A
�� .
�: ��
� �
� �!
wav
elon
s
&���
�
�
�� �
B-�
S�c
4 �!
"%�
4 �-W
�.
�!�
(wavenet
��
�4 J�
�>��
Uw�c
�� �
�
�� �
����
�06+
���
"�C
"%�
4 �!
1��� �
e �
�&�!� #
4 .
",%�
4 \
��/
qi�
&1��
� �W
��D�
#&�
! �e
� �
$��2 '
���>
%� ( M
��+
. J
&� �
� � �
� ���
�� �
!� 4t
�! &�
��: "
!�C ��
3��
� ��
f �
�<�1�
�! E��+
� ��
L �
� J&�
E��+
� �
�0!
)�� �$
�&1� �
! .
��
�6!��
�����
�Ok
-��
! ���
42L
��
.�! "
�� �!��
! "1�
4 �4
�A J
�I:
�%�
4 J&�
13-7 ��
M &:
V��
O �� ��
� #�]
) 7��+
�+ "
�� �
�0!
)�� �$
�&1� �
! .
,�
����
1 �$
5��?
! �!�+
#&�!
&�z
"%�I
� �
�
y "
�� ��
>1���
��&F�
.
c (Wavelet�neural�network�(W
NN)
��
w�c
�� �
&,
�!�
,� p
$�,�2
'���
,>%� M
,��+
&,�!
�e \
��/
����:
�!
1��� �
e "
%�4 #
�:����
��O.
(,
WN
N #
&�! (
"��
�&�
� � E
��1 B
-� �
���
���O 4
#���
�%�
4 �: �
��A��
�� �
�
4 y
�8t
&���
! "!�C
&�1��+
� �
� "��
�6
!��.
&��
� &�%�
+ ��*
��o
�4�A
�%�
4 ��
���� #
4�4 #
�]) $
� -z
�� �
4&D�
� #
4�4
��4 .
�,
�1 �
4�AW
NN
"
��: �
%�4
�4�A
1$4
���
d��6
�
"
%�4 �
!�+ �
4�A E
�z�
�"��
��*y
&��1 V
�O j
-�� �
�* ��
o ��>
1��� �!
�!��+�
�� �
�+ "��
�&�
|�D%
.
LEARNING�ALGO
RITH
M
�2 �
� �
� ���
�� ���
-+ $�!
#���
���>
%� $� �
� "��
;A
��o #
$�� ��
��! �j
r�� (
U �
%�4 �
-W�
( p
$�.
14-1
��fuzzy�system
s
Fuzzy�Sets
� ��
��� ��
�� �5
>,P �
+ 1��
� �e
��� n
e�� �
$�
'�� �
ne�
� S���
�� ne
��fa
lse
tru
e
�� h6)
�6�
�� .
����
"��&
����
&'( )
�*
��+
����
� '��
� ne�
� �� �
� ���
EA 1
T�� �
�#N�
)'�
��-
'��� �
�?(
Mos
t re
al-w
orld
pro
blem
s ar
e in
com
plet
e, i
mpr
ecis
e, v
ague
or
unce
rtain
inf
orm
atio
n. F
or
exam
ple,
in th
e ph
rase
s ‘‘it
is p
artly
clo
udy’
’,
�� �
#+��
EW���
�� ���
��e
� �ET%
��TP
��) �+
�� ��
� '���
�� ���
3 '�P
� S
1965
1�
�
���E
����
���
��
#$�)
'��
�� �0
��$� &
�+��W8
:h6
�'eN
���
���
���E
U��
�E s�
����
4��
� �
��g��
14-1-1 6
�'eN
���Mem
bership�Functions
&:
� b
�?�A
� "�]
8 $� #
� ���
# 4�
4 �! �
� "��
�!�+
"�]
8 �!�+
�
"��
( 4
��*
��! "
�]8 �
!�+ ��&
F�
� �:
�!x�
X
��&F�
�A(x
)
&: "
W�1
��! �?
D��
.. �
"�]
8 �!��+
d��1�
$� &
�+��W8
7���
�:
•Tr
iang
ular
, Tra
pezo
idal
, Lo
gist
ic, E
xpon
entia
l-lik
e , G
auss
ian
&1� �&
� � �
E��
1 B-�
� #
� �F1$
4m U
XjX� "
�]8 �
!��+
#$�)
J&�
14-2
#�
&� 2.
���
P� �L '
��� 1
�g% [
�O
'�� �
1 �g
% [�O
�� �O3
� ���P�
��L�
1,5 �
O�+ �
L ���* �
� ��$+
� ��#
��L ��
��� �6
H� ��
�� �6 �
'��
6� 1
�g% [
�O G�
��E��
�H� �
G ���
. '
��� �+
x� 1
.5
1 �g
% [�O
���,�
� tal
l(x)=
0
'����
x>1.
5
���,�
Y �
� tal
l(x)=
1
1��
. ��
P I�O�
O Y � �
�1.
49
� O�
+ �L '
���1.
51 1
�����
� �+ �
�� �
� �,#O
��#� �
L '���
+"�+ ,
%�-� �
.&��
.
'�
P 1 �g
% [�O
: '�
�#� �L
�� � �
�/NO
1
�g% [
�O �
��R� �
�
��W��
���
. ��
6P [�
6O Y � Q
�� ��
1,51
'
�6��
����
� >,P
1� 5
0� *
�� V
TU �
� ���#
� �L �
%�$��
��.
Fi
gure
20.
2 Ill
ustra
tion
of ta
ll M
embe
rshi
p Fu
nctio
n
1��� �
��O ��
���E
� � �� '
��� ��
�� _�
� Y �
μ T
all(1
.51)
=1/5
0
��L�
�A(
x)
>,P
�� ���
,� 0
1
��� �
� '��
� ne�
� �$�
���E�
��b�
��..
'�6�
� �6�
�� [�
6O 1 �6
g% [
O1�
� �%�$
�� ��
�g%
.
��.�
������
6�'e
N ���
1.
H
eigh
t :
G$ �+
�� A
(x)
1�
� .
Hei
ght(x
)
2.
Nor
mal
ity
�%�$
��A
�=� 1
�� S�
��he
ight
(x)=
1.
�.N
orm
aliz
atio
n :
�� 1
�g% [
�O G�
T,O �
���O
�� ��
'�P �
%�$��
heig
ht
��+ S
���.
(20.
21)
��
#$�)
J&�
14-3 �.
Supp
ort
���
� ��&
��? 1
�g% �
��� �
+ �%�$
�� ��
��$T
L
supp
ort(A
) =
x �
X� A
(x) >
0
�.C
ore
1�
� � �
* 1 �g
% ���
� �+ �
%�$��
�� �W
b�.
core
(A) =
x�
X� A
(x) =
1
6.
�-cu
t
�� �O3
� 1 �g
% ���
� � �
%�$��
�� �W
b��
�.
Uni
mod
ality
:� �
g% [�
O�+
�
G$ �+
� �
>,P
���
�.
8.
Car
dina
lity
: '
�P �%
�$��
'���
��� 1
�� �%�
$��
g%� ��
�NO '
�� � �
%�$��
'���
Y �
�� '
��� � �
>����
����
�) � ��
TT= 1
�U� *
�� 1
���
.)1
�g% [
�O � �
Be�
���,�
(
'
��� �
��TT=
1 �g
% [�O
4 �g
%X
= {
a, b
, c, d
}
1 �g
% [�O
���,�
�
A
= 0
.3/a
+ 0
.9/b
+ 0
.1/c
+ 0
.7/d
� �
�+ ���
,�1�
� � � �
��,� '
��� ��
��.
(0.3
/a m
eans
�x(
a)=0
.3)
ca
rd(A
) = 0
.3 +
0.9
+ 0
.1 +
0.7
= 2
.0.
s��6
F ��
'�� 6
� �6%�
$�� �
'�6
P �6%�
$��
com
mut
ativ
e ,
asso
ciat
ive
] d
istri
butiv
e ]
tran
sitiv
e �
idem
pote
ncy
��
��� �
��T� �
�W�
card
inal
ity
���
�� "��
O
•ca
rd(A
) + c
ard(
B) =
car
d(A
�B
) + c
ard(
A :
B)
•ca
rd(A
) + c
ard(
A) =
car
d(X
) w
here
Aan
d B
are
fuzz
y se
ts, a
nd X
is th
e un
iver
se o
f dis
cour
se.
14-1-2Fuzzification
�K�
��� #
�:��^�
� �! l
�?<+
$� #�
���
�! #
&8 "
��� B
&W+
��� �!
#$��
#$�)
)#$
�) (
"��
. �
,� �,!
# &
8 ��&F
� �! �
$ B-
� �
3��
�20
���
� o
ld=0
.4
�K
� ��^�
� #��!
old
�
� �
� �
.
A
�K�
#�:�
�^�� �
! ��
"��
�� ��
^�� J
�X� �
� �
�,�
,�
E�,�!
�,�O
4 J�,�
1��� UE
��,�
UE���
j�
. S
,Wc �)
R�)
#$�)
�8��
6�70
�%��
0,4 4
��O50
"��
J��1
��� �%
��
R���
�+ Y
� ��
hedg
e
�� �=
�� .
hedg
e
�� ��O�
/% ��
'R�
8� �+
��� �
� Y��N
O ��m�
� �� �
E�T� �
: �
��:
- '�-
M����
- �
$-
�$
j�A
#$�)
J&�
14-4 �
5�&1
�!-
\jo�
- ��
��:
14-2 s
����
�M
amad
ani
�
��E:
Fuzz
y ru
les
�
� �
J��8
� #$�)
��1��
� �jI
�� �!
#$��
$�) �
6��1
. p
��,>1
U#$�,
) ��1��
,� p
��>1 $
� d�1
(
Mam
adan
i
�,!
�$ B
-�"
��
if A
is a
and
B is
b th
en C
is c
(2
1.6)
48
�
if Ag
e is
Old
the
Spee
d is
Slo
w (2
1.7)
O �%�$
�� 1
%�� G�
� Y�
G� �+
����� 1
�g% [
� .
�=� S
U� o
ld=0
.4
456�
n�e
� 1%��
1 �g
% [���O
� ��
�1�
� ���F
����
�,e�
� 3�
�%L �
���� �
��
F
igur
e 21
.2 In
terp
retin
g a
Fuzz
y Ru
le
���E
��.�
05<N
Operators
�Fuzzy
� #
$�) '
����
( �
�8
��6�
Rul
e B
ase
(RB
)
��
��4
. #
&8���
#4�I
�8��
6� �
� '
�,���
( �
�� "
�� �
� �
� ���
�� #$
�).
� #4
��+
#$
�)
Equa
lity
of fu
zzy
sets
: Tw
o fu
zzy
sets
Aan
d B
are
equa
l if a
nd o
nly
if th
e se
ts h
ave
the
sam
e do
mai
n, a
nd �
A(x)
= �
B(x)
for a
ll x�
X. T
hat i
s, A
= B
. �
�8��
6� �
$
#$�)
�
Con
tain
men
t of f
uzzy
set
s: F
uzzy
set A
is a
subs
et o
f fuz
zy se
t Bif
and
only
if �
A(x)
��B
(x)
for
all x�
X. T
hat i
s, A;
B. F
igur
e 20
.4 s
how
s tw
o m
embe
rshi
p fu
nctio
ns f
or
whi
ch A;
B.
Fi
gure
20.
4 Ill
ustr
atio
n of
Fuz
zy S
et C
onta
inm
ent
#$�)
J&�
14-5 �
B�-�
#$
�)
Com
plem
ent o
f a fu
zzy
set (
NO
T): L
et A
deno
te th
e co
mpl
emen
t of s
et A
. The
n, fo
r all
x �
X, �
A(x)
= 1
��A
(x).
�
#$�)
AN
D
Inte
rsec
tion
of fu
zzy
sets
#
��!A
ND
(t-
norm
)
��
� �
$ � ��
��� �
$ J�
��) 4
$� -
$� #
$�) �8
��6�
4
•M
in-o
pera
tor:
�A
B(x
) = m
in�A
(x),
�B(x
), <
x �
X •
Prod
uct o
pera
tor:
�A
B(x)
= �
A(x)
� B(x
),<
x�
X �E
#$% ��
�O � �
� V�2
�E#$%
min
��+
�� 4
$% .
'�
�E#$%
�� Y
� �� �
7%A
ND
�6�
� �6�
X6 �
NO ���
�E �
. ��
��� 45
�A
ND
( m
in o
pera
tor)
��
� �� �
W� ��
.
�
���
�O
R
Uni
on o
f fuz
zy se
ts (O
R):
'
���O
R
(s-n
orm
)
�� '�
P �%�$
�� ��
��+ �
����
���O �
� � � S
���P �
� �� �
5
•M
ax-o
pera
tor:
�A:
B(x)
= m
ax�A
(x),
�B(x
),<
x�
X, o
r •
Sum
mat
ion
oper
ator
: �A:
B(x)
= �
A(x)
+�B(
x)�
�A(x
)�B(
x),<
x�
Xs-
norm
���
��P�=
���L
����
� ����
� X �N
O ��� '
�E �
'�
. ��
5#$% 4
5�O
R
(max
ope
rato
r)
�6�
�W� ��
���
.
#$�)
J&�
14-6
(��
�S�
"
�� �1�
>�� L
�����
� V<!
5�W�
�D� �
6��1 �
1��1
Ru
le 1
: if
Ais
aan
d B
is b
then
Cis
c�
� 1C(c
)=m
in�A
(a),
�B(b
) 0�
1 �>
&8���
$� �!�
�� ��
;!� ic
(c)
�
� �
�W��
D� .
�!�,+
� "
�]8 �
�&F� "
��1 �
C
�,$
5��,?
! ,�
4�A �
� �
����
+.
� c(c
)=m
ax{�
ic(c
) }
E2 �
1��1 �
� &2
� "�&
! #$�)
#�:
�4�A
$� #�
�8��
6� �6
��1 �
� c(c
)
"��
.
14-2-1Defuzzification
�
,� B
&,W+
# &,
8 ��
��^��
�! ��
12 "�]
8 ���
�! �
���: L
�����
� $�
��1
�K� #
�:��^�
� #$��
#$��
�
&1��
t��
1 4
�4�A
"�]
8 �!�+
&���
y�)
$�) L
�����
� #
� LI =
0.8
U �
SI =
0.6
4 �
NC =
0.3
&�
�!
�
#���
4� #
&���
"��
�&�
�_��� #
$�) ��
o �! #
$�) "
��� B
&W+ #
��!
$� &�+�
�W8 ��
12 $�
]�! �
�:
:m
in m
etho
d-
max
The�
���
��0! �
� �4
�A "
�]8 �
!�+μ
� �
W��D
� �4
�A E
����!
�W��D
� E2 B
FC 0�
�� 4
��
� \�<
�1� ��
�� �
� .
BW�
J�X�
� ��
� LI =
0.8
��
� ��<
�1� 4 "
��
#$�)
J&�
14-7 :
clip
ped
cent
er o
f gra
vity
met
hod
The�
��&
F� �! �
!�+ �:
p4��
� �
μ E
2 B,FC
0,��
� �,�
&,2
,� �
,��!
D;,
� ��1
2 �$
�6��1
� �
� �
�&�!
�A
"��
�4�A
6�'e
N ���
V,t �
7�� +
��S
��
�! "��
�!��! B
FC 0�
�� �W
��D�
S
8� '��
� "/�
C� Y
��O
ld(7
0)=
0.4
�
�N �
��F ��
�� B
e� ���
��3
��� �
� 1%��
'���
.
� E��
1 �� 5
�W��D
� �1��
1 ��j-�
&:
p
4� 4
�$ #
��j-�
#$�)
J&�
14-8
14-2-2 �
��ETakagi�Sugeno�Kang�(TSK)
� ��
�� �
$ 7�
) L���
��� �
!�+ p
4� �
� �
If
x is
A
and
y is
B
then
z
= f(
x,y)
��
A 4B
4 #$
�) �8
��6�
Z =
f(x,
y)
�
!�+ (
cr
isp
"
�� #�
�j��
&�z
5��?
! e��
��f(
x,y)
=ax+
by+c
.
B
�8 ��
D1BX
� "��
BW� "
%�I &�
1�� #$
�) #�
:�>j�
8
IF x
is A
j and
y is
Bk th
en z i
= p
x+qy
+r
wi =
min
(μAj
(x),
μ Bk(y
))
or
wi =
μAj
(x)*
μBk
(y))
�
� �
�W��
D� �1
�>��
#$��
$��
"��
1 � 4
. i
i i
wz
zw
�
#�
&� 3.
–
If
X is
smal
l a
nd
Y is
smal
l th
en
Z =
-X
+Y
+1.
–
If
X is
smal
l a
nd
Y is
larg
e
then
Z
= -
Y +
3.
– If
X
is la
rge
a
nd
Y is
smal
l th
en
Z =
-X+
3.
– If
X
is la
rge
a
nd
Y is
larg
e th
en
Z
= X
+Y+
2.
–
and�Probability
�Fuzziness
����
� ���
� ��W
O � "�
�O '�
P � S
$�U� Y
�� .
�� '�
����
�� ��
unce
rtain
ity
���� �
� �W
� ��.
#$�)
J&�
14-9
�����
��R��
���
�F _�
L� �� �
N� �� �
1��
_�L�
�� 4/L
'��� �
��� Y
� S$�
U� ��
#�
&� 4.
1�
� ��� �
W� ��
F �� 4
tT� 4
U �� '
� �HU
7� 4
�L 1�
#�L '
�P G�
T��
. '
�6P S
���+ �
� ���$
� '���
' ��
� n#N�
S���
)� �
� ��
�� '
��= �
������.
3
��� �
! �&�
#���
�$�&1�
� �F
�"
�]8 �
�� �
!�+
��
� #
$�) �
$.
N
egat
ive
Larg
e (N
L),
Neg
ativ
e Med
ium
(N
M),
Neg
ativ
e Sm
all
(NS)
, Ze
ro (
ZR),
Posi
tive
Smal
l (PS
), Po
sitiv
e Med
ium
(PM
), Po
sitiv
e La
rge
(PL)
���
� �� 4
�/O �
�7+ '
R����
+ �� �
� '��=
�����
'��
% � �
,� ��
��� ��
0�
1*�
02��3
�*��(
: �
� ����
�+ �%
��L 1�
� ��u
�) G�T
�� �
��� �
�5��U
��)
'�P �
%��P
( �6
����+
'6�
�6�
���� �
� ���
� �� S�
��) 1
�NL��
1�/8O
��7
+ '��
�m�� Q
�� ��
���
7+.
Rul
e 1.
IF ��is
PM
AN
D ��is
ZR
TH
EN F
is P
M.
Rul
e 2.
IF ��is
PS
AN
D ��is
PS
THEN
F is
PS.
R
ule
3. IF
��is
PS
AN
D ��is
NS
THEN
F is
ZR
. R
ule
4. IF
��is
NM
AN
D ��is
ZR
TH
EN F
is N
M.
Rul
e 5.
IF ��is
NS
AN
D ��is
NS
THEN
F is
NS.
R
ule
6. IF
��is
NS
AN
D ��is
PS
THEN
F is
ZR
. R
ule
7. IF
��is
ZR
AN
D ��is
ZR
TH
EN F
is Z
R. �T
�� '
vO����
� Y �
� ���O
�� �+
1��
�� �
�� �W
� Y
�6��� �
6� i�6�
� �6��
Y6 � �
�+ S�
��+ �
��b� �
� Gru
le
1��
S�E�
� B�C
& ��
�+ '�
P � I
���
.
� 5e
���:
9.
w1T�
A �� '
�P �
'�� �
ne�
� "��
O
10. ��T
��� ��
1 �g
% [���O
�� �
� ���
$�
#$�)
J&�
14-10
11. '
��� �E
#$% ��
���$��
�A
ND
�O
R
��T ��
� ��.
12. ���
� B�2
�O �� Y
W�5��
�� �
���$�
�
. 13.
x�#�
���� B
�2�O
���* ���
� � G�
� �� '
�P n
e�� �
��= �
. 14.
���� B
�2�O
���* ���
� � '�
P ����
�+ ���
= � x
�#�.
15. 4
5� '
�P �%
�$��
�� _
$��� �
x����
�20
,6
���+ Y
��NO ��
. 16.
Giv
e th
e he
ight
, sup
port,
cor
e an
d no
rmal
izat
ion
of th
e fu
zzy
sets
in F
igur
e 20
.6.
Fi
gure
20.
6 M
embe
rshi
p Fu
nctio
ns fo
r Ass
ignm
ents
1 a
nd 2
�&�
� �
&8���
�$ �
jr�� �
)
l?<
�� $� �
�)�� �
! (
$� &�+�
�W8:
if x
is S
mal
l the
n y
is B
ig
if x
is M
ediu
m th
en y
is S
mal
l if
x is
Big
then
y is
Med
ium
#
4�4 #
��! "
�]8 �
!��+ ��
�x
�4
�A 4
y &�
: n
��O �
&� �
� 5e
��� �!
&��! B
-� S
!�;�
�
#$�)
J&�
14-11
(a
) U
sing
the
clip
ped
cent
er o
f gr
avity
met
hod,
dra
w th
e co
mpo
site
fun
ctio
n for
whi
ch th
e ce
ntro
id n
eeds
to b
e ca
lcul
ated
, for
x =
2.
4. *
Con
side
r the
follo
win
g Ta
kagi
-Sug
eno
rule
s:
if x
is A
1 an
d y
is B
1 th
en z1
= x
+ y
+ 1
if
x is
A2
and
y is
B1
then
z2 =
2x
+ y
+ 1
if x
is A
1 an
d y
is B
2 th
en z3
= 2
x +
3y
if x
is A
2 an
d y
is B
2 th
en z4
= 2
x +
5 C
ompu
te th
e va
lue
of z
for x
= 1
, y =
4 a
nd th
e an
tece
dent
fuzz
y se
ts
A1
= {1
/0.1
, 2/0
.6, 3
/1.0
}
A2
= {1
/0.9
, 2/0
.4, 3
/0.0
} B
1 =
{4/1
.0, 5
/1.0
, 6/0
.3}
B2
= {4
/0.1
, 5/0
.9, 6
/1.0
}
#$�)
J&�
14-12
14-3(A
dapt
ive)
Neu
ro fu
zzy
syst
em
� &�
��: &
����
: #���
����
"A�
� �
B�-�
��0!� 4
W?
8 �-W
� 4 #
$�).
� J
&� ��
�&&O
0�
5��?
! &1��+
�
W?8 �
-W�
�� p
$��2 "
�j!�� 4
&��
�
"��
'�) B
!�� �&
��� �
�����
M��+
#$��
%&� 4
&:
� 7�6
1� ���
e�! ~
;� #
$��%&�
#$�)
�
,��+
p$�,
�2 E�
,-��
��� �
A #�
�� � "
�j!�� �
! �4K
8 ��
��
� B*�
I
$��%&�
4 �
� \���
+ �6�
�1 �
M "
����
0�1 ��
�) l
?<��
. �
�! l
?<��
M��+
��%4�
#$�)
&8���
��
� �
� �-
W�
&��
� B���
+ �� �-
W� p
$��2 &
���) �
�
� p
$��2 �
�� 4 &
�� �
��� l
?<��
p$��
2 �! �
��+ �!
'��
�� &�
�! &! �
-W�
p$��
2 ���
&�
�! l��1
l?<
���
��
� ~
�D?+
l?<
�� M�
�+ �&
� � �
~�D
*�1 �
�%4� ��
&F� p
$��2 �
!.
� W�-
W?
8 #$�)
�
U# 4�
4 �e
( #
��� 4
"��
W?8
�-W�
&�1��
3 "
�� �
4�A �
e (
4
1��� �
e
La
yer 2
La
yer 3
La
yer 4
La
yer 5
La
yer 1
y
x1
A1 A2 A3 B1 B2
x2
C1
C2
x1
x1
x1
x2
x2
x2
� B1
� A2
� B3
� C2
� C1
� R1
� R3
� R5
� R6
� R4
R1 R5R4 R6
� R2
R3R2
B3
� A1
w R3 w
R6
w R1
wR2
w R4
w R5
� A3
� B2
1�is�the�input�layer
�Layer
"
�� B?
�� #�
� 4�4
$� -
�! �
e �
� ��� �
:
fuzzification�layer.��
�2�is�the�
�Layer
#
4�4 ��
&1��
� ��� "
�]8 �
!��+ �
e �
� �
&���
� B
&W+ #
$�) #
������
� �! ��
��
. &,
1��+
� "�]
8 �!��+
�� &�
��!
XjX�
�! ��
����O 4
{a
,b}
&1�
� �
���
+
#$�)
J&�
14-13
(b) E
ffec
t of p
aram
eter
b.
0.2
0.4
0.6
0.81
a =
4, b
=6
a =
4, b
=4
�
0
46
80
1 2
3
57
X
(a) E
ffec
t of p
aram
eter
a.
0.2
0.4
0.6
0.8 1
a =
4, b
=6
�
a =
4.5,
b =
6
0 4
68
0 1
23
57
X
3�is�the�fuzzy�rule�layer.��
�Layer
��
� KX�
&���
: #$�)
&8���
$� -
�e
�� #
�: ���
$� (
�:
R1
�&
8��1
E2 #
�,� 4
�4 4 &
�� �
J&�
��A
1
4B
1
&���
: .
W?
8 #$�)
� A
ND
�
� 7�6
1� ��/
�! "
�� �-
��
11
1)3( 1
R
BA
Ry�
��
��
,
(3)
(3)
(3)
(3)
12
ii
iki
yx
xx
�,
,,
�
4�is�the�output�mem
bership�layer
�Layer
"
�� �
4�A "
�]8 �
!��+ �&
1����
! � �
e �
� .
�!�+
�e �
� #�:
���O
R
&���
� �
��O ��
1
63
)4( 1
C
RR
Cy�
��
-�
�
(4)
(4)
(4)
(4)
12
ii
ili
yx
xx
�-
--
�
��&F�
�C
1 #
�: ���
$� (
�D+ \
���+ �
!��!R
3 4
R4
"
��
5�is�the�defuzzification�layer
�Layer
�
� �
7�61�
w�;
� #���
4� $�
- M�
�+ �
4�A "
��� �
! #$�)
"���
� �e
�� �
. p
4�su
m-p
rodu
ct c
ompo
sitio
n
� J
��8� �
$ \
�+�+ �
!
��
E2 �
��
C1
4C
2
"�,
]8 �
,��+ $
� �,+ 4
&�
��:
�4�A
�&�
N�j�
2
21
1
22
21
11
CC
CC
CC
CC
CC
bb
ba
ba
y,
,,
,,
,�
�
�
��
Learning
"
)�� ��
-! E��
+ �
W?8 #
$�) p
$��2 #
��! �� �
-W�
p$��
2 #���
4�
14-3-1��ANFIS
� p
$�,�2
",�j
!�� �,!
W?8
#$�)
�-W�
d�1 (
on
line
7�
,1 �,!
Ada
ptiv
e ne
uro
fuzz
y in
tfere
nce
syst
em
(AN
FIS)
�
� �
�&1��A
. #
�: �e
�-W�
�� �
1 42
"��
W?8
#$�)
�-W�
#�:
�e �!
��� �
F��
#$�)
J&�
14-14
3�is�the�rule�layer.��
�Layer
�
AN
FIS
&8
��� p
4� $�
TSK
�
� �
� ���
�� . 4
AN
D
��
�
+��j�8
��/
�!.
IF
x 1 is
A1
AN
D
x 2
is A
2
. .
. .
. A
ND
x m is
Am
THEN
y
= f (
x 1, x
2, . .
. ,
x m)
��&
F� �&
8�� (
� �
��
y=
c
U��*
�W+��
�&8��
E2 �
! ��
���
+ "!�C
zero
-ord
er S
ugen
o
�! ��
&���
�
sing
leto
n
��
� �
��+
. �
���
�&8��
B!�F
�1
first
-ord
er S
ugen
o �!
���
#� �j
��&�
z1
��
� E
��!.
y =
k0 +
k1 x
1 + k
2 x2 +
. . .
+ k
m x
m
(3
)(3
)
1k
iji
jy
x�
�"
y(3) =
�A1
, �
B1 =
�1,
.1
4�is�the�norm
alisation�layer.
�Layer
�A
NFI
S
��
W?8 #
$�) �!
�)�/
� �� �&
��� J
���1 �
e �
� i
n jj
in j
ji
iii
xxy
��
���
�
��
11
)4()4()4(
1
43
21
1)4( 1
N�
��
�
�
�
��
y
Layer�5�is�the�defuzzification�layer
�/
0/
0 21
2
1
2 1
0 2
10
)5()5(
xk
xk
kx
kx
kk
xy
ii
ii
ii
ii
i
�
�
�
��output�layer
6��Layer
�/
0(6
)0
12
11
12
nn
ii
ii
ii
iy
xk
kx
kx
��
��
�
N1
y
N3
N2
N4
1
x2x1
Laye
r 2La
yer 5
Laye
r 3La
yer 4
Laye
r 6La
yer 1
A1 A2 B1 B2
x1x2
1"
2"
3"
4"
2 3 4
#$�)
J&�
14-15
Learning�in�the�AN
FIS�model�
� p
$��2
AN
FIS
�>���
<+ \
���+
LS p
4� 4
grad
ient
des
cent
"
�� .
4 "
,)� ��
,�� (
, B�
�� p
$��2 7
�� �:
"��
"��
�! ���
� (
#�
&� 5.
�
�eF �
�? G�
T�� '
�T���
AN
FIS
#&�
!4 '
����
2co
s(2
1)x
xy
e�
�!A
NFI
S
��
� J
&�.
'��
�� $�
100
#
��! ��
x1U
x2
4y
�>��
&�%�+
p$��
2 #��!
. �!
p$��
2 �6�
�1 B-�
2 43 #
��,! "
�]8 �
�+ $�
&�! ��
# �4
�:10
0epo
ch
&:
� E��
1.
1 -3
-2
-1 0 1 2
-1-0
.5
0 0.
5
0 2
46
8 10
y
x1x2
Trai
ning
Dat
a A
NFI
S O
utpu
t
0 2
46
810
-1-0
.5
00.
5
1-3-2-1012
x1x2
y
Trai
ning
Dat
a A
NFI
S O
utpu
t
&:
� E
��1 ��
�: "
�]8 �
!��+
��1 4
��%4�
��&F�
���9
�: B
-�
#�
&� 6.
�
���
'���
�����
�+y
= si
n(2*
x)./e
xp(x
/5);
x
= (0
:0.1
:10)
';
y =
sin(
2*x)
./exp
(x/5
); trn
Dat
a =
[x y
];
num
MFs
= 5
; m
fTyp
e =
'gbe
llmf';
ep
och_
n =
20;
in_f
is =
gen
fis1(
trnD
ata,
num
MFs
,mfT
ype)
; ou
t_fis
= a
nfis
(trnD
ata,
in_f
is,2
0);
plot
(x,y
,x,e
valfi
s(x,
out_
fis))
;
01
23
45
67
89
100
0.2
0.4
0.6
0.81
x1x2
-1-0
.8-0
.6-0
.4-0
.20
0.2
0.4
0.6
0.8
10
0.2
0.4
0.6
0.81
(a)
Initi
al m
embe
rshi
p fu
nctio
ns.
01
23
45
67
89
100
0.2
0.4
0.6
0.81
-1-0
.8-0
.6-0
.4-0
.20
0.2
0.4
0.6
0.8
10
0.2
0.4
0.6
0.81
x1x2
(b)
Mem
bers
hip
func
tions
afte
r 100
epo
chs o
f tra
inin
g.
#$�)
J&�
14-16
lege
nd('T
rain
ing
Dat
a','A
NFI
S O
utpu
t');
#�&�
7.
� �� �
� �5��
� � G�
T��
AN
FIS
���
+ � �
��
uy
yy
yy
�
�
3*5
*5.5*
10*
10�
�����
"
�� ���
F�� $�
'��
�� �
� "%�I
#�]
) J&�
:
?,
,*5
*5.5*
10*
10,
,,
,
32
13
31
23
3
33
21
23
2
23
21
12
1
��
�
��
��
��
��
��
��
)x
x(x
f
u
x
xx
xx
x)
xx
(x
f
xy
xx
)x
x(x
f
x
yx �
����
�
J
��6�
�!�+
��f3
# 4�4
#��
3��
� �! &
�! ��
"��
- �
�
�����
�4
�A .
#�,�
� �$�&
,1� �
4�A M
F) E�
z �
� �
� ���
�� �>
#�
� 4�4
���
<+ #
��! ��
"4�
$� �
� �
.
y3f
y���s 2 S
�!
'���
�od
e45
#
��! #
4�4
PRB
S
�W+��
8 �
� �
#$��
��W�
. �
� �
�W��
D� q
1��
�;!��
$� ��F
���
tt
yt
ty
y1
�1
�
)(
)(
�
$� B
*�I
�4�A
�! #$
�� ��
W�od
e45
d0y = y;
�W+��
5�F�
�� �W
��D�
1 U2 43 dt = 0.01;
d1y = diff(d0y)/dt;
d2y = diff(d1y)/dt;
d3y = diff(d2y)/dt;
- U#
&8 #
��� S
��� �
�! �: �
E�z
S
��� #
�: ��
%�� �
&�+ �
��!��!
U ��
� '
� �: �
� $�
3 �
,���
E��,��
! �
� �
��)��
�G1 �
.
n = numel(d3y);
J
&� #
��! �
4�A 4
# 4�4
���
+A
NFI
S
Inputs = [d0y(1:n) d1y(1:n) d2y(1:n)];
Targets = d3y;
&�!
J�I
AN
FIS
'�
:&! p
$��2 ��
. d�
1 $� "
��� �
� �
'su
geno
' �
�1���
�&�+ 4
' �
� � ��
���
)ru
les
( �!
��! ��
�!10
' �
� ��<
�1� .
% Train ANFIS Model
fis = genfis3(Inputs,Targets,'sugeno',10);
fis = anfis([Inputs Targets],fis);
�� "
�� �$
B-�
5��?
! #$�)
'��
�� (
B�8
�� �
6��1
3 #
4�4 �
+y
yy��
� ,,
�! ��
y��� &�
� � B
&W+
.
#$�)
J&�
14-17
'
����
&�! J
�I3f
3��
��! ��
AN
FIS
Ue�
! �&�
� � p
$��2
�
� #$��
J&�
. % Create Model
fhat = @(t,x) [x(2) x(3) evalfis([x(1) x(2) x(3)],fis)];
'
��
� � ��
��� #
$�� J
&� #
��! KW
� ��
/��
J&� #
�� �!
� �,�
� ���,
�� #$
�,) $�
',
� .
J&,
� �� J
&,� �
,� J
��� �
%� "��
� � �
&�2 "
�&! J
&� 4
���
<+2
�,G1
� ,
���4 J
&� E
����!
�! �
&� �
�����
/��
�!�+
$� ��
� � �
� ���
+ �;A
E����!
�� 4
�� B
/��+
4 '��
�
'�
. t = 0:0.01:Tf;
x0 = [0 0 1];
[t, xhat] = ode45(fhat,t,x0);
e = x-xhat;
m���4
�
E��
1 ���
4 4
���<+
J&�
4 �
�A S
!�;+ 4
�;A
�� ��
1
'��
�,>%� �
j�,��
! W,�
��� B
-,�
�,! '
�,���
&,:
AN
FIS
"
�� �&
� J&
�.
J��>
�� (
J&�
�� #
4�4 #
��!PR
BS
"
,�� �&
,� �
,��+
. U
�,��
�� �
� B�
-,�+
$�R
esid
ual
E
2 #��,
! ���
�W��
D�
'���
"
�� �&
� � �
E��
1 B-�
� ��
.
01
23
45
0
0.0
1
0.0
2
0.0
3
0.0
4
0.0
5
0.0
6
0.0
7
t
x1
x xhat
01
23
45
-0.0
4
-0.0
20
0.0
2
0.0
4
0.0
6
0.0
8
0.1
t
x2
x xhat
01
23
45
-0.20
0.2
0.4
0.6
0.81
1.2
t
x3
x xhat
#$�)
J&�
14-18
05
1015
2025
-0.50
0.51
Cor
rela
tion
func
tion
of re
sidu
als.
Out
put y
1
lag
-25
-20
-15
-10
-50
510
1520
25-0
.2
-0.10
0.1
0.2
Cro
ss c
orr.
func
tion
betw
een
inpu
t u1
and
resi
dual
s fro
m o
utpu
t y1
lag
15-1 15.
Mod
el b
ased
Fau
lt D
iagn
osis
e
F ��
I�% �
XW+
Faul
t det
ectio
n an
d di
agno
sis
(FD
I)
���
�R� GR
� �#yT
� �
�� z
���U 1
� ��
�/L��
� ��?
Abn
orm
al e
vent
man
agem
ent (
AEM
)
��� �
� 4�5W
O �� .
��� X
W+
(��T
= �� �
���F �
E�� �
*��+
�� '
��=�#�
����O
f�+
�� � '
��=�#�
. ��
�U �
$�����
) 1N�&
�� �/
L��� �
�? ��
F �� �
�� ��
220
��� �
� �� �
�� S�
�� �3
� ��
��.
�'� Fa
ult
: ���
�� �
��= �
�� ���
,� �� G
�T��
��m��
���
��) {
��C�� �
� ��$
% eF
. f
��6P� �
��� �
OP��C
���*
S8�� �
����O
1���+
f�+
���
+�� �
�� "
���U �
���
.
�Fa
ult d
etec
tion
: e
F [ ��
� Yy
$e� �
5�3�
��U |
�bWO
�
Faul
t iso
latio
n:
eF 4
���% Y
�� '��
���
�Fa
ult i
dent
ifica
tion
: �
���� �
eF _�
� Y��N
O¡ �)
����� �
A �� �
�����)
���+
( �
Faul
t Tol
eran
ce
��� �
���� S
�/L 4
�L ��e
� ��F �
�5#$%
�� ��
���� e
F G?��
#% G�
T�� �
+ '��R
$O.
�Fa
ilure
���
�� S
�� ��
�mO ��
����
�+ G�
T�� �
� ��$
�� ��5
#$% ��
G �� �
�� �
�'� �
�*
Cau
se
% '����
eF
�� �
� �+ �
�� �
� � �
�#�
root
cau
se
���� �
� ����
F .
���6F
� �6�
failu
re
6 m
alfu
nctio
n
�� �=
��.
���� �
� G�T
,O ���
� �� �
� � e
F 4�%
1-
����
��
.����
��� ��
���p�
: �;
A d�
1 ��
5��*
4 �!
1 ( �C
� ���^
+ �&
�1 #
��� �$
�&1� #
4�4
4 J
&,�
%�&
�2 (
'��
�� #
�:����
��O ��
�^+&1�
� �
�&
. &1�
�����O
� ��
�^+ �!
�6��
5��*
4 �:
%��
I�
15-2 2-
Str
uctu
ral
chan
ges
: &�
)� � �
�� $� �
&�8 �
�;! '
����
#��1
��%� $�
-
�;A
w�1 �
� �
�,
� #�,D
1 �!
��
� '
����
J&�
���^+
�! �6
��.
3-�B7
�S� "
�.�'
��
�� ��
���
4- �
��4 �
����
��6
�8; ?
�N :
��
��
���
;� 7&
8 4 0
�1 &�
1�� B�
��8 B
W� $�
&1� �&
�1 J
&�)
�,�%4
� 5�,8
Kc�
��&1
��4
E�12
��� �
(
�� &�
��!
� �$
�I �
FDI
&1�
�&1 ���
�
6���
� 7! ��
�� +"�
.89!
%FD
I
1-D
etec
tion
time
: �!
B!�F+
� �
�� �
��fa
lse
alar
m
�� �
���.
2- "
����
ISe
nsib
ility
�;
A B!
�� ��&
F� �!
3-
Isol
atio
n er
rors
:�:�
;A (
�-�+
"�j!�
�
4-
Rob
ustn
ess
:&�
�! 74�F
� "��;
� 7&8
4 0�
1 �! "
W�1 &
�!.
,,,,��
� �,,,
,! �,,,
,�Fa
lse
alar
ms
4
Mis
sed
dete
ctio
n
"��
'�
5-N
ovel
ty id
entif
iabi
lity
: �,
;A �
,� B�
�8 ��
&�� 7
K8� &
1���! �
� #�D
1 �! �;
A B�
��8 �
�! (�-
�+ "
�j!��
'��
�� �
KW�
"��
�&�1
���
+ .
6-C
lass
ifica
tion
erro
r est
imat
e :
�;A
#&�! �
�� "
D* $�
���<
+ �_���
7-
Ada
ptab
ility
:&�
� 7K8
� �;A
E���8
�! �� $
�6� 5
����^+
&�W1
'���
�
8-Ex
plan
atio
n fa
cilit
y :
�;A
E&�2
���
! ��
z ~�
/�+ E
�-��
9-
Mod
ellin
g re
quire
men
ts :
�� �
1� K!
'��
�� (
���
� #�
�! &
�! &��
� �
�����
��
%&� ��
�A��
�&�
�! \��
��
10-
Stor
age
and
com
puta
tiona
l req
uire
men
ts :
"8��
4 �G
)�I ��&
F�cp
u
$��1
���
11-M
ultip
le fa
ult i
dent
ifiab
ility
:�1�
� &�z
#�:�
;A l
�<�+
"�j!�
�
,��
1*FD
I
�� ��
��PFD
I
1�� �
� 'R�
= '�
��
1��
�� �
�� �W
� 45�
�� �+
1 ( ]'
��= �
����2 (
'6R
�=v �
j��b�
�� e
F � I
����
S�E��
��T�
��3 (
eF �
=v � �
S�E�
� �=v
� Y�� n
�/eO
4 (eF
Y��N
O
%��
I�
15-3
�� �
�� ��
hb�
� 'vO��
��� Q
�� ��
4 �
=FD
I
��� �
6W� 4
5� ��
�+ ��
� �� �
� � R
5��5O
�� '� �
%�$��
1�� �
�.
�;�
%" <��
��
3 '
��� (
�� ���
�FD
I
���� �
���
�
Qua
ntita
tive
mod
el-b
ased
met
hods
: �
� XW+
S�� �
G�T�
� ��5
#$% {
7�F�
�� eF
R��
� Y � �
���� .
]�E�
�� �� �
��/� '
R���
parit
y���
�� '�
���� Y
� �� Y
�$bO �
Y$�+
��#�P
].
�Q
ualit
ativ
e m
odel
-bas
ed m
etho
ds :
'R$
� ��E
��
����
Si
gned
dire
cted
gra
ph (
SDG
) , Fa
ult
Tree
s ] Q
ualit
ativ
e Si
mul
atio
n (Q
SIM
) , Q
ualit
ativ
e Pr
oces
s The
ory
(QPT
) �
Proc
ess h
isto
ry b
ased
met
hods
.
����
���+
'R$
� ��E
��
expe
rt sy
stem
s ]
qual
itativ
e tre
nd a
naly
sis
(QTA
) �
�6���
�6$+
'6R
$� ��E
�� �ne
ural
net
wor
ks ]
PCA
�st
atis
tical
cla
ssifi
ers
���
�� ���L
. ]�
+��F '
R5��5
O Y � G
?��#%
FDI
1�
� ��O��)
� �� �
5�� �
�u$�
. )�8
Dec
isio
n m
akin
g
���� �
$� }C
� �� �
� 1��
'� �
'���
��+ x
��W� �
= Y
�
%��
I�
15-4 15-1
Qua
ntita
tive
mod
el-b
ased
app
roac
hes
��Z
� ��
I�% �
����+
"%�2
�� ��
"m
odel
-bas
ed F
DI.
1�
� .
�6� �
6� 6e
F S�E
�6� R
��� Q
7+ Y
� ��
��$
�L�
Res
idue
(r)
1�
eF {
�N� �+
���=
�� ��
��O .
�E��
�P� ��
�+ ~
C� � �
+ Y
����
= �� "
��& .
.>�%
?@�R
edun
danc
y
1�� �
�� �E��
�P� ��
�� I
�% '��
� .
�#�#C
O '
���P� 1
b� 1
�� Y5
$� �E
���P�
anal
ytic
�6�
� .
�#6&
� {�6�
eF �
��+ �
T ,�
�* �
�� �NL��
G�T�
� ��P
� ����
� �+ �
�+ ���
�O G�
� G�T
�� ��
S�� �
�+ 1
�� �*
�E���
P����
|�b
WO ��
. �"
�?@� �
A� .
>�%?@�
��6
T� '
6����
+�� �
6�$�
)��� ��
�6+ �
�6� �
6� n,
C� �
P2� ��
T�� 7
8� IZ
� �
'�
��� �
� ��
���
.� (
�� Y
�1�
� �P2
� 'g
P |�Z
bO � �
� ��
� ��$
.
�B� .
>�%?@�
) fu
nctio
nal,
artif
icia
l (
'6R
����F
� 6R
����
]���m
�� Y�
� ����
'�
/� >
���� >
��O
��� �
� ���
�� G�T
�� .
��� �
� G�T
,O ����
� G�
,�T� _
�� �� �
� �E��
�P� Y
�.
��6�
��� .
>�%?@�
���
,�x
= ���
�� ��T
�� �
>��
O ���
,� �7
N� ���
�� '
��x
6� �6
E � �
�,� �
�T��
��1�
� �#&�
��T�
� ��e
F ��N�
�� ��
�* Y�� {
7�F�
]��� �
� �/�
C� '
�/� >
����.
��
.�� �
.>�%
?@�
1��
� ��+
�� �
����
R+�C�
'���
� � �
��T��
���
�F Y
�� i/O�
� �+ ^
��� �
"3�N
� �
� * �
�.
�� �
E���P�
���$
% ��F
� 45
���
� �� �
W� ��
��
I�% G
�T��
.
.�B
� .>�%
?@� S
�E��
� �R�
��� ��
eF |
�bWO
'��� [
��� S
�E��
O ���
��
����
� �2
� 'R��
� �� �
#�#CO �
E���P�
�����
� �NL��
G�T�
� .
1�� e
F ��N�
�� S
�� �
�NL��
G�T�
� '��
�m�� Y
�� {7�
F� .
�6 �
�� �
� ��$
�L� Y
�O �
�� ��
&���
�,#O
G�� G
�T��
.
�� ��
��6F G
�6T��
�� {
�6N��
��? �
��mO �
�R
esid
ue
�6�� �
6� �6
W� .
�/�C
�R
esid
ue
1�� �
���
��
�/N�
S��
�#�#C
O �2
� S��
Y��
�� ��#�
T� .
�� G�
6T��
Y6 �
456�
��� �
� �W
�
%��
I�
15-5
6�
��� 0
�
���T
� ���
��) R
$�T��
�A �=
� '
R$� �
�E�� �
��FD
I
��TT
=���
� �� �
����
. ��
G�T�
� S��
'R�
�� I#
?� �
� \�P
�eF
���= �
eF �+
�e,� S
�U �
� ���
�eF
��? G
�T��
�=� �
���.
S��
G�T�
� "
��Z� �
� G��
1�U
'gP
��+ �
� ���N
O � � "
��Z� S
�� ��
�= ���
L eF �
�!O 1
CO G�
T�� �
�L�
�* �
� �=
p 16
�� G�
T�� '
eF �
S7�F
� ]��T
�� ]x
�C� '
eF �
���= �
� �� .q
�6�=
���6��
'6e
F �6�
$�
1��
.'�
��� S�
�-
1��� �
��O ��
���E
� � ���*
��H�
����F
C�
��� D
2E �!
�1F �
�G�'�
eF
Y�� �
� �5
� � ��5
�
����
[$� '
�ad
ditiv
e
����
V�2
�m
ultip
licat
ive
��
4tL
��5�
O .
��� S�
� '
"��Z
� ����
V�2
'�
eF
��
�� [$
� �
�+
� 1�
� ��F
��� '
�eF
� � �
� ]�W
� S��
"37
�F�
. [6
$� '
6eF �
6+ ��6
� �6�
� � S
�� ��
�T ,�
� �
6� ��
��� S
�R�� ^
�O�
����2
��#N�
S�E
�� "
��Z� �
��� V
�2 '
eF �
S�R�
� S�E
�� "
��Z� �
��� ��� .���
�� �
��= 1
�NeL �
�% R
� � �$
O �� �
����+
"���
� ��.
%��
I�
15-6
��
&'( )
�* % �
'�
'R�
��FD
I
���� 4
tL �
�5�O S
�� ��
1�Ne
L ��%
� eF
Y�� �
��� �
�L �
� .
�� ����
L �� �
�
��!O
��$�
L����
�,#O
eF ��
��N� �
�����$�
��$
�L� ��
{��C
�� �� Y
�����
����hE
� .
1�Ne
L ��%
'���
� ��
�#�P (
�� �
����
� ��$O
4�L
eF �!
� O ��
�= ��
��0
. re
sidu
als
& st
ruct
ural
onal
Dir
ecti
�
N�O �
#+ 1�
U ��
��$�
L� '
�����
1�� G
�T��
���
�F �
'����
��
r=g(
y,u)
���
�� 'R�
$�� �$
O S��
� 1�U
��r
���T�
��&
. di
rect
iona
l re
sidu
e:
�U��
0 ��
r s
F '
eF �
���
�� �*
�$�� �
� �+ �
�� 4
$% �/
�O�O �
� 1��
Y5$�
���
. �
� I�
O�O Y
� ��
r 1�
� 4$�C
� '�
eF ���
NO ����
� .
(��
Y � �
�di
rect
iona
l res
idue
��
�= ��
st
ruct
ural
res
idue
�
$�� ��
� ��/
� ���E
� � 1�
� Y5$
� 4�,�
��r
�+ ��
� �W
� �� �
eF ��
'� �%�
$�� �
� ���
�� ��R�
$�� ��
�,� Q
�� ��
'��=
G�$Z
O fb�
��r
���� �
�5�O �
eF .
��F�
Y � �
�st
ruct
ural
res
idue
��
�= ��
. �;1�!"
�>$�
�� �
�O�/%
��=
Y � '
R$� �
�E�� �
� �gN
�:
odi
agno
stic
obs
erve
rs,
opa
rity
rela
tions
, o
Kal
man
filte
rs a
nd
opa
ram
eter
est
imat
ion
15-2 2�
.���
�%"
Obs
erve
r
����
eF {
�N� ��
���ZC
�� "�
�Z� �
+ 1��
��$�
L� '
R��E��
����O
'�E�
�� V
I�%
{��
. �
�$�L
� Y �
���� �
�,� S
�� 1
�NeL �
�% �
� �� �
� 1/T
� � �
�.
�� �+
����=
�� X
�NO �
�E� �
� �� '
� �%�$
�� �
(��
Y � ��
"3F
�� ��
� sF
'eF
XW+
|�b
� �
�6���
O 6� �
6Z�Z
bO �6E
� �� s
F '
eF ��
�� "��&
�� �
���+
�� ��
��O �
A�+ �
���F
��E
� �� �
$� '
�%��+
�� �
7%� ��
eF _
�L� �
��� �
���F
. .
�1* 2
>�!%"
%��
I�
15-7
� � G�
T�� '
���
1�
�� ��L
Y � ��
�E� �
� �e��
�
��
�E� �
eF X
W+ '
��� ��
$�L�
��� �
� X �N
O
L
�+ ��
�= ��
Vb�
�� '�C
� ��
A-L
C
��� �
�� )
. '
�6TO
�6�� �
h6) �
�5�O e
F �� 1
/T� �
e��� �
5� � '
��� O
�/�C�
� �
W � *
1��
�.
��
�e���
V�2
�W
�e���
]se
lect
ive
� *
�� �
����
eF '
���.
0�;�
�+%"
% 2>�!
%"
'���
'�E�
�� Y�
�A Y
� 1F�
�C�
� � G�
T��
�� �+
Fp ��
4,�T
� � Q
TU
d � �
"��Z
� ���
S�R�
�
��
�� �
N��O
. Q
�� ��
�+ 1
�� ��
� �$�
��E�� S
Uu �y
Y�6$
bO �� 1
6�U '
���m�
� �����
� �� '
��= �
�������
� .
�+ ��
� �� �
��� �
� '���
S���P
� �+
Y �
e �
Y�$b
O 'eF
r 1�
� ��$
�L�
��
4,�T
� �e��
� �5�
� '���
d ��� .
��H�
� Y � '
���T �J
�+ ��
��= �
� Vb�
�� '�C
� �� �E
� ��
TE=0
�J=
TB
��� . ��
��� ��
Vb�
�� � S
UG
�+ '
�C� �
� �E� �
�G
C-T
A=-
HT
�+
H � *
�� 1
��� 1
�� ���
).
%��
I�
15-8
�H� ��
�� '
eF ��
>,P
3U �+
Fp �
�$�L
� I�O�
O Y�$�
�� �
1�� �
�T���
r . �6
+ S��
� 1�U
��Fp
=0
16�
� ���
,�e
�* [/
O �� �
r ���
�� �
�& 1
$� ��
.
e
F ���
� 1�U
�� �
�e
S�E�
�Fp
S�6R�
� '���
� �� 4
,�T� Y
� � ��
+ �� S
/�� ��
d 16
�� .
�* �6
� ��6�
� ��0�
;� �
+%"% �
� 2>�!%
"
�� �=
��
#�
&� 1.
eF �
� G�T
�� ��
���� �
��� �
�T��
' .
1�� �
��EA
��$�L
� �e��
�
� 1��
����� �
���F
��T�
� 'eF
�
��
�����
F � � �
��L ��
��$�
L� � �
E� ��
'eF
�����
��.
�
��� �
� ���
� ��#�P
� �+ 1
�� ��
� ���
�F Y
�$bO >
,P (
�� Y
� ��.
�1�
� GR�
�#yT�
� �
+$+
���� �
�,�
.'
� 2�I
6���
����
�� �
eF ��
? 'R$
�T��
� �e
faul
t af
fine
�6
� "��6
Z� G�
6T��
�6+ 1
6P�= �
��O ��
f�) �
� �� �
� (��
��� ��
���
1�
�� ���O
�� �
� "��Z
� �� �
eF ��
? �E�
��
1
�� � �
���L �
� RT
�O� >
��� �+
��
4,�T
� �e��
� �� ��
�� O
d '
���e
���.
%��
I�
15-9 �
'�E
� '
RU�0
V I
�% �U
��0 '
��� �6
�P�= "
��6&
�6eF
�6�?
'R$
�T��
�� �
R�7+
'���
'�E�
��1�
�.
�JK�
�
��� �
���� 4
���% �
E � �
�H� ��
�� '
eF Y
�� ���/
L 4�L
��5�
O ��$
�L� �
+ 1��
Y � {
��
� '
��� �
� �#��
O � ��
3�$N
� '��=
G�$Z
O fb�
��r
��� �
� ��
��� e
F �7%
� ��%
�7%
� '���
. �,
/01�
� ��P�
= ���L
����
� ����
��� �
/Z% �
5/� �
'��*
'��
� .
� �
� ��� �
� ���5
Or
1�� �
��$0
� 1�#�
L � 1
%�� �
�e���
��
15-3 �
%" M
��'� N
��%" P
arity
rela
tions
�E
�� �+
���� �
��� �
NL�� G�
T�� �
�+ 1
�� Y
� (��
Q��
S�6�
�6��$
� ��6�
�6�
'��=
����� �
* 'R�
(��
]�6�+
�6� '
�6� �
�/� '
���� Q
�� ��
�� G�T
�� �
�P� �+
1��
�����
G�T�
� �� �
$��
parit
y
n6�/
eO1�
� ��&
S��� �
=���
1�U
�� �+
��+ �
� �A �
� G�T
�� ��
��P�
Y��
.. ��
% ]'�
�= ���
�� � ��
��P �
�� 4���
�� �
NL�� 1
�U ��
��
�� �
�6+�C
� � �
��6T�
� '6�
eF ]S
�6� ��
1�Ne
L1�
� ��&
��? ��
5#$% �
� eF
1 R
�.
� '
��� �e
���� ��
��� �
��pa
rity
��
� eF
���+
^5N�
� >,P
�+ 1�
� ���
. '
��6N�
� 'R6
��� >
��� 1
CO1�
� �� �
t���
� �=
�n
� ��
�= ���
�� ���N
Om
� ��
� 1�U
'��
�m�� �
N�n>
m
�����
�E��
�P����
� ���
� '��=
. 2�8
C����
� ��'�
G ���
eF ��
��� ��
^
�O�
Y�P�=
�H� ��
�V
�e���
parit
y
� * �
� 1��
�.
Y
�P�= �
H� ��
�V
�+V
C=0
1�
�� G���
�F ��
�
%��
I�
15-10
����
�+ ��
� ��
� �ith
^ �O
�V
��T�
� 1�N2
� ���
+ ^5N�
�ith
����� �
�p
1��
. 2�8
C����
� % ��
!�2@ �
�'�
��G�
T��
���+
~C�
� �
��� �
E���P�
y(t-k
), k=
0,…
n
� * �
� 1��
� � � >
����
� 1
�� ����
� �T
�O� "
��Z� >
����
�� V
�2 �
�� ��
��
�+
���=
�U��0
'�C
� �� �
� ��
$�L�
faul
t se
lect
ive
�6
�P�= �
��L ��
�O ���
� 'vO��
��� ��
�e���
Y � ��
���
1��
15-4O
ptim
izat
ion-
Bas
ed A
ppro
ach
���
�� Y�
$bO �
�� ���
� G?��
#% ��
eF ��
�R� �E
��$bO
� ���
�� '
��� S�
��P e
F R�
�� Y
� ��
15-5 K
alm
an fi
lters
��
� �� ��
� � \
���� >
��� 1
CO G�
T�� 1
�U ��
m�� Y
�$bO Y
$�+ �
�#�P
). ��
6��� �
6���F
�6O '
��6� >
�������
��(
Y
�$bO
x ���
�� �
����P
���E�
�
%��
I�
15-11
S�
E�� �#
yT� >
��� 1
CO
1�� �
��� .
���
�F '
�� �*
�!� �+
eF ��
�� "
��& ��
yi ��
� �W
�e i
��� �
� ���m
O (�b
���
15-5-1 P
aram
eter
est
imat
ion
���
6� �
� {�C
�� ��F
���
���,�
�� G�T
�� ��
� ��
����)
�����
) eF
_�L�
� .
���6) Y
�6$bO
'R6�
�� 6�
����+
�&� ��
�����
) {��C
�� ���O
�� G�
T��
. 1�
� �� �
t��� ��
0 �� 4
� ��
1
�� �O
/�C�
'R�
=��u
�) '����
(��
Y �
1�� I
���
���� V
�2 '
�eF
'���
&�ZF
�.
f�6)
S�� �
=���
� �NL��
����
e 1�
� ����
. 1
��� �
��mO
e 1�
eF �
��� �
W� ���
ba
sed
-Fu
rthe
r di
scus
sion
on
quan
titat
ive
mod
el
%��
I�
15-12
� ��
(��
�6#$%
���
6�� �
�+ ��
45W
� �� n
�L� '
�T���
�+ R
$�T��
�� �
eF��?
4���
% ���
� ]�=�
�u�)
1�� �
�+ ���
C�
����
� |�b
WO 4�
L �W
� X �N
O '�
eF �+
�����
����
���$g
O .