7/27/2019 1-s2.0-0952197694900027-main

1/6

Pergamon0 9 5 2 - 1 9 7 6 ( 9 4 ) 0 0 0 2 2 - 0

Engng Appl ic . A rt i f. ln te ll . Vol. 7 , No. 4 , pp. 361-366, 1994Copy r ight 1994 Elscvie r Sc iencc LtdPr inted in Grea t B r i ta in . Al l r ights rese rved0952 -1976 /94 $7.(1tl + I1.(1tt

Con tr i buted PaperFeature Extract ion for Real - t ime Expert Systems

A. STOTHERTUniversi ty of the Witwatersrand, Johannesburg

I. M. MACLEODUniversi ty of the Witwatersrand, Johannesburg

(Received August 1993; in re v ised form February 1994)F e a tu r e e x t r a c t i o n i s a w i d e l y u s e d t e c h n i q u e i n t h e f i e l d o f i m a g e p r o c e s s in g . T h i s p a p e r s h o w s t h a t2D n on l i n ea r f ea t u re ex t rac t i on i s a l so u se f u l i n con t ro ll e rs t ha t are based on ar t i f ic i a l i n te l l ig en cet e c h n i q u e s . I t c an , f o r e x a m p l e , b e u s e d t o l i m i t t h e k n o w l e d g e e x p l o s i o n p r o b l e m e n c o u n t e r e d w h e non l i n e sen sors i n te rac t w i t h ex p er t sy s t ems . T he f ea t u re ex t rac ti on sc hem e sug g e s t ed uses n on l i n e arhy br i d medi a n f i lt e rs , i s n o i se to l e ran t, n on - mode l - dep en den t , p r ese rv es d iscon t in u i ti es , an d is"cap a bl e o f a 90% reduc t i on i n i n f orm at i on rep resen t a ti on w i t h n eg l i g ib l e s i g n a l f ea t u re l oss .K e y w o r d s : F e a t u r e e x t r a c t i o n , h i g h l y d i s c r e t e s i g n a l s , e x p e r t s y s t e m s , n o n l i n e a r f i l t e r s , r e a l - t i m e .

1 . I N T R O D U C T I O NW h e n e x p e r t s y s t e m s o r o t h e r s y m b o l i c c o m p u t i n gt e c h n i q u e s f r o m t h e f ie l d o f A r t if i c ia l I n t e l l ig e n c e i n t e r -a c t w i th t h e r e a l w o r l d a t t h e s e n s o r l e v e l a s e v e r e f o r mo f k n o w l e d g e e x p l o s i o n t a k e s p la c e . T h e p r o b l e m o fk n o w l e d g e e x p l o s i o n i n c o n t ro l s y s t e m s i s e v i d e n c e d b yt h e u s e o f s i g n a l c o n d i t i o n i n g o f s e n s o r s i g n a ls p r i o r t ot h e i r u s e i n e x p e r t s y s t e m s . ~ T h e p r o b l e m is f u r t h e rh i g h l i g h te d b y S a r i d is 2 w h o c i t e s I n c r e a s i n g P r e c i s i o nw i t h D e c r e a s i n g I n t e l l i g e n c e a s o n e o f t h e p r o b l e m sf a c i n g t h e d e s i g n e r s o f i n t e l l i g e n t s y s t e m s . F e a t u r ee x t r a c t io n p r o v i d e s a m e t h o d o f re d u c i n g t h is k n o w -l e d g e e x p l o s io n p r o b l e m t o m a n a g e a b l e l e v e ls b y e f f e c-t iv e l y c o m p r e s s i n g n u m e r i c s e q u e n c e s i n t o m o r e -a b s t r a c t s y m b o l i c s e q u e n c e s . T h i s p a p e r d i s cu s s e s t h eu s e o f n o n - l i n e a r f il te r s t o a s s i st i n a f e a t u r e - e x t r a c t i o np r o c e s s w h i c h c a n b e u s e d a s a f r o n t - e n d t o a r e a l - t i m ee x p e r t s y s t e m .I n g e n e r a l , i t i s p o s s i b l e t o v i s u a l l y e x a m i n e a s ig n a la n d b r e a k t h e s i g n a l d o w n i n t o p r i m i t i v e r e g i o n s o fl e v e l s a n d s l o p e s . T h i s i s k n o w n a s f e a t u r e e x t r a c t i o n .I n A I s y s t e m s , c o n t i n u o u s s i g n a l i n p u t s a r e c u m b e r -s o m e a n d e x c e s s i v e ; r a t h e r , s i g n a l s b r o k e n d o w n i n t oprimi t ives ' a r e r e q u i r e d . I n o r d e r t o a c h i e v e a p r i m i t i v er e p r e s e n t a t i o n o f a si g n a l, s i g n a l p r o c e s s i n g i s r e q u i r e dt o t r a n s f o r m a c o n t i n u o u s s i g n a l t o a h i g h l y d i s c r e t eo n e . T h i s i n v o l v e s a t r a n s f o r m a t i o n a s s h o w n i n F i g . 1 .C o r r e s p o n d e n c e s h o u l d b e s e n t t o : P r o fe s s o r I. M . M a c L e o d ,

D e p a r t m e n t o f E l ec t ri c a l E n g i n e e r i n g , U n i v e r s i t y o f th eW i t w a t e r s r a n d , W i t s 2 0 5 0, S o u t h A f r i c a.

A h i g h l y d i s c r e t e s ig n a l c o m p r i s e s a s e q u e n c e o f b u i l d -i n g b l o c k s o r p r i m i t i v e s , e a c h s t a m p e d w i t h a d u r a t i o nt i m e a n d p r i m i t i v e d e s c r i p t i o n v a l u e . T h i s p a p e r d i s -c u s s e s h o w a h i g h l y d i s c r e t e s i g n a l c a n b e c o n s t r u c t e dus i ng med i an f i l t e r s .

2 , C H O I C E O F P R I M I T I V E SF u n d a m e n t a l l y , o n l y o n e p r i m i t i v e i s r e q u i r e d ,

n a m e l y , t h e s t r a i g h t l i n e . A n y s i g n a l c a n b e b r o k e nd o w n i n t o r e g i o n s o f l in e s w i t h z e r o , p o s i t i v e o r n e g a -t i v e s l o p e s . D i s c o n t i n u i t i e s o r e d g e s ( i n f in i te s l o p e ) a r er e p r e s e n t e d b y t w o c o n s t a n t r e g i o n s ( z e r o s l o p e ) o fd i f f e r i n g v a l u e s . I n t r o d u c i n g m o r e - c o m p l e x p r i m i t i v e s ,f o r e x a m p l e , c u r v e s , o n l y s e r v e s t o c o m p l i c a t e f e a t u r ee x t r a c t i o n b e c a u s e a s e q u e n c e o f s t r a i g h t l i n e s c a na p p r o x i m a t e c u r v e s w it h in a n y g i ve n e r r o r b o u n d .F u r t h e r , t h e r e c o g n i t i o n a n d d e s c r i p t i o n o f c u r v e dp r i m i t iv e s w o u l d r e q u i r e t h e u s e o f s ig n a l d e r i v a t i v e sw h i c h a r e h i g h l y s u s c e p t i b l e t o n o i s e .P r i m i t i v e s a r e c o m b i n e d t o r e p r e s e n t t h e c o m p l e t es i g n a l, a n d s i g n a l t r e n d s a r e r e p r e s e n t e d b y th e p r i m i -t i v e s e q u e n c e . T h e p r i m i t iv e d e s c r i p t i o n o f a s i gn a la b s t r a c t s f r o m t h e r a w i n f o r m a t i o n a m o r e c o n c i s ed e s c r i p t i o n w h i c h is e a s i e r t o m a n i p u l a t e i n a l o g ic a l o rs y m b o l i c e n v i r o n m e n t . U s i n g p r im i t iv e s t o r e p r e s e n tp r o c e s s v a r i a b l e s m a k e s r e a s o n i n g a b o u t t h e v a r i a b l ee a s i e r b e c a u s e t h e p r i m i t i v e r e p r e s e n t a t i o n d r o p s t r i v i a ls i g n a l i n f o r m a t i o n ( i n d i v i d u a l d a t a p o i n t s ) a n d h i g h -l i g h t s i m p o r t a n t s i g n a l f e a t u r e s , i . e . e m p h a s i s i s p l a c e do n t h e " s h a p e " o f t h e s i g n a l.

36 1

7/27/2019 1-s2.0-0952197694900027-main

2/6

3 62 A . S T O T H E R T a n d I. M . M A ( ' I . E ( ) I ) : F E A T U R E E X T R A C I I ( ) N F ( ) R R E A L - T I M E E X P E R I S Y S I I , M . %

I I D is c r e t e ig l t 1 nt inu u el A to D convers ionS i g n a l [ S i K n ~ l

Fenture ] g x t r ~ c t l o n

Fig. 1. Featurc extraction block diagram.

I Highly DiscreteSignal

3 . A P P R O A C H E S T O F E A T U R E E X T R A C T I O NA t y p i c a l m e t h o d o f f e a t u r e e x t r a c t i o n u s e s t h e f ir sta n d s e c o n d d e r i v a t i v e s o f t h e s i g n a l t o c a t e g o r i z e t h e

s ig n a l i n t h a t r e g i o n . ~ T h i s a p p r o a c h s u f f e r s f r o m t w oi n t e r l in k e d p r o b l e m s . I n t h e p r e s e n c e o f n o i se , e a c ha n d e v e r y n o i s e p e a k o r t r o u g h w o u l d b e i n d i v i d ua l lye x t r a c t e d a s a s i g n a l f e a t u r e ; t h i s w o u l d m e a n t h a t a n ya t t e m p t t o d e c o m p o s e t h e s i g n a l i n t o " l e n g t h y " p r i m i -t i v e s w o u l d b e i m p o s s i b l e . F u r t h e r , e s t a b l i s h i n g s i g na lt r e n d s w o u l d b e m o s t d i f fi c u lt . L i n e a r l o w - p a s s f i lt e r in gt o r e m o v e h i g h - f r e q u e n c y n o i s e w i ll s m o o t h t h e s i g n al ,e n a b l i n g b e t t e r f e a t u r e e x t r a c t i o n , b u t a t th e e x p e n s e o fd e t a i l . S h a r p e d g e s w i ll b e r o u n d e d w i t h a lo s s o fs i g n i f i c a n t s i g n a l d e t a i l . A n a l t e r n a t i v e m e t h o d o ff e a t u r e e x t r a c t i o n r e li e s o n e d g e d e t e c t i o n o f st e p s a n dr a m p s , 4 ~ w h i c h a r e t h e n u s e d t o d e f i n e f e a t u r e l im i t s.O p t i m a l e d g e d e t e c t o r s r e l y o n t h e c o n v o l u t i o n o f a" p u r e " s t e p w i t h t h e n o i s y s i g n a lJ ' T h e r e s u l t a n t s i g n a lis th r e s h o l d t e s t e d t o d e t e r m i n e w h e t h e r a s t e p e x is ts o rn o t . T h e c h o i c e o f a t h r e s h o l d l e v e l is le f t t h e d i s c r e t i o no f t h e d e s i g n e r . T h e c o n v o l u t i o n p r o c e s s a l so i m p l i est h a t e d g e d e t e c t o r s a r e o n l y o p t i m a l f o r s p e c if i c al l yd e f i n e d e d g e t y p e s ; w h i l e s t e p - e d g e s m a y b e d e t e c t e d ,r o o f - e d g e s a n d l in e - e d g e s m a y g o u n d e t e c t e d . ~

O t h e r f e a t u r e - e x t r a c t i o n p r o p o s a l s a t t e m p t t o f i tg e n e r a l f o r m u l a t o t h e d a t a , a s i n R e f . 7 , w h e r e a na u t o r e g r e s s i v e t e c h n i q u e is u s e d t o f i t t h e s o u r c e s i g n alt o a m o d e l

Y ~ = f i , , + f i t , + ~ z sin(2zrt~0) + 6s o a s t o m i n i m i z e 6 - T h i s a p p r o a c h i s e x c e s s i v e l yr e s t r ic t i v e a n d i s n o t a b l e t o r e p r e s e n t s i gn a l f e a t u r e sw i t h s u f f i c ie n t a c c u r a c y .

D e r i v a t i v e , e d g e d e t e c t i o n a n d a u t o r e g r e s s i v ef e a t u r e - e x t r a c t i o n t e c h n i q u e s w e r e a b a n d o n e d i nf a v o u r o f n o n - l i n e a r f i l te r s b e c a u s e n o n - l i n e a r f i l te r s a r en o i s e - t o l e r a n t , n o n - m o d e l - d e p e n d e n t a n d p r e s e r v es i g n a l d i s c o n t i n u i t i e s .3 . 1 . M e d i a n f il t er

T h e m e d i a n o f a s e q u e n c e o f A p o i n t s , w h e r e A is t h eo r d e r e d ( i n c r e a s i n g m a g n i t u d e ) s e q u e n c e x i , i =l . . . . n , i s d e f i n e d a s :

I X ,,+ I n = 2 v + 1 o d dm e d ( A ) = [ ~ ( x , , + x , , + l ) n = 2 v e v e n "A m e d i a n f i l t e r s ~3 i s t hus d es c r i be d by :

n - 1Y i = m e d ( x , . . . . . . . x i . . . . x i+ ,~), v = T ' n = od dT h e s i g n i f i c a n c e o f m e d i a n f i l t e r i n g i s t h a t c e r t a i n

s i g n a l s a r e i n v a r i a n t t o t h e m e d i a n o p e r a t o r . T h e s es i g n a l s a r e k n o w n a s r o o t s s a n d c o r r e s p o n d t o p u r es i n u s o i d s i n l i n e a r f i l t e r s . T h e e x a c t s h a p e o f r o o ts i g n al s d e p e n d s o n t h e f i lt e r o r d e r n ; h e n c e , a r o o t w i llb e a s s o c i a t e d w i t h fi l te r o r d e r . R o o t s i g n a ls a r e d e f i n e db y t h e f o l l o w i n g c o n d i t i o n s :

M o n o t o n i c s e q u e n c e s a r e r o o t s o f f il te r s o f a n ys i z e .

A l o c a l ly m o n o t o n i c s e q u e n c e o f l e n g t h m is ar o o t t o f i l te r s o f o r d e r

n - 1v ~ m - - 2 , v - - - - - -2 I f t h e s e q u e n c e is a r o o t ( i. e . i n v a r i a n t t o f u r t h e rf i l t e r i n g ) a n d i s n o w h e r e l o c a l l y m o n o t o n i c o f

l e n g t h v + 1 t h e n t h e s e q u e n c e is b i- v a l u e d .T h e s e p r o p e r t i e s o f r o o t s ig n a ls h a v e i m p o r t a n t

i m p l i c a t i o n s : E d g e s a r e p r e s e r v e d u n d e r m e d i a n f il te r in g . D i s c o n t i n u i ti e s (p u l se s ) a r e p r e s e r v e d , p r o v i d e d

t h e y a r e o f d u r a t i o n l a r g e r t h a n t h e f i l t e ro r d e r . "~

R o o t si g n a ls g e n e r a l l y o n l y c o n t a i n c o n s t a n tn e i g h b o u r h o o d s a n d e d g e s .

H i g h l y o s c i l l a to r y s i g n a ls a r e i n v a r i a n t t om e d i a n f i l t e r i n g . R o o t s ig n a ls a p p r o x i m a t e l y f o l lo w l o w - o r d e r

p o l y n o m i a l t r e n d s . "~T h e p r o p e r t i e s o f r o o t s ig n a ls i m p l y t h a t a m e d i a n

f i lt e r w i ll o p e r a t e o n a n o i s y si g n a l a n d o u t p u t a s i g n a lw i t h m o n o t o n i c r e g i o n s w h i c h e n h a n c e t h e f e a t u r e s o ft h e o r i g i n a l s ig n a l . A m e d i a n f i lt e r a p p r o x i m a t e l y f i l te r sa s i gna l i n t o p r i m i t i v e s .

N o t a l l s i g n al s w i ll c o n v e r g e t o a r o o t s i g n al a f t e r o n ep a s s o f a m e d i a n f i lt e r , b u t a l l n o n - r o o t s i g n a ls c o n v e r g et o r o o t s i g n a l s a f t e r s u c c e s s i v e m e d i a n f i l t e r i n g . "H o w e v e r , a r e c u r s i v e m e d i a n f i l t e r [ d e f i n e d b y ( 1 ) ]r e q u i r e s o n l y o n e p a s s t o t r a n s f o r m a n o n - r o o t s ig n a l t oa r o o t . T h e r o o t d e v e l o p e d b y t h e r e c u r si v e m e d i a nf il te r is n o t t h e s a m e a s t h e r o o t d e v e l o p e d b y r e p e a t e dm e d i a n f i l t e r i n g , b u t i t s p r o p e r t i e s a r e i d e n t i c a l .

y i = m e d ( y i . . . . . . . y i - l , x i . . . . . . x i+ , ,) . (1 )T h e e f f e c t i v e n e s s o f r e c u r s i v e m e d i a n f i lt e r in g is

e x a m i n e d t h r o u g h t w o e x a m p l e s . F i g u r e s 2 a n d 3 r e p r e -s e n t t w o n o i s e s i g n a l s s u b j e c t e d t o r e c u r s i v e m e d i a nf i l t e r i n g . F i g u r e 2 s h o w s h o w w e l l m e d i a n f i l t e r s a r es u i t e d t o f e a t u r e e x t r a c t i o n . T h e c o n s t a n t r e g i o n s a n de d g e s h a v e b e e n " e x t r a c t e d " w e ll . A s l ig h t l y d i s a p -p o i n t i n g r e s u l t is e v i d e n t i n th e s l o p e d r e g i o n s w h e r e ,

7/27/2019 1-s2.0-0952197694900027-main

3/6

A . S T O T H E R T a n d I. M . M A C L E O D : F E A T U R E E X T R A C T I O N F O R R E A L - T I M E E X P E R T S Y S T E M S 3 63

1 o , , S o u r s ; * S g , ~ l . ,

0 1 0 0 2 0 0 3 0 0 4 0 0 2 0 0 600111

i ! t ! !1 0 0 2 0 0

F l l t e r ~ . S i ~ l n a l

! ! I

Fig . 2 . R ecu r s ive med ian f i l t e r ing app l i ed to s t eps .6O O

as expected, the median filter has extracted an edge andlevel root signal, resulting in a "staircase" approxima-tion where a straight line would be more appropriate.Figure 3 also highlights this deficiency of medianfilters--where a sinusoidal feature is evident the filterhas extracted a "staircase" approximation.

These results highlight a drawback of pure medianfilters when used for feature extraction. For noisysignals the recursive median filter develops roots whichinclude constant neighbourhoods and edges, wheremonotonic regions would be better. Notice that if nonoise were present, the curves would be preserved, asthey represent monotonic regions which are roots ofmedian filters. The hybrid recursive median filter, asubclass of the general FIR-Median Hybrid filter," isused to overcome the difficulties associated withstandard recursive median filters.Hybrid recursive median (HRM) filters have rootswith similar properties to those of median filters, butare better at reducing signal noise. Their improvednoise tolerance means that HRM filters output longer

signal-consistent monotonic regions. A hybrid recur-sive median filter is defined below (2) and its effect isshown in Fig. 4.

For an odd filter order n, input data sequence x andpoint m of the output data sequence y

withY m = U ( , - W 2 (2)

UI = med(ym_,, x,,,, Xm+,)Uj=med!, 7 y k , U j ," k = m - j ' 7 k I y k

n - 1j=2 . . 2

( 3 )

The HRM filter is a layered filter with each layer, Ujimproving the filter's scope and effectiveness. Each U~is the median of

the mean o f the last j filtered points4 . . S o u r c , s l g . o l . .

0 0 1 2 3 4 5 6

3

io 1

F i l te red S ignol

I m | | |2 3 4 . 5 6Fig . 3 . R ecu r s iv e me d ian f i l t e r ing app l i ed to s inu s o ids .

7/27/2019 1-s2.0-0952197694900027-main

4/6

364 A. STOTHE RT and 1. M. MACLEOD: FEATUR E [iXTRA('TI()N FOR REAI.-TIME EX PE RI 5iYSI I,MS

S o u r c e f i lt e r e d b y 2 1 s t o r d e r H y b r id r e c u r l l v e m e d i a n f i l t e r

6

5

4

3

2

1

0

- 10

I I I I I1 O 0 2 O 0 3 0 0 4 O 0 5 O 0

Fig. 4. Hybrid recursive median liltering applied to steps .6 0 0

t h e p r e v i o u s l y c a l c u l a t e d U j t h e m e a n o f t h e n e x t j u n - f i l t e r e d p o i n t s .T h e e f f e c t is t h a t e a c h U i r e p r e s e n t s a g r a d u a l l ye x p a n d i n g w i n d o w w h i c h i n c lu d e s t h e p o i n t o f i n t e re s ta n d t h e p o i n t ' s n e i g h b o u r s . T h e m e d i a n o p e r a t o re n s u r e s t h a t e d g e s / d i s c o n t i n u i t i e s a r e p r e s e r v e d , a n dt h e m e a n t e r m s e n s u r e t h a t n e i g h b o u r i n g p o i n t si n f l u e n c e t h e f i l te r e d p o i n t b a s e d o n t h e i r p r o x i m i t y tot h e p o i n t o f in t e r e s t. T h e H R M is a d o u b l y r e c u r s iv ef i lt e r . E a c h l a y e r U j o f t h e c a l c u l a t i o n d e p e n d s o n t h er e s u l t o f lo w e r l a y e r s ; a l s o , e a c h l a y e r u s e s p o i n t s t h a th a v e a l r e a d y b e e n f i l t e r e d , i . e . Y m / . . . . . Y , ,, - L " T h ec o m b i n e d e f f e c t o f re c u r s i o n , m e d i a n a n d m e a ni m p r o v e s t h e f i l t e r ' s n o i s e t o l e r a n c e a n d i n c r e a s e s t h el i k e li h o o d o f p r o d u c i n g l a r g e r m o n o t o n i c r e g i o n s .

4 . F E A T U R E E X T R A C T I O NT h e H R M f il te r s a s o u r c e s ig n a l so a s to e n h a n c e t h e

s i g n a l ' s f e a t u r e s . S i g n a l n o i s e i s r e d u c e d a n d m o n o t o n i cr e g i o n s a r e p r o d u c e d t o a p p r o x i m a t e t h e s o u r c e . T h ef i l t e r e d s i g n a l i s s t il l a d i s c r e t e - t i m e d i g i t a l s i g n a l . S i g n a lf e a t u r e s h a v e b e e n e n h a n c e d b u t t h e f i l te r e d si g na l h a sn o t b e e n h i g h l y d i s c r e t i z e d ( F i g . 1 ) . In e f f e c t n o f e a t u r ee x t ra c t io n h a s t a ke n p l a c e. T h e H R M h a s p r o d u c e d as i g n a l w i t h t h e l a r g e s t p o s s i b l e ( a c c o r d i n g t o t h e f i l t e ro r d e r ) c o n s t a n t a n d m o n o t o n i c r eg i o n s . A r e m a i n i n gs t e p i n t h e f e a t u r e e x t r a c t i o n p r o c e s s i s t h e r e f o r e t oi d e n t i f y t h e m o n o t o n i c r e g i o n s a n d f i t s t r a i g h t - li n ep r i m i t i v e s .C o n s t a n t a n d m o n o t o n i c r e g io n s a r e id e n t i fi e d byd e t e r m i n i n g t h e c o r n e r s o f r e g io n s . A c o r n e r i s i d e n t i-f i e d b y a s i m p l e 1 s t d e r i v a t i v e m e t h o d . T h e f i l t e r e ds i g n a l i s q u a n t i z e d i n t o a n u m b e r o f q u a n t i z a t i o n l e v e l sd e f i n e d b y t h e u s e r ( t y p i c a l l y 1 0 o r 1 5 ). W i t h o u t q u a n t i -z a t i o n , r e m a n e n t n o i s e i n th e f i l t e r e d s i g n al c a n c a u s ei n c o r r e c t i d e n t if i c a ti o n o f c o r n e r s . T h r e e q u a n t i z e dp o i n t s a r e c o m p a r e d .

C o n s i d e r t h r e e q u a n t i z e d p o i n t s , y , , , _ n , Y m a n d Y , , + t .

A n e w c o r n e r c a n b e d e f i n e d i f t h e a n g l e f o r m e d b y t w os t r a i g h t l i n e s , o n e t h r o u g h Y m - ~ a n d y , , a n d t h e o t h e rt h r o u g h y , ,, a n d y , ,, ~ , i s l a r g e r t h a n o n e d e g r e e a n d i ft h e p r e v i o u s l y d e f i n e d c o r n e r is m o r e t h a n a f i lt e r o r d e ra w a y . T h i s l i m i t s t h e m i n i m u m p r i m i t i v e s i z e t o t h ef i lt e r o r d e r . I d e n t i f y i n g c o r n e r s r e l i e s o n t w o p r o p e r t i e so f th e H R M f il te r .

T h e H R M f il te r h a s g o o d n o i s e - r e d u c t i o np r o p e r t i e s , s o t h e 1 st d e r i v a t i v e a p p r o a c h i sa p p r o p r i a t e .

T h e f i lt e r c a n r e s o l v e d i s c o n t i n u i t i e s o n l y i f t h e ya r e l a r g e r t h a n t h e f i l t e r o r d e r .

T h i s a p p r o a c h t o i d e n t i f y i n g c o r n e r s l i m i ts th e m i n i -m u m p r i m i t i v e s i ze t o t h e f i l t e r o r d e r .

T h e f i n a l s t a g e i n t h e f e a t u r e - e x t r a c t i o n p r o c e s s i s t of it s t r a i g h t l in e s t o th e c h o s e n r e g i o n s . A n o n -p a r a m e t r i c , m e d i a n i n t e r c e p t , l in e - fi tt in g m e t h o d a sp r o p o s e d b y K a m g a r - P a r si e t a l . ~ 4 is p r e f e r r e d o v e r t h el e a s t- s q u a re s m e t h o d . T h i s n o n - p a r a m e t r i c m e t h o d i sn o t i n f l u e n c e d b y o u t l i e r s , i s m o r e r e s i l i e n t t o n o i s e , i sn o t s u s c e p t i b l e t o l o c a l m i n i m a o r p o o r c o n v e r g e n c ea n d t r e a t s b o t h a x e s w i t h e q u a l i m p o r t a n c e . H T h ef e a t u r e - e x t r a c t i o n p r o c e s s i s n o w c o m p l e t e d b y d e fi n -i n g a 4 - t u p l e p r i m i t i v e f o r e a c h l i n e s e g m e n t . E a c hp r im i ti ve i s d e f in e d a s P R I M I T I V E ( S T A R T _ P O I N T ,E N D _ P O I N T , S L O P E , I N T E R C E P T ) .

T o s u m m a r i z e , t h e p r o p o s e d f e a t u r e - e x t r a c t i o n p r o -c e s s i s a s f o l l o w s

f i lt e r s o u r c e w i t h H R M f i lt e r i d e n t if y c o r n e r p o i n t s f o r re g i o n s f i t s t r a i g h t li n e s t o r e g i o n s d e f i n e 4 - t u p l e p r i m i t i v e s .

T h e p l o t s i n F i g . 5 , o b t a i n e d w i t h t h e H R M f i l t e ro r d e r s e t a t 2 1 , s h o w a 5 1 2 - p o i n t s o u r c e s i g n a l w i t h as i g n a l - t o - n o i s e r a t i o o f 1 7 d B r e p r e s e n t e d b y 1 2 p r i m i -t i v e s. T h e p r i m i t i v e s p r o v i d e s u f f ic i e n t a b s t r a c t i o n f o ru s e i n a n e x p e r t s y s t e m , w h i c h c o u l d t h e n m a k e

7/27/2019 1-s2.0-0952197694900027-main

5/6

A . S T O T H E R T a n d I . M . M A C L E O D : F E A T U R E E X T R A C T I O N F O R R E A L - T I M E E X P E R T S Y S T E M S 36 5

1 0 , , S o u r e _a S i g n o l , ,

0 1 0 0 2 0 0 3 O O 4 O 0 5 0 O 6 0 0

1 0 ,: t F e a t u r e Extracted A p p ro x l m a t l o nr < I1 0 0 2 0 0 3 0 0 4 0 0 5 0 0

F i g . 5 . C o m p l e t e d f e a t u r e e x t r a c t i o n .

d e c i s i o n s b a s e d o n t h e s h a p e o f t h e s i g na l . F o r e x a m -p l e , a n e x p e r t s y s t e m m i g h t u s e t h e p r i m i t i v e d e s c r i p -t i o n ( F i g . 5 ) t o f o r m a s t a t e m e n t l i k e " T h e w a t e r f l o wr a t e s t e p p e d f r o m 1 t o 5 th e n g r a d u a l ly d r o p p e d t o 2 . Itt h e n s o o n s t e p p e d t o 1 a n d a f t e r a w h i le i m p u l s e d t o 6s e t t li n g a g a i n a t 4 . . . . . e t c . " . T h e p r i m i t iv e s a l s or e d u c e t h e s i g n a l r e p r e s e n t a t i o n f r o m 5 1 2 i n t e g e rva l u es t o 12 4 i n t eger va l ue s , a l o ssy ( i .e . t he o r i g i na ls ig n a l c a n n o t b e r e c o v e r e d f u l ly ) c o m p r e s s i o n o f 9 0 % .A v i s u a l in s p e c t i o n o f t h e s o u r c e i n d i c a t e s t h a t 9 p r im i -t i v e s w o u l d a c t u a l l y b e s u f f i c i e n t t o r e p r e s e n t t h e m a i ns i g n al f e a t u r e s ; t h e a l g o r i th m p r e s e n t e d i s c l o s e t o t h a tm i n im a l r e p r e s e n t a t i o n .

5 . R E A L - T I M E C O N S I D E R A T I O N SU p t o t h i s p o i n t t h e p r o p o s e d f e a t u r e - e x t r a c t i o nm e t h o d h a s b e e n c o n s i d e r e d a s a n a n a l y t i c t o o l , i . e .s u i t a b l e f o r b a t c h o r o f f - l i n e p r o c e s s i n g . I n o r d e r t o

e x t e n d i t s a p p l i c a t i o n t o r e a l - t i m e o n - l i n e p r o c e s s i n g i ti s n e c e s s a r y t o e s t a b l i s h t h e c o m p u t a t i o n n e c e s s a r y t oa d d a s i n g l e p o i n t t o t h e e x t r a c t e d d a t a .A H R M f il te r o f o r d e r n h a s a n i n h e r e n t d e l a y o f( n - 1 ) / 2 s a m p l e s . I n o r d e r t o f i l te r a n e w p o i n t y ,, th e

p o i n t s y , ,_ ~ , , _ ~ )/ : . . . . . Y m - ~ , X m , ,Xm+(n-I) /2 a rer e q u i r e d f o r e q u a t i o n ( 3 ) . T h i s r e q u i r e m e n t p l a c e s t h em o s t s e v e r e r e s t r i c t i o n s o n t h e u s e o f t h e t e c h n i q u e f o rr e a l -t i m e a p p l ic a t io n . T h e ( n - l ) / 2 s a m p l e d e l a yi m p l i e s th a t a n e w p r i m i t i v e c a n o n l y b e d e t e c t e d ~ am i n i m u m p r i m i t i v e d e l a y a f t e r i t h a s o c c u r r e d . T h i sl e a d s t o a si g n if ic a n t t r a d e - o f f . T h e H R M f i lt e r o r d e rs p e c i f ie s th e m i n i m u m p r i m i t i v e s iz e . A s t h e p r i m i t iv es i z e d e c r e a s e s , s o s m a l l e r s i g n a l f e a t u r e s c a n b e i d e n t i -f ie d a n d t h e d e l a y t i m e i s r e d u c e d . H o w e v e r , t h e l e v e lo f a b s t r a c t i o n o f f e r e d b y a p r i m i t i v e r e p r e s e n t a t i o nr e d u c e s , a s m o r e p r i m i t i v e s a r e r e q u i r e d t o r e p r e s e n tt h e s m a l l e r s i g n a l f e a t u r e s . D e p e n d i n g o n t h e d e l a yt h a t c a n b e t o l e r a t e d , o n e s h o u l d c h o o s e t h e l a r g e s tp r i m i t i v e s i z e g iv i n g th e b e s t a b s t r a c t i o n l e v e l .

T h e c o m p u t a t i o n a l c o m p l e x i t y o f th e p r o p o s e df e a t u r e - e x t r a c t i o n t e c h n i q u e a l s o a f f e c t s r e a l - t i m ei m p l e m e n t a t i o n . T h e s a m p l in g f r e q u e n c y o f t h e o r ig i -na l d i g i t a l s i gna l i s l i mi t ed by t he compl exi t y o f t het e c h n i q u e . I f t h e s a m p l i n g f r e q u e n c y is t o o h i g h , ab a c k l o g c o u l d o c c u r i f t h e n e w p o i n t s c a n n o t b e p r o -c e s s e d q u ic k l y e n o u g h . O p e r a t i o n s r e q u i r e d ( a d d i ti o n s ,m u l t i p l ic a t i o n s , c o m p a r i s o n s ) b y th e p r o p o s e d a l g o r -i t h m d e f i n e t h e c o m p u t a t i o n a l c o m p l e x i t y .

T h e p r o p o s e d r e a l - t im e f e a t u r e - e x tr a c t i o n a l g o ri th mi s s u m m a r i z e d f il te r p o i n t w i th H R M f i l te r , d e c i d e w h e t h e r t o a d d f i l te r e d p o i n t to e x i s ti n gp r i m i t i v e o r c r e a t e n e w p r i m i t i v e , f it n e w l i n e t o e x p a n d e d p r i m i t iv e .

T h e c o m p u t a t i o n a l c o m p l e x i t y o f t h e H R M f il te r isd e t e r m i n e d b y th e c o m p u t a t i o n r e q u i r e d i n e q u a t i o n s( 2 ) a n d ( 3 ) . E a c h U j r e q u i r e s2 ( j + 1 ) a d d i t i o n s + 2 m u l t i p l ic a t i o n s + 1 3 - e l e m e n t s o r t

w h i l e e a c h n e w p o i n t r e q u i r e s ( n - 1 ) / 2 U js . T h e c o m -p u t a t i o n r e q u i r e d i s t h u s( n - I ) /2

E 2 ( j + 1 ) a d d i t i o n s + 1 3 - e l e m e n t s o r tj - I : )2 mu l t i p l i ca t i ons = ~ - + n - add i t i ons

+ ( ~ - - ~ ) ( 3 - e l e m e n t s o r t + 2 m u l ti p li ca t io n s )

--~ ( 4 + n - ~ ) a d d i t i o n s . ( 4)T h e r e m a i n i n g c o m p l e x i t y i s d u e t o t h e m e d i a ni n t e r c e p t l i n e - fi tt in g m e t h o d . T h e c o m p l e x i t y o f t h em e d i a n i n t e r c e p t m e t h o d i s d o m i n a t e d b y a n e l e m e n t

7/27/2019 1-s2.0-0952197694900027-main

6/6

3 66 A . S TO THE RTa n d I . M . M A ( ' L E ( ) I ) : F E A I ' UR E [ ~ XTR A C f l ON F OR RE A I ~TI M [, ~ E XP E I~ ,1 % YS ; II .M S ,

s o r t o n t h e p o i n t s t o w h i c h t h e l in e m u s t b e f it t e d . T h ec o m p l e x i t y c a n t h u s b e a p p r o x i m a t e d b y ~

4 N I o g 2 ( 2 N ) c o m p a r i s o n s ; N = p r i m i t i v e s i ze . ( 5 )E q u a t i o n s ( 4 ) a n d ( 5 ) c a n b e u s e d to d e t e r m i n e t h em i n i m u m a n d m a x i m u m p r i m i t iv e s iz e s r e s p e c t iv e l y .E q u a t i o n ( 4 ) w i ll p l a c e a l i m it o n t h e H R M f i lt e r o r d e r ,n a n d ( 5 ) a l i m i t o n t h e m a x i m u m p r i m i t i v e s i z e .P r o v i d e d b o t h t h e s e c a l c u l a t i o n s c a n b e c o m p l e t e dw i t h i n a s a m p l e p e r i o d , t h e p r o p o s e d t e c h n i q u e i sf e a s i b l e f o r r e a l - t i m e a p p l i c a t i o n s .

6 . C O N C L U S I O N SW h e n e x p e r t s y s t e m s a r e i n t e r fa c e d t o p l a n t s at a

s e n s o r l e v e l t h e s y s t e m d e s i g n e r d i s c o v e r s t h a t i n d i v id u -a ll y s a m p l e d p o i n t s d o n o t c o n v e y s u f f ic i e n t k n o w l e d g ea b o u t p l a n t b e h a v i o u r . T h e d e s i g n e r r e q u ir e s k n o w -l e d g e a t a m o r e a b s t r a c t l e v e l , i . e . s ig n a l f e a t u r e s .F e a t u r e e x t r a c t i o n p r o d u c e s a l e ve l o f a b s t r a c t i o nw h i c h p r o v i d e s i n f o r m a t i o n a b o u t t h e s h a p e o f t h es e n s o r s i g n a l o v e r a p e r i o d o f ti m e , a n d r e d u c e s t h ev o l u m e o f d a t a t h a t t h e e x p e r t s y s t e m n e e d s t o p r o c e s s .

F a u l t d e t ec t i o n a n d d i a g n o si s a re c o m m o n e x p e r t -s y s t e m a p p l i c a t i o n s w h e r e f e a t u r e e x t r a c t i o n c a n a s si stt h e e x p e r t s y s t e m . F e a t u r e e x t r a c t i o n is a b l e t o e x t r a c ts i g n i f i c a n t f e a t u r e s f r o m s i g n a l s , t h u s a s s i s ti n g i n t h ep r o c e s s o f d e t e c t i o n , a n d p r o v i d i n g s y m b o l i c k n o w -l e d g e a b o u t t h e v a r i a t i o n o f t h e p l a n t s t a t e w i t h t im ea s s i s t i n g t h e d i a g n o s t i c r e a s o n i n g l o g i c .

T h e p r o p o s e d f e a t u r e - e x t r a c t i o n t e c h n i q u e r e l ie s o nt h e p r o p e r t i e s o f t h e m e d i a n o p e r a t o r w h i c h p r es e r v e ss i g na l d i s c o n t i n u i t ie s a n d m o n o t o n i c r e g i o n s a n d h a sh i g h n o i s e t o l e r a n c e . A 4 - t u p l e s t r a i g h t - l i n e p r i m i t i v e( s t a r t _ p o i n t , e n d _ p o i n t , s l o p e , i n t e r c e p t ) is u s e d b y t h et e c h n i q u e t o p r o d u c e a s e q u e n c e o f p r i m i t iv e s w h i c hr e p r e s e n t t h e f e a t u r e s o f th e o r i g i n a l si g n a l. T h e p r i m i -t iv e r e p r e s e n t a t i o n p r o v i d e s s u f f i ci e n t a b s t r a c t i o n f o rd i r e c t u se in a n e x p e r t s y s t e m a n d r e d u c e s t h e v o l u m eo f d a t a i n p u t t o t h e e x p e r t s y s t e m .

T h e a l g o r i t h m i c n a t u r e o f t h e f e a t u r e - e x t r a c t i o n

t e c h n i q u e i m p l ie s t h a t th e i n h e r e n t d e l a y t im e a n dc o m p u t a t i o n a l c o m p l e x i t y o f t h e t e c h n i q u e c a n b c c al -c u l a t e d , p l a c i n g a t h e o r e t i c a l l im i t o n t h e c a l c u l a t i o nt i m e o f t h e t e c h n i q u e . A s a re s u lt , t h e p r o p o s e d t e c h -n i q u e c a n b e e x t e n d e d f o r u se i n r e a l - ti m e a p p l i c a t io n s .A cknowledgements--Thc support o f the South African Foundationfor Research Development and the University of tire Witwatcrsrandis gratefully acknowledged.

R E F E R E N C E SI . Lorenzo C. and M crri l l W. A n intcl ligent system for rockc!cngines: need, vision, and issues. I E E E C o n t r o l , ~ v s t . 42-46(1991).2. Wang F. and Saridis G. N. A coordination thcory for intelligentmachines. A u t o m a t i c a 26 ,833-844 (1990).3. Janusz M. E. and Venkatasubramanian V. Automatic generationof qualitative d escriptions of process trends for faul t detectionand diagnosis. En g n g Ap p l i c . A r t i ] [ l n t el l . 4 , 329-339 ( 1991 .4. Petrou M . and Kittler J. Optimal edgc detectors for ramp edges.I E E E T ra n s. P A M I 13,483-491 (1991).5. Nalw a V. S. and Binford T. O. On detect ing edges. I E E E T r a n s .P A M I 8,699-714 (1986) .6. Canny J. A computational approach to edge dctcclion. I E E ET r an s . P A M I 8 , 6 7 9 - 6 9 8 (1986).7. Edwards D . and C oull B. C. Autorcgressivc t rend analysis : anexample usin g long-term ecological data . O I K O S 50, 95-102(I 987).8. Gallagher Jr N. C. and W ise G. L. A theoretical analysis of thcproperties of median filtcrs. I E E E T r a n s . A e o u s t . S p e e c h S ~ n a lProc . 29, 1136-t 141 (19811.9. Pitas I. and Venetsanopoulos A. N. Nonl inear Digi tal Fi l te lwPrinc iples and Appl icat ions . Kluwcr Academic, Amsterdam(1991).10. Rabiner L. R ., Sambur M. R. and Schmidt C. E. A pplicat ion ofa nonlinear smoothing algorithm to speech processing, l E E KTrans . Acous t . Speech Signal Proc . 23, 552 (1975).11. Heinonen P. and Ncuvo Y. Fir-median hybrid filters, l E E KTrans . Acous t . Speech Signal Proc . 35 ,832-8 48 (1987).12. Pitas I. and Vcnctsanopoulos A. N. Edge detectors based onnonlinear lilters. I E E E T ra n s. P A M I 8, 538-550 (19861.13. Nicminen A., Hcinonen P. and Ncuw ) Y. A new class of detai l -preserving filters for im ag e proccssing. I E E E Trans. P A M I 9 ,74-911 ( 19871.14. Kamgar-Parsi B., Kamgar-Parsi B. and Nctanyahu N. S. Anonparamctric method for fitting a straight line to a noisy image.I E E E T ra n s. P A M I 11 ,99 8- 10111 (1989).15. Lorin H. Sort ing and Sort ~vs tems . The S ystem s ProgrammingScries . Addison-Wesley, Rcading, Mass. (1975).

A U T H O R S ' B I O G R A P H I E SA lec Stothert r e c e iv e d t h e B . S c . ( E n g ) d e g r e e ( c u m l a u d e ) i n e le c tr i ca l e n g i n e e r i n g a n d M . S c . ( E n g ) d e g r e e f r o m t h e U n i v e r s it yo f th e W i t w a t e r s r a n d i n 1 9 9 1 a n d 1 9 93 . He i s p r e s e n t l y a r e s e a r c h o f f i c e r f o r th e D e p a r t m e n t o f E l e c tr i c a l E n g i n e e r i n g a t t h eUn i v e r s i t y o f t h e W i t w a t e r s r a n d , a n d r e a d i n g t o w a r d a P h . D . d e g r e e i n d i s t r i b u t e d i n t e l l i g e n t c o n t r o l s y s t e ms , l t i s i n t e r e s t si n c l u d e d i s t r i b u t e d c o mp u t e r c o n t r o l , a r t i f i c i a l i n t e l l i g e n c e a n d t e mp o r a l l o g i c .l a n M a c L e o d h a d h i s i n i t i a l p r o f e s s i o n a l e x p e r i e n c e i n t h e B r i t i s h a n d S o u t h A f r i c a n c h e mi c a l i n d u s t r i e s a s a c o n t r o l a n di n s t r u m e n t a t i o n e n g i n e e r . S i n ce 1 98 4, h e h a s b e e n F u c h s P r o f e s s o r o f C o n t r o l E n g i n e e r i n g i n th e D e p a r t m e n t o f E l e c tr i ca lE n g i n e e r i n g a t t h e Un i v e r s i t y o f t h e W i t w a t e r s r a n d , w h e r e h e t e a c h e s c o u r s e s o n c o n t r o l e n g i n e e r i n g , i n d u s t r i a l p r o c e s sc o n t r o l , a n d r e a l - t i me c o m p u t e r c o n t r o l s y s t e ms a n d d i r e c t s r e s e a r c h i n t h e f ie ld s o f d i s t r i b u t e d c o mp u t e r c o n t r o l s y s t e ms a n de n g i n e e r i n g a p p l i c a t i o n s o f a r t if i c ia l i n t e ll i g e n c e . D r M a c L e o d i s a n A s s o c i a t e E d i t o r o f t h e T r a n s a c t io n s o f th e S o u t h A f r i c a nI n s t i t u t e o f E l e c t r i c a l E n g i n e e r s , A d v i s o r y E d i t o r f o r E n g i n e e r i n g A p p l i c a t i o n s o f A r t if i c ia l I n te l l ig e n c e a n d a n A s s o c i a t e E d i t o ro f I F A C ' s j o u r n a l , C o n t r o l E n g i n e e r i n g P r a c t i c e .