Powell, Clapp (1999) Discovering and Releasing Latent Human Potential

8/2/2019 Powell, Clapp (1999) Discovering and Releasing Latent Human Potential

1/44

D i s c o v e r i n g a n r e l e a s i n g l a t e n t h u m a n p o t e n t i a l :I t h r e a s o n i n g b e h i n d w r o n g a n s w e r s t h k e y ?

b

J a C P o w e l l , P h . D .F a c u l t y o E d u c a t i o n

U n i v e r s i t y o W i n d s o rW i n d s o r , O n t a r i o , C a n a d a

a n

A l l a n C l a p pS y s t e m s P r o g r a m m e rR e s e a r c h A s s i s t a n t

F l i n t , M i c h i g a n

A p r i l 1 9 9 9C o n f i d e n t i a l d o c u m e n t b e i n g p r e p a r e d f o p u b l i c a t i o n .


2/44


3/44

P o w e l l a n d C l a p p

A B S T R A C T

B r e v i e w i n g s e r i e s o s t u d i e s i n t o t h r e a s o n i n g b e h i n d w r o n g a n s w e r s ,t h e s e r e s e a r c h e r s a d d r e s s p o s s i b l e m e t h o d f o o b t a i n i n g g r e a t e r d e p t h o p e n e t r a t i o n i n t o t h e f a c t o r s i n v o l v e d i s t u d e n t s u c c e s s t h a n c a b o b t a i n e df r o m t h e i r " r i g h t ' a n s w e r s i a n c o m b i n a t i o n . T h e s e s t u d i e s , w h i c h h a v e s o m eu n u s u a l l y h i g h i n f o r m a t i o n - r e c o v e r y l e v e l s , s e e m t s u p p l y s t a t i s t i c a l l y - b a s e de v i d e n c e t h a t t h e r e m i g h t b a b e t t e r w a o o b t a i n i n g q u a l i t y a s s u r a n c e i e d u c a t i o n t h a n c u r r e n t f o r m a l o b s e r v a t i o n p r a c t i c e s m a k e p o s s i b l e . B e c a u s e t h e v i d e n c e a b o u t s t u d e n t l e a r n i n g p r o c e s s e s p r e s e n t a m o n g " w r o n g " a n s w e r s g e t sl o s t i t h s c o r i n g p r o c e d u r e s c u r r e n t l y i u s e , t h i s e v i d e n c e h a n o b e e na v a i l a b l e . S o m e i m p l i c a t i o n s f o t e a c h i n g a n t e s t i n g p r a c t i c e s a r e d r a w n a n s o m e s u g g e s t i o n s f o f u r t h e r r e s e a r c h a r g i v e n


4/44


5/44


D i s c o v e r i n g a n r e l e a s i n g l a t e n t h u m a n p o t e n t i a l :I t h r e a s o n i n g b e h i n d w r o n g a n s w e r s t h k e y ?

E x p e r i e n c e t h a t p r o v i d e s k n o w l e d g e i t h b e s t t e a c h e rP a r a m a h a n s a Y o g a n a n d a

T h P r o b l e mT h f o l l o w i n g i n c i d e n t , r e p o r t e d b y G e r a l d W B r a c e y ( 1 9 9 7 ) , g i v e s u

s t r o n g s p r i n g b o a r d a s t o w h e d u c a t o r s s h o u l d u n d e r t a k e t h c h a n g e s b e i n ga d v o c a t e d i t h i s p a p e r . E d u c a t o r s d n o s e e m t b a b l e t o c a r r y t h e i rs u c c e s s f u l i n n o v a t i o n s f r o m o n p l a c e t a n o t h e r a n r e p e a t t h e i r p r e v i o u sa c c o m p l i s h m e n t s . T h d i s c u s s i o n g i v e n i t h i s p a p e r m a c l a r i f y t h i s o t h e r w i s ee n i g m a t i c o c c u r r e n c e b e i n g q u o t e d b e l o w .

I 1 9 9 7 c o m e s s t o r y a b o u t h o o n o o u m o s t s u c c e s s f u l a n o n e o f o u m o s t f a m o u s t e a c h e r s c o u l d n o c a r r y h i m s e l f f r o m o n s e t t i n g t a n o t h e r a n d h o p r o g r a m h l e f t b e h i n d c o u l d n o s u s t a i ni t v i t a l i t y w i t h o u t h i m . J a m e s E s c a l a n t e t e a c h e r , m e n t o r , i n s p i r a t i o nf o t h m o v i e S t a n d a n D e l i v e r l e f t h i L o A n g e l e s s c h o o l i 1 9 9 1 .I t h a t y e a r , 1 4 o h i ( e c o n o m i c a l l y ) p o o r , H i s p a n i c c a l c u l u s s t u d e n t st o o k t h A d v a n c e d P l a c e m e n t e x a m i n a t i o n i c a l c u l u s , a n d 8 7 o f t h e ms c o r e d h i g h e n o u g h t e a r n c o l l e g e c r e d i t . L a s t y e a r ( i t h s c h o o l h l e f t ) , o n l y 3 s t u d e n t s a t h s c h o o l t o o k t h t e s t , a n o n l y s e v e n o t h e m o b t a i n e d c o l l e g e c r e d i t f o t h e i r e f f o r t s .

E s c a J a n t e i n o i S a c r a m e n t o , a t t e m p t i n g t r e p l i c a t e h i s u c c e s s . S a d l y , h c a n ' t . T h i s y e a r h m a n a g e d t g e 1 s t u d e n t s t t a k e t h A c a l c u l u s . P a r t o t h r e a s o n f o h i e a r l i e r s u c c e s s a p p e a r st h a v e b e e n t h H i s p a n i c c u l t u r e a n d l a n g u a g e h e s h a r e d w i t h h i s t u d e n t s i L A E s c a l a n t e o f t e n s p o k e t t h e m i g r u f f S p a n i s h . N o w i t h h i c l a s s e s a b o u t e q u a l l y d i v i d e d a m o n g b l a c k s , w h i t e s , H i s p a n i c sa n A s i a n s , t h e c u l t u r a l f o r c e i m o s t l y g o n e ( p p . 1 3 5 , 1 3 6 ) .

T h i s i n c i d e n t r a i s e s t w s e r i o u s q u e s t i o n s a b o u t e d u c a t i o n F i r s t , w h a th a p p e n s t e f f e c t i v e a p p r o a c h e s t e d u c a t i o n t h a t c a u s e s t h e m t o l o s e t h e i rm o m e n t u m i t h i s m a n n e r ? S e c o n d , w h a t c a n b e d o n e t m a k e e d u c a t i o n t h i se f f e c t i v e f o a l s t u d e n t s e v e r y w h e r e ? T a n s w e r t h e s e q u e s t i o n s t h i s p a p e rp r e s e n t s s c r i e s o s t u d i e s t h a t g i v e a i n t e r e s t i n g i n s i g h t i n t o t h p r o c e s s o s c h o o l i n g t h a t h a s n o t h e r ^ - t o - f o r e b e e n b r o a d l y a v a i l a b l e .

I c u r r e n t e d u c a t i o n a l p r a c t i c e , t h m o s t c o m m o n m e t h o d f o e v a l u a t i n gs t u d e n t p r o g r e s s a n s u c c e s s i t c o u n t t h f r e q u e n c y o " r i g h t " a n s w e r s t h a t


6/44

L a t e n t H u m a n P o t e n t i a l

t h e y c a n p r o v i d e o t e s t s a n t e r m i n a l e x a m i n a t i o n s I m p l i c i t i t h i s a p p r o a c h a r f o u r a j i s u m p t i o n s , w h i c h a r e :

1 T h e r e i n u s e f u l i n f o r m a t i o n t h a t i d i f f e r e n t f r o m t h a t o b t a i n e d f r o mt h " r i g h t " a n s w e r s t b f o u n d a m o n g t h " w r o n g " a n s w e r s o a c h i e v e m e n t t e s t s .

2 T h e r e i o n l y o n d e v e l o p m e n t a l p a t h w a y t o w a r d a c a d e m i c s u c c e s sT o t a l - c o r r e c t s c o r e s u n a m b i g u o u s l y p r o v i d e a l t h i n f o r m a t i o n n e e d e dt a s s e s s e d u c a t i o n a l e f f e c t i v e n e s s .T h a c a d e m i c e x p e r i e n c e , a s c u r r e n t l y d e l i v e r e d , a d e q u a t e l y s t i m u l a t e st h l a t e n t t a l e n t s o s t u d e n t s .

T h e s e a s s u m p t i o n s a r p r e s e n t e d i t h o r d e r i w h i c h t h e y a r a d d r e s s e d i t h i s p a p e r B e c a u s e t h i s p r e s e n t a t i o n i b e i n g w r i t t e n f o a i n t e r n a t i o n a la u d i e n c e o e d u c a t o r s , s o m e o w h o m m a n o h a v e d e e p u n d e r s t a n d i n g o t h s t a t i s t i c a l c o n c e p t s i n v o l v e d , a n m a n y o w h o m m a h a v e n o c o n s i d e r e d t h e d u c a t i o n a l p r o c e s s i t h m a n n e r b e i n g a p p r o a c h e d h e r e , t h p a p e r w i l l p r e s e n tt h r e s e a r c h p r o c e s s i m o r e d e t a i l t h a n i u s u a l f o a c a d e m i c p a p e r s .

B a c k g r o u n dm u c h n e g l e c t e d a r e a o e d u c a t i o n a l r e s e a r c h h a b e e n t h r e a s o n i n g

b e h i n d t h a n s w e r s s t u d e n t s g i v e o t e s t s a n i c l a s s r o o m i n t e r a c t i o n O v e r t h p a s t t h i r t y y e a r s c o n s i d e r a b l e r e s e a r c h h a b e e n c o n d u c t e d b t h e s e n i o r a u t h o ra n c o - r c s c a r c h e r s i n t o t h m e a n i n g f u l i n t e r p r e t a t i o n o w r o n g a n s w e r s o m u l t i p l e - c h o i c e t e s t s P o w d l , 1 9 8 7 , 1 9 8 0 , 1 9 7 7 , 1 9 7 6 1 9 7 0 , 1 9 6 8 , P o w e l l ,C o t t r e l l , a n d L e v e r 1 9 7 7 , P o w e l l a n d I s b i s t e r , 1 9 7 4 , P o w e l l a n M i k i , 1 9 8 5 ,P o w e l l a n d S h k l o v , 1 9 9 2 , 1 9 8 7 , a n d S h k l o v a n d P o w e l l , 1 9 9 9 - s u b m i t t e d ) . T h g e n e r a l r e s u l t s o a l t h i s r e s e a r c h i t h a t t h e r e m a b c o n s i d e r a b l e a m o u n t o a c h i e v e m e n t i n f o r m a t i o n a m o n g w r o n g a n s w e r s t h a t i b e i n g o v e r l o o k e d w h e nt e s t s a r s c o r e d r i g h t - w r o n g a n t h e s e a l t e r n a t i v e a n s w e r s a r c e l i m i n a t e d f r o mf u r t h e r c o n s i d e r a t i o n

T h s t a t i s t i c a l p r o c e d u r e u s e d t d i s c l o s e t h i s i n f o r m a t i o n ( P o w e l l a n S h k l o v , 1 9 9 2 a n S h k l o v a n d P o w e l l , 1 9 9 9 ) r e q u i r e s d i s c r e t e c o n s i d e r a t i o n o a l a n s w e r s a n t h i n t e r a c t i o n s a m o n g t h e m , m a k i n g f o l a r g e d a t a m a t r i c e s w h i c hc a o f t e n b d i f f i c u l t t i n t e r p r e t T h a p p r o a c h u s e d f o s m a l t g r o u p s i t w o t h p r e l i m i n a r y s t u d i e s a n t h r e p l i c a t i o n s t u d y ( P o w e l l , 1 9 6 8 , 1 9 7 7 , P o w e l l a n dM i k i , 1 9 8 5 ) w a t s e e k r e p o r t s o t h r e a s o n i n g b e h i n d s t u d e n t a n s w e r s , e i t h e ri w r i t i n g o t h r o u g h i n t e r v i e w s .

N e i t h e r o t h e s e t w a p p r o a c h e s , w r i t t e n r e p o r t s o i n t e r v i e w s , a r p r a c t i c a lw h e n l a r g e g r o u p s o s t u d e n t s a r b e i n g t e s t e d . T e x p l o r e t e s t - b a s e d


7/44

P o w e l l a n C l a p p

n t e r p r e t a t i o n p o s s i b i l i t i e s a o p i n i o n s u r v e y ( P o w e l l , C o t t r e l l , a n L e v e r , 1 9 7 7 )a n a a l t e r n a t i v e r e a d i n g - c o m p r e h e n s i o n t e s t ( G a t e s M a c G i n i t i e , 1 9 6 9 ) w e r ea d m i n i s t e r e d t s o m e o t h e s e s a m e s t u d e n t s i s o m e o t h e s e s t u d i e s .

T h i s e x t e n s i v e r e s e a r c h p r o g r a m b e g a n i t h F a l l o 1 9 5 8 w h e n t h e s e n i o ra u t h o r n o t i c e d t h a t c e r t a i n w r o n g a n s w e r s s e e m e d t c l u s t e r a s p e c i f i ca c h i e v e m e n t l e v e l s . T h i s o b s e r v a t i o n w a m a d e w h i l e c o n d u c t i n g t e s t - i t e ma n a l y s i s b h a n d o p e r s o n a l l y - p r e p a r e d t e s t s . B a s k i n g t h e s e s t u d e n t s t h e i rr e a s o n i n g i w a f o u n d , f o t h m o s t p a r t , t h a t o n o t w p o s s i b i l i t i e s o c c u r r e d :

T h p a r t i c u l a r r e a s o n i n g r e v e a l e d t h e n a t u r e o t h e r r o r t h es t u d e n t h a m a d e .T h p a r t i c u l a r r e a s o n i n g r e v e a l e d t h a t t h e s t u d e n t h a i n t e r p r e t e d t h e q u e s t i o n d i f f e r e n t l y f r o m t h a u t h o r ' s i n t e n ta n h a c h o s e n ( o r w r i t t e n ) t h m o s t r e a s o n a b l e a n s w e r f o t h i s a l t e r n a t i v e i n t e r p r e t a t i o n .

B l i n d g u e s s i n g s e e m e d t b r a r e e v e n t e v e n w h e n t h e s t u d e n t s w e r e n o a b l e t o e x p l a i n t h e i r r e a s o n i n g . I a d d i t i o n , t h u n d e r s t a n d i n g g a i n e d f r o m t h e s ei n q u i r i e s a b o u t h o t h e s e s t u d e n t s w e r e p r o c e s s i n g i n f o r m a t i o n p r o v e d t b v e r y h e l p f u l d u r i n g t h s u b s e q u e n t p l a n n i n g a n d e l i v e r y o t e a c h i n g P a y i n gd o s e a t t e n t i o n t o s t u d e n t r e a s o n i n g l e t o i n c r e a s e d m o t i v a t i o n t o l e a r n a n c o r r e s p o n d i n g l y i m p r o v e d a c h i e v e m e n t . S t u d e n t s w h h a s t o p p e d l e a r n i n g f o a n o s e v e r a l r e a s o n s m a d e u m a n y o t h e i r d e f i c i t s i s i n g l e y e a r o t h i sa p p r o a c h t t e a c h i n g .

O c o u r s e , t h a p p e a r a n c e o p r o g r e s s i o n a m o n g w r o n g a n s w e r s i m u l t i p l e - c h o i c e i t e m s o q u a l i t y h a b e e n e v i d e n t f o c o n s i d e r a b l e t i m e I t i se n i g m a t i c t h a t r e s e a r c h e r s s e e m t h a v e i g n o r e d t h i s p o s s i b l e s o u r c e f o a c h i e v e m e n t i n f o r m a t i o n . A c a d e m i c l e a r n i n g h a b e e n t h o u g h t t b p r i m a r i l y a a c c u m u l a t i o n o " r i g h t " a n s w e r s , w h i c h c u r r e n t p r o c e d u r e s c o l l e c t w i t hc o n s i d e r a b l e s o p h i s t i c a t i o n

A l t h o u g h P i a g e t p r o p o s e d t r a n s f o r m a t i o n a l p a t t e r n f o t h e a c q u i s i t i o n o k n o w l e d g e ( s e e : F l a v e l l , 1 9 6 3 ) , i h a s n e v e r b e e n c l e a r h o h i c l i n i c a lo b s e r v a t i o n s m i g h t a p p l y t a c a d e m i c a c h i e v e m e n t P r o g r e s s i n g t h r o u g h s e r i e so w r o n g a n s w e r s b e f o r e a c h i e v i n g t h r i g h t o n i n o n - l i n e a r p a t t e r n t h a t d o e sn o f i c u r r e n t s t a t i s t i c a l a p p r o a c h e s t t e s t a n a l y s i s . I h a b e e n a s s u m e d ,h o w e v e r , t h a t t h f r e q u e n c y o r i g h t a n s w e r s g i v e n t o w e l l - c o n s t r u c t e d b r o a d -s p e c t r u m t e s t w i l l g i v e m u c h t h s a m e l e v e l - o f - a c h i e v e m e n t i n f o r m a t i o n , m a k i n gt h e c o n s i d e r a t i o n o a l t e r n a t i v e a n s w e r s u n n e c e s s a r y .

W h e t h e r o n o t h i s a s s u m p t i o n i v a l i d , t h e r e r e m a i n s t h i s s u e t h a t t h i si n f o r m a t i o n h a p r o v e n u s e f u l t t h e t e a c h e r s w h c o l l e c t i W h e n t e a c h e r s t a k et h e t r o u b l e t t e a c h t h e i r s t u d e n t s f r o m t h s t u d e n t s ' p o i n t s - o f - v i e w ( A


8/44


d e m o n s t r a t e d b E s c a l a n t e i A t h e y h a v e g e n e r a l l y b e c o m e m o r e e f f e c t i v et e a c h e r s t h a n t h o s e w h u s m o r e i m p e r s o n a l a p p r o a c hW h a t i n f o r m a t i o n a b o u t l e a r n i n g m i g h t t h " w r o n g " a n s w e r s g i v e n b s t u d e n t sc o n t a i n ? I w h a t w a y s m i g h t i b h e l p f u l f o i m p r o v i n g t h e f f e c t i v e n e s s o e d u c a t i o n a l p r a c t i c e s ? T h i s p a p e r i i n t e n d e d t p r e s e n t a n d i s c u s s s o m ea n s w e r s t t h e s e q u e s t i o n s .

T h s t u d i e ss e r i e s o s e v e n s t u d i e s a r p r e s e n t e d h e r e , g i v i n g t h m a j o r f i n d i n g s o

e a c h F o u r o t h e m h a v e b e e n p u b l i s h e d ( P o w e l l 1 9 6 8 , 1 9 7 7 , P o w e l l a n I s b i s t e r ,1 9 7 4 , a n P o w e l l a n S h k l o v , 1 9 9 2 ) . F o t h o t h e r t h r e e , m o r e d e t a i l s a b o u t t h

m e t h o d s a n f i n d i n g s a r g i v e n h e r e a t h e s e c a n n o t b e o b t a i n e d f r o m t h l i t e r a t u r e . T h i m p l i c a t i o n s o t h f i n d i n g s t o e f f e c t i v e e d u c a t i o n i t h e nd i s c u s s e d I i h o p e d t h a t t h e r e a d e r s o t h i s p a p e r w i l l i d e n t i f y w i t h t h e n t h u s i a s m o t h e r e s e a r c h e r s s t h a t m o r e e x t e n s i v e d e v e l o p m e n t t t h e s ec o n c e p t s c a n b u n d e r t a k e n .S t u d y

J u s t w h a t i t h n a t u r e o t h a c h i e v e m e n t i n f o r m a t i o n t h a t c a n b e f o u n da m o n g w r o n g a n s w e r s ? T h e a r l i e s t o t h e s e s t u d i e s ( P o w d l , 1 9 6 8 ) a d d r e s s e dt h q u e s t i o n o f w h e t h e r w r o n g a n s w e r s a r b l i n d g u e s s e s o a r r e a s o n a b l es e l e c t i o n s b a a e d u p o n t h k n o w l e d g e a n t h i n k i n g s k i l l s o s t u d e n t s

I n t h i s s t u d y f o r t y - i t e m m u h i p l e - c h o i c e r e a d i n g - c o m p r e h e n s i o n t e s t ( T h eP r o v e r b s T e s t , G o r h a m , 1 9 5 6 ) w a a d m i n i s t r a t e d t 4 a d u l t c o l l e g e s t u d e n t s i t w s e n i o r d a s s c s i e d u c a t i o n a l m e a s u r e m e n t ( G r o u p A 1 8 G r o u p B j 2 3 T h e s e s t u d e n t s w e r e a s k e d t r e p o r t i w r i t i n g t h e r e a s o n i n g b e h i n d t h a n s w e r s t h e y c h o o s e . T h e w r o n g f r o m t h s t u d y a n t h w r o n g a n s w e r s f o G r o u p w e r e s t r u c t u r e d u s i n g f a c t o r a n a l y s i s .

F a c t o r a n a l y s i s i s t a t i s t i c a l p r o c e d u r e t h a t a t t e m p t s t d i s c e r n t h e m o s tr e a s o n a b l e n u m b e r o p e r p e n d i c u l a r d i m e n s i o n s p r e s e n t i t h l i n e a r c o r r e l a t i o n so t h m e m b e r s o d a t a s e t . T h p r o c e d u r e d i s t r i b u t e s t h e s e r e l a t i o n s h i p s a c r o s sa l t h p o s s i b l e a x e s t o g e t t h b e s t f i t o r i g h t - a n g u l a r l i n e a r i n t e r p r e t a t i o n o t h e s e d a t a T h c l o s e n e s s o f e a c h m e m b e r t e a c h d i m e n s i o n i g i v e n a s n u m b e r b e t w e e n - 1 . 0 0 a n 1 . 0 0 . T h c l o s e r t o 1 . 0 0 , t h s t r o n g e r t h r e l a t i o n s h i p , w i t h n e g a t i v e w e i g h t s b e i n g c o n s i d e r e d t r e f l e c t a i n v e r s ea s s o c i a t i o n .

B e c a u s e t h e f a c t o r a n a l y s i s p r o c e d u r e i l i n e a r , i w a n e c e s s a r y t s e p a r a t et h w r o n g a n s w e r s f r o m t h r i g h t o n e s . T h i s n e c e s s i t y a r i s e s f r o m t h e l i n e a rd e p e n d e n c y b e t w e e n t h e s e t w p a r t s o t h e s e d a t a . T h a t i s i e v e r y s t u d e n ta n s w e r s e v e r y q u e s t i o n , t h s u o t h f r e q u e n c y o a l r i g h t a n t h f r e q u e n c y


9/44


o a l t h w r o n g a n s w e r s w i l l a l w a y s b e t h t o t a l n u m b e r o q u e s t i o n s o t h t e s tI t h i s s e n s e , t h e s e t w s e t s a r e x a c t c o m p l e m e n t s o e a c h o t h e r , w i t h e a c hg i v i n g e x a c t l y t h e s a m e i n f o r m a t i o n a b o u t t h c o m p a r a t i v e o r d e r a m o n g t h e i rs c o r e s . G r a n t e d , t h o r d e r i r e v e r s e d , b u t h e r e i n o t h e r d i f f e r e n c e . W h e n a e x a c t i n v e r s e r e l a t i o n s h i p o c c u r s a m o n g d a t a t b p r o c e s s e d u s i n g l i n e a rp r o c e d u r e s , t h m a t h e m a t i c a l e f f e c t i t d i v i d e b z e r o , m a k i n g s o l u t i o ni m p o s s i b l e t c a l c u l a t e .

T h i s p r o b l e m o m a t h e m a t i c a l e q u i v a l e n c e b e t w e e n r i g h t a n w r o n g a n s w e r so c c u r s o n l y f o t h s u m s o f a n s w e r s a n n o f o i n d i v i d u a l a n s w e r s W i t hi n d i v i d u a l a n s w e r s , s i n c e o n l y o n e o f t h e p o s s i b l e a n s w e r s i s e l e c t e d , t h a n s w e r s w i t h i n a i t e m a r m u t u a l l y e x c l u s i v e T h i s f a c t p r o d u c e s a n o t h e rc o m p l i c a t i o n i t h u s o s t a t i s t i c a l p r o c e d u r e s . T h i m p a c t o t h i s s e c o n dc o m p l i c a t i o n i d i s c u s s e d e l s e w h e r e ( s e e : P o w e l l a n S h k l o v , 1 9 9 2 a n d S h k J o va n P o w e l l , 1 9 9 9 ) .

T h e s e t w c o m p l i c a t i o n s , a l o n g w i t h t h r e a s o n a b l e a s s u m p t i o n t h a t w r o n ga n s w e r s a r " g u e s s e s , " t . n d t h f e e t t h a t a n y t h i n g m o r e t h a n t h e m o s t s i m p l e o n o n - l i n e a r p r o c e d u r e s a r t o c o m p l i c a t e d t c a l c u l a t e b h a n d , h a v e p r o b a b l yc o n t r i b u t e d t t h n e g l e c t o w r o n g - a n s w e r d a t a .

T h o b j e c t i v e o t h i s f i r s t s t u d y w a t e x p l o r e t h v a l i d i t y o t h " g u e s s i n g "a s s u m p t i o n . T t h i s e n f a c t o r p a t t e r n w a d e t e r m i n e d w i t h G r o u p A ' " w r o n g " a n s w e r s . T h e s e f a c t o r s w e r e i n t e r p r e t e d w i t h t h h e l p o t h r e p o r t e dr e a s o n i n g . T h e s e r e a s o n i n g c a t e g o r i e s w e r e t h e n u s e d t o p r e d i c t t h a n s w e r ss e l e c t e d b G r o u p f r o m t h e i r r e p o r t e d r e a s o n i n g . I a n s w e r s a r e g u e s s e s , i s h o u l d b i m p o s s i b l e t o p r e d i c t a n s w e r s f r o m r e a s o n i n g a a n b e t t e r t h a nc h a n c e l e v e l

F o u r f a c t o r s w e r e f o u n d w i t h r e l a t i v e l y c o n s i s t e n t r e a s o n i n g r e p o r t e d f o e a c h f a c t o r ; F a c t o r i n v o l v e d s i m p l i f i c a t i o n . F a c t o r I a d d i n g a d d i t i o n a li r r e l e v a n t i n f o r m a t i o n . F a c t o r I I d i s p l a y e d s u b s t i t u t i o n o m e a n i n g o w o r do p h r a s e f r o m t h t e s t - a u t h o r ' s i n t e n t , a n F a c t o r I s h o w e d a a l t e r n a t i v ei n t e r p r e t a t i o n o t h s t e m o t h q u e s t i o n I t h o r i g i n a l r e p o r t , t h e s ea l t e r n a t i v e s i F a c t o r I v a r i e d s m u c h t h a t t h e y s e e m e d t l a c k c o m m o nb a s i s . A t h i s o n g o i n g r e s e a r c h p r o g r e s s e d t h r e a s o n f o t h i s a n o m a l y b e c a m ec l e a r .

T h r e a s o n i n g r e p o r t c l a s s i f i c a t i o n s f o t h e s e f a c t o r s f r o m G r o u p w e r et h e n u s e d t c l a s s i f y t h r e a s o n i n g r e p o r t s g i v e n b G r o u p m e m b e r s T h i si n f o r m a t i o n w a t h e n u s e d t o p r e d i c t t h w r o n g a n s w e r s t h a t G r o u p w o u l ds e l e c t . I w a o b s e r v e d t h a t t h e i r r e a s o n i n g c o r r e c t l y p r e d i c t e d 6 o o i t h c l a s s i f i a b l e w r o n g a n s w e r s g i v e n b t h m e m b e r s o G r o u p C h a n c e a l o n es h o u l d a c c o u n t f o a b o u t 3 3 % T h i s f i n d i n g c h a l l e n g e s A s s u m p t i o n ( p a g e 4 )


10/44


T h i s a t t e m p t t f i n d r e c i p r o c i t y b e t w e e n a n s w e r s a n r e a s o n i n g , o c r o s s -v a l i d a t i o n , i o n o t w m a j o r w a y s u s e d b r e s e a r c h e r s t s h o w t h a t t h r e s u l t sf r o m s t u d y a r g e n e r a l p r o p e r t i e s o p h e n o m e n o n a n n o a a c c i d e n t a lp e c u l i a r i t y o o n p a r t i c u l a r s e o d a t a T h o t h e r m e t h o d i r e p l i c a t i o n i w h i c hs i m i l a r r e s u l t s o c c u r i s e p a r a t e s t u d i e s .

I w a c o n c l u d e d t h a t w r o n g a n s w e r s a r n o r a n d o m l y d i s t r i b u t e d , b u a r u s u a l l y s e l e c t e d o t h b a s i s o t h w a y s i w h i c h t h e s e s t u d e n t s i n t e r p r e t e d t h q u e s t i o n s a n t h e i r a t t e n d a n t a l t e r n a t i v e a n s w e r s .S t u d y

T h n e x t l o g i c a l q u e s t i o n , t h e r e f o r e , w a w h e t h e r w r o n g a n s w e r s g i v ed i f f e r e n t i n f o r m a t i o n t h a n t h r i g h t o n e s . T a d d r e s s t h i s q u e s t i o n s e c o n d s t u d y( P o w e l l , 1 9 7 0 ) w a c o n d u c t e d i w h i c h a n e x p e r i m e n t a l 3 0 - i t e m m u l t i p l e - c h o i c et e s t w a d e v e l o p e d T h d i s t r a c t i n g a l t e r n a t i v e s o t h i s t e s t w e r e d e s i g n e d u s i n gl o g i c a l r e l a t i o n s h i p s a n l o g i c a l f a l l a c i e s ( s e e P o w e l l a n I s b i s t e r , 1 9 7 4 ) . I w a a d m i n i s t e r e d t 3 0 a d u l t s t u d e n t s i s u m m e r - s c h o o l s e n i o r e d u c a t i o n a lp s y c h o l o g y c o u r s e a n o t - f o r - c r e d i t p a r t o t h e i r f i n a l e x a m i n a t i o n . T h e s es t u d e n t s w e r e r a n d o m l y a s s i g n e d t t w g r o u p s T h f i r s t o t h e s e t w g r o u p sw a u s e d f o b a s i c a n a l y s i s , a n t h s e c o n d f o c r o s s - v a l i d a t i o n p u r p o s e s .

C l u s t e r a n a l y s i s w a u s e d o t h i s o c c a s i o n t o e s t a b l i s h i n d e p e n d e n tc a t e g o r i e s a m o n g b o t h t h r i g h t a n t h w r o n g a n s w e r a l t e r n a t i v e s f o r b o t hg r o u p s T h i s a p p r o a c h w a u s e d t a v o i d t h l i n e a r - d e p e n d e n c y p r o b l e m . T h e r ew a f a i r d e g r e e o i n c o n s i s t e n c y b e t w e e n t h w a y s t h r i g h t a n s w e r s c l u s t e r e dw i t h o n l y 1 o t h 3 q u e s t i o n s f a l l i n g i n t o e q u i v a l e n t c l u s t e r s i b o t h g r o u p s .T h r e s u l t s w e r e e v e n l e s s e n c o u r a g i n g w i t h t h w r o n g a l t e r n a t i v e s , w i t h o n l y 1 o t h 6 ( a f t e r 3 w e r e e l i m i n a t e d b e c a u s e o f l o w f r e q u e n c y o c h o i c e ) p o s s i b l ea n s w e r s r e m a i n i n g i t h e e q u i v a l e n t c l u s t e r s . E t h e r t h t e s t w a w e a k e r t h a n t h p r e v i o u s v a l i d a t i o n s t u d i e s h a s u g g e s t e d , o t h d i v e r s i t y a m o n g a d u l t s t u d e n t s( i c o n t r a s t w i t h f r e s h m a n s t u d e n t s i t h e v a l i d a t i o n s t u d i e s ) w a g r e a t e r t h a n t h r e s e a r c h e r a n t i c i p a t e d .

I w a o b s e r v e d , h o w e v e r , t h a t w h e n t h e s e w r o n g a n s w e r c l u s t e r s b e t w e e nt h e s e t w s t u d e n t g r o u p s w e r e o r d e r e d i n t o a h i e r a r c h y s e q u e n c e , t h m i g r a t i o no t h e s e a n s w e r s w a n a r r o w W r o n g a l t e r n a t i v e s t y p i c a l l y d i s p l a c e d t h r o u g ho n l y o n o t w l e v e l s o c l u s t e r w h e n n o i i d e n t i c a l c l u s t e r s D o e s t h i so b s e r v a t i o n i m p l y t u r b u l e n c e i t h a n s w e r s e l e c t i o n p r o c e s s ?

T h r e s u l t s f r o m t h e x p e r i m e n t a l t e s t w e r e u s e d t o p r e - a n p o s t d i c t t h et o t a l s c o r e s o t h m i d - t e r m a n d f i n a l t e s t i t h i s c l a s s . B o t h c o r r e l a t i o n s w e r el o ( 0 . 2 4 a n 1 2 r e s p e c t i v e l y ) . T h i s o b s e r v a t i o n c o u l d h a v e c o m ef r o m t h r e e p o s s i b l e s o u r c e s F i r s t , i c o u l d b p r o d u c t o f w e a k n e s s e s i n h e r e n ti t h e x p e r i m e n t a l t e s t S e c o n d , i c o u l d b e t h r e s u l t o l o p s y c h o l o g i c a l


11/44


r e l a t i o n s h i p b e t w e e n i n f o r m a t i o n - b a s e d t e s t s a n l o g i c a l - r e a s o n i n g - b a s e d t e s t s .T h i r d , i c o u l d b t h a t t h r e l a t i o n s h i p s a m o n g t h e s e d a t a w e r e s t r o n g l y n o l i n e a r .

W h e n t h w r o n g a n s w e r s w e r e i n c l u d e d i t h e p r e d i c t i o n s t h r e l a t i o n s h i p sb e t w e e n t h t e s t s c o r e s i m p r o v e d s i g n i f i c a n t l y w i t h w r o n g a n s w e r s e x p l a i n i n gs u b s t a n t i a l l y m o r e o t h v a r i a b i l i t y t h a n t h e r i g h t a n s w e r s . I n a d d i t i o n , t h s t u d e n t s ' p o s i t i o n s i t h h i e r a r c h y o w r o n g a l t e r n a t i v e s w e r e t h m o s t s t a b l e o a l p r e d i c t i o n s u n d e r t h e s e c r o s s - v a l i d a t i o n c o n d i t i o n s . T h e s e w r o n g a n s w e r s a l s oa d d e d i n f o r m a t i o n a b o u t s t u d e n t p e r f o r m a n c e t h a t w a n o a v a i l a b l e f r o m t h r i g h t a n s w e r s b t h e m s e l v e s , f u r t h e r c h a l l e n g i n g A s s u m p t i o n

S t u d yT a n s w e r t h q u e s t i o n s a b o u t t h q u a l i t y o t h e x p e r i m e n t a l t e s t r a i s e d i

S t u d y 2 t h r e s u l t s f r o m a l 3 0 s t u d e n t s w e r e s u b j e c t e d t a a l t e r n a t i v ea n a l y s i s i t h i s f o l l o w - u p s t u d y ( P o w e l l a n I s b i s t e r , 1 9 7 4 ) . T a b l e g i v e s t h p r i n c i p a l f i n d i n g s o t h i s s t u d y .

T a b l eF a c t o r P a t t e r n f o t h C o m b i n e d R i g h t a n W r o n gA n s w e r s f o t h E x p e r i m e n t a l T e s t f r o m S t u d y

V a r i a b l e s C o m m u n -

W h o l e t e s tR i g h t a n s w e r s u b t e s t sC o m p r e h e n s i o n

A n a l y s i sS y n t h e s i s

W r o n g a n s w e r s u b t e s t sI r r e l e v a n c i e sI n v a l i d M a j o r

P r e m i s eV o P o p u l iN o S e q u i t i rO v e r G e n e r a l i z a t i o n

a l i t i e s

9

6 6 7

. 5 5

. 8 . 7 . 8

O v e r S i m p l i f i c a t i o n

8

. 7

. 7

F a c t o r s P r o p o r t i o nI I I I o

R e c o v e r e dV a r i a b i l i t y

. 8

. 6 7 9

7 . 8

. 8 - 7 . 8

6 . 5 . 7 - . 8 1 . 8

- 8 . 8

T h o s e w h a r n o f a m i l i a r w i t h f a c t o r a n a l y s i s m i g h t f i n d t h n u m b e r st h e m s e l v e s c o n f u s i n g . T h u n d e r l y i n g s c i e n t i f i c c o n c e p t i ( h a t t h m o r e o t h


12/44


v a r i a b i l i t y i s e o o b s e r v a t i o n s t h a t c a b e x p l a i n e d , t h e m o r e p o w e r f u l t h e x p l a n a t i o n .

B e c a u s e t h e r e a r n i n e v a r i a b l e s t b c o n s i d e r e d , t h e r e a r e n i n e p o t e n t i a lf a c t o r s C o n s i d e r t h c o l u m n h e a d e d " C o m m u n a l i t i e s t h i s n u m b e r i t h s u o t h s q u a r e s o a l t h f a c t o r l o a d i n g s f o t h f i r s t f i v e f a c t o r s . A s u c h i r e p r e s e n t s t h a m o u n t o t h v a r i a b i l i t y f r o m a l n i n e f a c t o r s t h a t i r e c o v e r e du s i n g o n l y f i v e f a c t o r s

T h i s m a t h e m a t i c a l i n t e r p r e t a t i o n m e a n s t h a t 9 o t h w h o l e - t e s t s c o r e i e x p l a i n e d u s i n g o n l y f i v e f a c t o r s . F r o m t h i s i n f o r m a t i o n i i p o s s i b l e t d e t e r m i n e h o m u c h o t h i s e x p l a i n e d v a r i a b i l i t y i a c c o u n t e d f o i t h l o a d i n go t h i s v a r i a b l e o F a c t o r ( 0 . 8 9 2 0 . 9 4 8 4 ) . T h i s m e a n s t h a t 8 o t h i sr e c o v e r e d v a r i a b i l i t y i g i v e n b t h i s o n n u m b e r . T h o t h e r m e m b e r s o t h l a s tc o l u m n e n t i t l e d " P r o p o r t i o n o R e c o v e r e d V a r i a b i l i t y " i i n t e r p r e t e d i t h i s s a m ew a y . M o s t r e p o r t s o f a c t o r a n a l y s i s d n o t c o n t a i n t h i s l a t t e r i n f o r m a t i o n

T h w a t h a t w a u s e d t g e a r o u n d t h l i n e a r d e p e n d e n c y p r o b l e m w a t d e v e l o p s u b t e s t s c o r e s i n d e p e n d e n t l y a n t o f a c t o r a n a l y z e t h i s s u b - s c o r e m a t r i x .T h t a b l e s h o w s o n l y t h o s e l o a d i n g s o e a c h f a c t o r t h a t w e r e 0 . 3 8 i o r d e r t h i g h l i g h t t h s t r u c t u r e . T h i s m e t h o d o r e p o r t i n g i a l s o n o n - t r a d i t i o n a l , b u i m a k e s t h e s t r u c t u r e f o u n d i t h i s t e s t m u c h m o r e c l e a r t h a n t h a v e a l t h n u m b e r s p r e s e n t e d

S i n c e t h i s t e s t w a o n e o f l o g i c a l t h i n k i n g , i i n o s u r p r i s i n g t o f i n d t h A n a l y s i s s u b t e s t l o a d h e a v i l y o F a c t o r a l o n g w i t h t h t o t a l s c o r e o t h t e s t .T h i s s u b t e s t c o n t a i n e d e l e v e n o t h t h i r t y i t e m s o t h t e s t F a c t o r I a p p e a r s a

C o m p r e h e n s i o n s u b t e s t , w i t h t h w r o n g a n s w e r s u b t e s t ( I r r e l e v a n c i e s )m e a s u r i n g i t h s a m e d i r e c t i o n T h a t i s b o t h h a v e p o s i t i v e l o a d i n g s . F a c t o r I I a p p e a r s t b S y n t h e s i s w i t h t h I n v a l i d M a j o r P r e m i s e F a l l a c y m e a s u r i n g i t h o p p o s i t e d i r e c t i o n F a c t o r s I a n s h a r e o n c a t e g o r y ( t h e V o P o p u l iF a l l a c y ) w i t h N o S e q u i t u r a n O v e r G e n e r a l i z a t i o n O v e r S i m p l i f i c a t i o nf o r m i n g a n i n v e r t e d " V . "

T h f a c t o r s t r u c t u r e i s t r o n g a n t h a r r a n g e m e n t o t h l o a d i n g s m a k e ss e n s e . T h e r e f o r e t h w e a k n e s s e s t h a t s e e m e d t b i n h e r e n t i t h e x p e r i m e n t a lt e s t w e r e n o a e v i d e n t i t h i s t e s t - v a l i d a t i o n s t u d y . I n s t e a d t h e r e w a e v i d e n c et h a t t h w r o n g a n s w e r c a t e g o r i e s , t h r e e o w h i c h s t o o d i n d e p e n d e n t o t h r i g h ta n s w e r s , a g a i n a d d e d t o t h e i n f o r m a t i o n a v a i l a b l e , f r o m t h r i g h t a n s w e r s , f u r t h e rc h a l l e n g i n g A s s u m p t i o n 1 S t u d y

A t h i s p o i n t i t h d e v e l o p m e n t o f t h c o n c e p t s r e l a t e d t o t h e i n t e r p r e t a t i o no t h w r o n g a n s w e r s , s o m e v e r y i n t e r e s t i n g q u e s t i o n s w e r e b e g i n n i n g t


13/44


e m e r g e I t h i s n e x t s t u a y ( P o w d l 1 9 7 7 ) t h r e s e a r c h e r d e c i d e d t a d d r e s s t h q u e s t i o n , " W h a t a c h i e v e m e n t i n f o r m a t i o n i e m b e d d e d i w r o n g a n s w e r s ? "

G o r h a m ' s ( 1 9 5 6 ) r e a d i n g - c o m p r e h e n s i o n t e s t ( T h e P r o v e r b s T e s t ) w a a d m i n i s t e r e d t g r o u p o f 5 5 e l e m e n t a r y s c h o o l s t u d e n t s f r o m t h r e e d i f f e r e n te l e m e n t a r y s c h o o l s . T h e s e s t u d e n t s w e r e i t h t h i r d t h r o u g h t h e i g h t h g r a d e s

r e p r e s e n t a t i v e s a m p l e o f t h e s e s t u d e n t s w e r e i n t e r v i e w e d b t r a i n e di n t e r v i e w e r s i m m e d i a t e l y a f t e r t h a d m i n i s t r a t i o n o t h t e s t a n t h r e s u l t i n ga u d i o t a p e s w e r e t r a n s c r i b e d

T h i s t e s t w a c h o s e n f o t w r e a s o n s . F i r s t , t h t e s t w a u s e d i S t u d y 1 m a k i n g i p o s s i b l e t o c o m p a r e c h i l d r e n w i t h a d u l t s . S e c o n d , i c o n t a i n s" c o n c r e t e r i g h t a n s w e r " s c a l e , m a k i n g i p o s s i b l e t o i n v e s t i g a t e t h t r a n s i t i o nb e t w e e n c o n c r e t e a n a b s t r a c t r i g h t a n s w e r s .

W r o n g a n s w e r s w e r e g r o u p e d b t w s t a g e c l u s t e r a n a l y s i s s y s t e m , a n t h r e s u l t i n g c l u s t e r s u s e d t d e v e l o p s u b - t e s t s c o r e s . T h p r o c e d u r e u s e d w a f o u n d i t h B i o - M e d i c a l s t a t i s t i c a l p a c k a g e ( B M D - P 4 ) I t h i s p r o c e d u r ec o r r e l a t i o n m a t r i x i r e o r d e r e d , b e g i n n i n g w i t h t h m o s t c l o s e l y a s s o c i a t e d p a i ro o b s e r v a t i o n s a n p r o g r c s s i v e t y r e a r r a n g i n g t h i s m a t r i x u n t i J t h e b e s t s e q u e n c eo g r a d u a l l y d i m i n i s h i n g a s s o c i a t i o n s h a b e e n p r o d u c e d . c l u s t e r i e s t a b l i s h e da l o n g a t h e n e x t e n t r y i s t i l l s i g n i f i c a n t l y c o r r e l a t e d w i t h t h r o o t o t h g r o u p . W h e n t h i s c o r r e l a t i o n b e c o m e s n o n - s i g n i f i c a n t n e c l u s t e r b e g i n s .E v e n t u a l l y , t h e r e m a b f e v a r i a b l e s t h a t a r n o s i g n i f i c a n t l y c o r r e l a t e d w i t ha n o t h e r s i t h m a t r i x .

I t h i s s t u d y , t w e l v e c l u s t e r s w e r e i d e n t i f i e d a m o n g t h 1 2 p o s s i b l ei n d i v i d u a l w r o n g a n s w e r s a l o n g w i t h g r o u p o f a l t e r n a t i v e s t h a t d i n o c o r r e l a t e w i t h a n o t h o t h e r s . E a c h d u s t e r c o n t a i n e d , w i t h o n e x c e p t i o n ,a n s w e r s e t s f o a l i t m e m b e r s a t h s a m e m o d a l ( m o s t f r e q u e n t l y o c c u r r i n g )a g l e v e l o t h o s e w h s e l e c t e d t h e s e a n s w e r s . O n o t h c l u s t e r s c o n t a i n e d a l o t h a l t e r n a t i v e s t h a t w e r e b i m o d a l . B b i m o d a l i m e a n t t h a i t h f r e q u e n c y o s e l e c t i o n r e a c h e d t w s e p a r a t e p e a k s , e a c h a d i f f e r e n t a g l e v e l s T h t w e l v ec l u s t e r s w e r e c l a s s i f i e d w i t h r e s p e c t t t h e i r m o d a l ( h i g h e s t f r e q u e n c y o c h o i c e )a g l e v e l s .

T h s t u d e n t s ' r e s p o n s e s w e r e s c o r e d u s i n g t h e s e 1 c l u s t e r s t o d e f i n e 1 2w r o n g - a n s w e r s u b t e s t s c o r e s . T t h e s e c l u s t e r s c o r e s w e r e a p p e n d e d t h e i r s c o r e so t h C o n c r e t e a n d A b s t r a c t r i g h t a n s w e r s c o r e s T h i s n e d a t a s e w a c o r r e l a t e d o n c e a g a i n a n t h n e c o r r e l a t i o n m a t n x p r o c e s s e d t h r o u g h t h i ss a m e c l u s t e r - a n a l y s i s r o u t i n e T h i s t i m e t h e r e e m e r g e d o n e c l u s t e r o f i v em e m b e r s , o n e o t h r e e , a n s i i n d i v i d u a l s U b s o o r e s ( 1 4 s u b s c o r e s i a l l )

T h c l u s t e r o f i v e s u b s c o r e s c o n t a i n e d a l f o u r o t h s u b s c o r e s w h o s em o d e s w e r e a 8 y e a r s o a g a l o n g w i t h t h C o n c r e t e r i g h t a n s w e r s ( a l s o w i t h


14/44


m o d a l a g o y e a r s ) T h t h r e e s u b s c o r e c l u s t e r s c o n t i n u e d t h t w 9 - y e a r - o l ds c o r e s e a n t h o n f o 1 y e a r s o f a g e T h r e m a i n d e r c o n t i n u e d t f o l l o w t h a g p r o g r e s s i o n e x a c t l y , w i t h t h b i m o d a l c l u s t e r f a l l i n g b e t w e e n t h a t f o r 1 2 y e a r - o l d s a n 1 3 - y e a r - o l d s T h c l u s t e r f o 1 4 y e a r - o k l s ( t h e h i g h e s t a g l e v e li t h s a m p l e ) s t o o d j u s t b e l o w t h A b s t r a c t r i g h t a n s w e r s T h u s t h i s s e c o n d -o r d e r c l u s t e r i n g e x t r a c t e d t h e a g s e q u e n c e o t h e s e c l u s t e r s i e x a c tc h r o n o l o g i c a l o r d e r w i t h o u t e x c e p t i o n ! T h e r e a p p e a r e d t b p o w e r f u l a g d e p e n d e n c y a m o n g t h e s e d a t a

A i S t u d y 1 t h r e a s o n i n g r e p o r t s w e r e u s e d t c l a s s i f y t h c l u s t e r s . E a c hs u b - t e s t s h o w e d e q u i v a l e n t r e a s o n i n g g r e a t e r t h a n 5 0 S o m e e q u i v a l e n c i e sa p p r o a c h e d t h 6 i d e n t i f i e d i S t u d y T h s u b t e s t p a t t e r n d e r i v e d f o t h a d u k s i S t u d y w a q u i t e d i f f e r e n t f r o m t h o n o b s e r v e d f o t h e s e c h i l d r e n

T h o u t c o m e o t h i s r e a s o n i n g c l a s s i f i c a t i o n i i t s e l f o c o n s i d e r a b l e i n t e r e s t .T h i s o u t c o m e i i l l u s t r a t e d b e l o w u s i n g o n o t h f o r t y i t e m s ( i t e m 1 8 f r o mG o r h a m ' s T h P r o v o r b s T e s t , 1 9 5 6 ) A l i t e m s s h o w e d s i m i l a r c o n s i s t e n c y .

Q U I C K L Y C O M E , Q U I C K L Y G ( E a s y c o m e , E a s y g o ) .A A l w a y s c o m i n g a n g o i n g a n n e v e r s a t i s f i e dB W h a t y o g e e a s i l y d o e s n o m e a n m u c h t y o u .C A l w a y s d o t h i n g s o t i m e .D M o s t p e o p l e d a t h e y p l e a s e a n d g o a t h e y p l e a s e .

T h c h r o n o l o g i c a l o r d e r o t h a l t e r n a t i v e s i t h i s i t e m ( f r o m t h e i r m o d e s o a g l e v e l s e l e c t i o n ) w a = = = B w h e r e w a t h r i g h t a n s w e r T h i sr e p r e s e n t e d t h a g l e v e l s o 8 1 0 1 a n d 1 4 + r e s p e c t i v e l y .

W h e n t h r e p o r t e d r e a s o n i n g w a c o n s i d e r e d , t h e m o s t c o m m o n r e a s o n i n gf o a l t e r n a t i v e C " A l w a y s d o t h i n g s o t i m e ( y e a r o l d s ) " w a s , " T h a t ' s w h a t t h t e a c h e r a l w a y s s a y s . " H o d o e s t h i s r e a s o n i n g r e l a t e t " Q u i c k l y c o m e , q u i c k l yg o ? " C o n s i d e r t h f a c t t h a t t h e r e m a b a m a n y a 3 a c t i v i t y c h a n g e s i o n f i v e h o u r d a y o f t h i r d g r a d e c l a s s r o o m . T h i s i a n a v e r a g e o n e a c t i v i t ye v e r y t e m i n u t e s !

S w h a t o w h i c o m i n g a n d g o i n g q u i c k l y ? T h c h i l d r e n t h e m s e l v e s , o c o u r s e ! T h i s i n o a p r o v e r b i a l i n t e r p r e t a t i o n a a l l . T h e s e c h i l d r e n h a v ei n t e r p r e t e d t h s t a t e m e n t " Q u i c k l y c o m e , . . . " i t e r m s o t h e i r p e r s o n a l p h y s i c a lc o n d i t i o n s i t h e i r t h i r d g r a d e c l a s s r o o m s I w a c l a s s i f i e d a a R e d e f i n i t i o n o T e r m s ( R T ) b e c a u s e t h t e s t i n t e n t w a l r e l a t e t h i s s t a t e m e n t t e v e n t s o u t s i d eo s e l f . T h i s c l u s t e r s h o w e d 5 9 . 4 c o n s i s t e n c y o r e a s o n i n g f o a l o i t m e m b e r s .

1


15/44


16/44


T a b l eS t e p w i s e M u l t i p l e - R e g r e s s i o n A n a l y s i s

o f t h e P r e d i c t i o n s o t h G a t e s - M a c G i n i t i e T e s tf r o m a i t h S u b s c o r e s o t h P r o v e r b s T e s t

( f S 1 0 0 )L i n e a r P r e d i c t i o n s :

G r a d e G r a d eC r i t e r i a

S p e e d a n a c c u r a c yC o r r e c t

A t t e m p t e dW r o n g ( b

V o c a b u l a r y3 C o m p r e h e n s i o n4 C o m p o s i t e ( 3

Q u a d r a t i c P r e d i c t i o n s :I S p e e d a n A c c u r a c y

a C o r r e c t

b A t t e m p t e d

W r o n g ( - 1 > )

V o c a b u l a r y

P r e d i c t o r s

O R C O ( - T P

O W

O A B W L R ( - )P e O A B W L R ( - )P e T

A B L R ( - )P S i R T ( - )

R

. 1 0 9

. 0 3 2. 0 9 1

. 0 5 7. 0 4 4

. 3 3 2

. 2 7 1

3 6

4 3

. 0 0 6. 0 5 5. 0 7 5. 0 1 0. 0 2 4

. 0 1 7. 0 3 5

. 0 0 0. 0 0 5O i

. 0 2 8. 0 4 2. 0 1 3. 0 0 20 1

. 0 2 8. 0 3 8. 0 5 7

. 0 0 1. 0 0 0. 0 0 1. 0 2 60 4

P r e d i c t o r s

O S ( - )

I r r ( - )1 I r r ( - )S i O S ( - )L i

A B

A B C O

S i L i ( - C O O A B S i ( -

K

0 3

. 0 9 7

0 6 . 1 0 7. 1 0 9

. 2 3 1

. 1 2 4

. 2 5 5

. 3 8 9

. 0 6 8

. 0 2 9. 0 6 2. 0 1 9. 0 1 0. 0 0 5. 0 6 4

. 0 0 0

. 0 0 4. 0 2 0

. 0 0 0. 0 1 1. 0 7 7. 0 0 0. 0 1 1. 0 7 7

1


17/44

C r i t e r i aC o m p r e h e n s i o n

C o m p o s i t e ( 3

T a b l e 2 ( c o n t i n u e d )G r a d e

P r e d i c t o r s R P e P T ( - )A B L P T ( - )A B L R ( - )P e S i

. 4 1 3 0 1 . 0 0 1. 0 0 1. 0 0 1

. 4 5 9 . 0 0 1. 0 0 0. 0 0 1. 0 4 4. 0 4 5

P o w e l l a n

G r a d eP r e d i c t o r s R A B 3 0

O . 4 0 7A B

C l a p p

0 0

0 0 0 6

( - N e g a t i v e w e i g h t i n gB O L D R i g h t A n s w e r s

Q u a d r a t i c p r e d i c t i o n s u s t h s q u a r e o t h e p r e d i c t o r s i n s t e a d o t h s c o r e st h e m s e l v e s . I t h i s w a u p w a r d o d o w n w a r d f a c i n g c u r v e s c a b c o n s i d e r e d .s u b s t a n t i a l i n c r e a s e i t h e x p l a i n e d v a r i a b i l i t y ( / C ) i n d i c a t e s a h i g h d e g r e e o n o n - l i n e a r i t y i t h r e l a t i o n s h i p s a m o n g t h d a t a . T h o r d e r i w h i c h t h e s ep r e d i c t o r s a p p e a r i t h o r d e r o t h e i r c o n t r i b u t i o n t t h v a r i a b i l i t y .

I t h l i n e a r p r e d i c t i o n s , o n l y t h C o n c r e t e r i g h t a n s w e r s f r o m P r o v e r b sp r e d i c t e d a n o t h r i g h t - a n s w e r b a s e d G a t e s - M a c G i n i t i e s u b s c o r e s . T h i sp r e d i c t i o n c a r r i e d n e g a t i v e c o e f f i c i e n t ( a o n s c o r e i n c r e a s e s t h e o t h e rd e c l i n e s ) a n t h i s w a n o s i g n i f i c a n t a t h 0 . 0 5 l e v e l . A J t h v a r i a b i l i t i e s ( R 2 )t h a t w e r e p r e d i c t e d w e r e l o w .

W i t h t h q u a d r a t i c p r e d i c t i o n s t h e x p l a i n e d v a r i a b i l i t y b e c a m e m o r er e s p e c t a b l e a n A b s t r a c t r i g h t a n s w e r s w e r e s i g n i f i c a n t l y r e p r e s e n t e d ( a t h 0 . 0 5 l e v e l ) i f i v e o t h s i s c o r e s f o G r a d e 4 F o t h s e v e n t h g r a d e . A b s t r a c ta n s w e r s w e r e s i g n i f i c a n t f o f o u r o t h s i s u b s c o r e s . C o n c r e t e r i g h t a n s w e r ss i g n i f i c a n t l y p r e d i c t e d o n l y o n o t h t w e l v e s u b s c o r e s . T h A b s t r a c t r i g h ta n s w e r s w e r e t h f i r s t p r e d i c t o r o n l y o n c e f o t h e f o u r t h g r a d e g r o u p( V o c a b u l a r y ) a n t h r e e o t h s i s u b s c o r e s f o t h s e v e n t h g r a d e g r o u p .

T h e s e o b s e r v a t i o n s s u g g e s t s t r o n g n o n - l i n e a r i t y a m o n g t h e s e d a t a a n t h a t , i g e n e r a l , w r o n g a n s w e r s w e r e b e t t e r p r e d i c t o r s t h a n r i g h t o n e s , a l t h o u g hm u c h m o r e s f o G r a d e t h a n G r a d e 7 W i t h t h e s t r e n g t h o t h i n f l u e n c e o a g u p o n w r o n g - a n s w e r s u b s c o r e o r d e r a n t h r e c u r r e n c e o m a n y f i n d i n g sf r o m t h p r e v i o u s s t u d i e s i w a b e c o m i n g e v i d e n t t h a t w r o n g a n s w e r s m i g h t b

s o u r c e f o m e a n i n g f u l i n f o r m a t i o n t h a t p e r h a p s h a b e e n o v e r l o o k e d b t h e d u c a t i o n a l c o m m u n i t y

1


18/44


I s u m m a r y , t h i s s t u d y p r o v i d e d t h r e e m a j o r o b s e r v a t i o n s . F i r s t t h i s s t u d ys h o w e d a u n u s u a l l y s t r o n g a g d e p e n d e n c y a m o n g t h e s e d a t a . C o r r e l a t i o n s o

0 0 s u c h a s e e n h e r e , a r s e l d o m o b s e r v e d i s t u d i e s i n v o l v i n g h u m a n s u b j e c t s .N o n e t h e l e s s t h s e q u e n c e o t h s u b s c o r e s r e c a p i t u l a t e d e x a c t l y t h e a g s e q u e n c e o t h m o d e s o t h e s e s c o r e s .

S e c o n d , w h e n s t u d e n t s d n o r e c o g n i z e t h i n t e n d e d a n s w e r , t h e m a j o r i t yo t h e m a p p e a r n o t g u e s s b l i n d l y b u t r e a s o n t h e i r w a t t h a n s w e r t h e ys e l e c t i d c v e l o p m e n t a l l y a p p r o p r i a t e m a n n e r . T h e y s e e m , a w h a t e v e r a g l e v e l , t g i v e t h b e s t a n s w e r t h e y c a f r o m w h a t t h e y k n o w . " W r o n g " a n s w e r sm a b a b ! e t o p r o v i d e i n s i g h t i n t o t h d e v e l o p m e n t a l s t a t u s o t h e t e s t e c s t h a i i n o a v a i l a b l e f r o m t h r i g h t a n s w e r s o t h s a m e t e s t .

T h i r d , t h r e l a t i o n s h i p a m o n g a n s w e r s d n o s e e m t f o l l o w s i m p l es t r a i g h t l i n e i w h i c h a a c c u m u l a t i o n o r i g h t a n s w e r s c a t d u h o m u c hs t u d e n t l t n o w s . I n a d d i t i o n , w r o n g a n s w e r s p r o v i d e m o r e i n f o r m a t i o n i g r e a t e rd e t a i l t h a n c a b o b t a i n e d f r o m t h r i g h t a n s w e r s a l o n e . T h u s t h a n s w e r t t h q u e s t i o n , " W h a t i n f o r m a t i o n d w r o n g a n s w e r s p r o v i d e ? " s e e m s t b e " T h e yc a i n d i c a t e t h d e v e l o p m e n t a l s t a t u s o t h s t u d e n t s a n h o t h e y a r p r o c e s s i n g i n f o r m a t i o n w i t h c o n s i d e r a b l e p r e c i s i o n . " T h i s t r i p l e r e p l i c a t i o n o f i n d i n g s f r o m t h r e e d i f f e r e n t s t u d e n t g r o u p s i p r o b a b l y s u f f i c i e n t t r e f u t eA s s u m p t i o n ( p a g e 4 )

T a b l eD e v e l o p m e n t a l S e q u e n c e s I n f e r r e d

f o B o t h R i g h t a n W r o n g A n s w e r sf r o m T h e s e S t u d i e s

G f m t r a S t r a t e g yF r a g m e n t a t i o nR e d u c t i o nR e a r r a n g e m e n tE x t e n x k nT r a n s i t i o nS u b s t i t u t i o n

7 R a l t n o i n gA g t S e a J e

P e n m m lI s o l a t e d R e s p o n s e s ( H P a r t i a l T r a n s l a t i o n ( F T )

[ R e o r d e r i n g ( R e ) |[ C o n t m u a t i o n < C 0 )

C O N C R E T E ( C O N )R e d e f i n e d T e r r a * ( R T )

P e r s o n a l i z a t i o n ( P e r )

L e v e l o t b a n r l n m iL i t e r a l

W o n ] A s o c u t t i o n n ; W A )L i t e r a l R e d u c t i o n ( I - R )

T r a n s p o w u o n ( T r ){ E x t r a p o l a t i o n ( E x ) }

I n c l c v w K - i e s ( I r r ){ P a r t i a l R e p l a c e m e n t ( J ' R ) }

L u e r n U z a t K m ( L i t )1 1

F i p i r a t K *O v e r S i m p l i f i c a t i o n ( O

S i m r J i f i c a U a n ( S i m ){ I n v e r s i o n ( I n v ) }

O v e r G e n e r a l i z a t i o n ( C

A B S T R A C T ( A H S )1 2 1 3 1 4 1 5 1

( C o d e u s e d f o t h e s e i t r a t e g i e s .{ F o u n d i a U u l u n o t h e r t h a n S t u d y

( N o y e t i d e n t i f i e d ; u s e d l f i l l e m p t y o c l l xB O L D R i g h t A n s w e r s

1


19/44


C o m b i n i n g t h r e s u l t s o t h i s s t u d y w i t h t h p r e v i o u s o n e s m a d e i p o s s i b l et i d e n t i f y t h r e e s e q u e n t i a l l e v e l s o f d e v e l o p m e n t i s e v e n s e q u e n c e s a p r e l i m i n a r y p a t t e r n f o d e s c r i b i n g i n t e l l e c t u a l d e v e l o p m e n t . T a b l e s h o w s t h e s ep a t t e r n s :

T h i s t a b l e i n c l u d e s a l 1 w r o n g a n s w e r c a t e g o r i e s , b o t h r i g h t a n s w e rc a t e g o r i e s , I n v e r s i o n s a n E x t r a p o l a t i o n s f r o m S t u d y 2 a n P a r t i a l R e p l a c e m e n t( P R ) f r o m s t u d y n o t r e p o r t e d h e r e . T h i n f e r r e d c a t e g o r i e s o C o n t i n u a t i o n( C t ) a n R e o r d e r i n g ( R e ) w e r e u s e d t f i l l e m p t y c e l l s . T h c o n n e c t i o n b e t w e e n" C o n c r e t e R i g h t A n s w e r s " a n " I r r e l e v a n c i e s " i d r a w n f r o m S t u d y" I r r e l e v a n c i e s " a n P a r p l a c e d b e t w e e n " L i t e r a l i z e d " a n " F i g u r a t i v e "i n t e r p r e t a t i o n s b e c a u s e a n s w e r s i t h e s e c a t e g o r i e s s e e m t s p r e a d a c r o s s t h i se n t i r e a g r a n g e I a p p r o p r i a t e s e t t i n g s a l o t h e s e s t r a t e g i e s a r l e g i t i m a t ef o r m s o r e a s o n i n g .

W h a t , t h e n , i t h t r a n s i t i o n f r o m c o n c r e t e t a b s t r a c t r i g h t a n s w e r s ? I i t r a n s f o n n a l i o n a l s e q u e n c e i w h i c h s t u d e n t s c h o o s e p a r t i c u l a r w r o n g a n s w e rf o t i m e , c h a n g e t h e i r w a o t h i n k i n g a t h e y d e v e l o p , c h o o s i n g a d i f f e r e n tw r o n g a n s w e r f o t i m e , e v e n t u a l l y a r r i v i n g a t h r i g h t o n e ? I t h i s t r a n s i t i o ns m o o t h o t u r b u l e n t , a n i t h e r e o n l y o n d e v e l o p m e n t a l p a t h w a y o a r t h e r em o r e t h a n o n e ( A s s u m p t i o n 2 p a g e 4 )

S t u d yS i n c e t h e s e f i n d i n g s h a v e b e e n c r o s s - v a l i d a t e d w i t h i n t h e s e s e v e r a l s t u d i e s ,

t h e n e x t s t e p i n t h i s r e s e a r c h p r o g r a m w a t o r e p l i c a t e t h e s e f i n d i n g s b c o l l e c t i n g n e d a t a , t h i s t i m e u s i n g r e p e a t e d m e a s u r e s a p p r o a c h .

T h p u r p o s e o t h r e p e t i t i o n o t h e s e t e s t s w a t s e e k i n f o r m a t i o n a b o u tt h c h a n g e s i a n s w e r s s e l e c t i o n . D t h e s e c h a n g e s f i c h r o n o l o g i c a l l y b e t w e e nt h a n s w e r c a t e g o r i e s a l r e a d y o b s e r v e d ? I s o t h r e p l i c a t i o n w o u l d f u r t h e rs u p p o r t t h a p p a r e n t a g d e p e n d e n c y a m o n g t h d a t a f o u n d i S t u d y f u r t h e rb e n e f i t c o u l d b s o m e i n d i c a t i o n a t w h e t h e r t h e r e a r o n l y o n o m o r e t h a no n d e v e l o p m e n t a l p a t h w a y T h e s e t w q u e s t i o n s c a n n o t b a d d r e s s e d u s i n gs i n g l e a d m i n i s t r a t i o n o t e s t . t h e i s s u e i u r b u l e n c e w i l l b d i s c u s s e d i S t u d y7

T h P r o v e r b s T e s t a n a n o t h e r t e s t w e r e a d m i n i s t e r e d t w i c e t a b o u t 3 , 0 0 0s t u d e n t s i t h t h i r d t h r o u g h t h t h i r t e e n t h ( a d v a n c e d p l a c e m e n t ) g r a d e l e v e l sw i t h f i v e - m o n t h t i m e l a p s e b e t w e e n a d m i n i s t r a t i o n s .

T h e r e f o l l o w e d s u b s t a n t i a l h i a t u s i p u b l i s h e d r e p o r t s i t h i s a r e a w h i l e t h r e s e a r c h e r l o o k e d f o m e t h o d o e x t r a c t i n g a n s w e r t r a n s i t i o n s f r o m a m o n gt h e s e d a t a F i n a l l y , t h r o u g h t h f o r t u n a t e c o l l a b o r a t i o n w i t h m a t h e m a t i c a ls t a t i s t i c i a n ( N S h k l o v ) , n o n - l i n e a r t e c h n i q u e w a s e l e c t e d t o r e s o l v e t h i s

1


20/44


p r o b l e m . T h r e s u l t w a t h a t c o n s i d e r a b l e c l a r i t y o o b s e r v a t i o n e m e r g e d f r o mt h e s e d a t a ( P o w e l l a n S h k l o v , 1 9 9 2 ) T h i s t e c h n i q u e g i v e s t h e p r o b a b i l i t y o f r e q u e n c y o e v e n t s d i r e c t l y f r o m d a t a w i t h o u t l i n e a r r e s c a l i n g . I i n v o l v e s c r o s s -t a b u l a t i n g e v e r y a n s w e r w i t h e v e r y o t h e r a n s w e r a n d t h e n a p p l y i n g a a d a p t a t i o no t h e q u a t i o n f o t h m u l t i n o m i a l p r o c e d u r e t o t h e r e s u l t i n g f r e q u e n c y t a b l e( S e e P o w e l l a n d S h k l o v , 1 9 9 2 o S h k l o v a n P o w e l l , 1 9 9 9

S c i e n t i f i c r e s e a r c h f r e q u e n t l y u s e s t h e p r o b a b i l i t y t h a t o b s e r v a t i o n s a r o c c u r r i n g b y c h a n c e a l o n e t p u t h e m i n t o c o n t e x t I i u s u a l f o m e a s u r e m e n tt b c o n s i d e r e d m e a n i n g f u l i i c o u l d o c c u r b a c c i d e n t o n c e i t w e n t y t i m e s o l e s s . T h v a l u e o t h m u l t i n o m i a l p r o c e d u r e i t h a t i g i v e t h e s e p r o b a b i l i t i e sd i r e c t l y w i t h o u t t h n e e d f o m a t h e m a t i c a l l y m o d i f y i n g t h n u m b e r s u s e d t r e p r e s e n t t h o b s e r v a t i o n s b e f o r e p r o b a b i l i t i e s a r c a l c u l a t e d

T h i n i t i a l s t u d y c o n s i d e r e d o n l y w i t h i n - i t e m e v e n t s a c r o s s t h e t i m e i n t e r v a lC o n s i d e r i n g t h r e p e a t e d c h o i c e o p a r t i c u l a r a n s w e r s ( s u c h a a n s w e r o b o t ha d m i n i s t r a t i o n s ) t h e i d e n t i c a l p a t t e r n t h a t w a f o u n d i S t u d y w a o b s e r v e d I a d d r t i o n , c o n s i d e r i n g t h c h a n g e s o a n s w e r f r o m o n t a n o t h e r ( s u c h a f r o mt a c r o s s t h t w a d m i n i s t r a t i o n s ) , t h e m e d i a n a g l e v e l f o t h e s e c h a n g e s f e l lb e t w e e n t h m e d i a n a g e l e v e l s f o t h s t a b l e c h o i c e s . T h o b s e r v a t i o n s m a d e i S t u d y r e p l i c a t e d i t h i s s t u d y .

T h r e p o r t o S t u d y 5 f o s p a c e l i m i t a t i o n s a n t a v o i d u n n e c e s s a r yr e d u n d a n c y , c o n c e n t r a t e d u p o n t h r e s u l t s f o r o n l y o n i t e m o t h f o r t y o t h t e s t . T h i s i t e m w a c h o s e n b e c a u s e a l t h r e e w r o n g - a n s w e r l e v e l s ( P e r s o n a l i z e d ,L i t e r a l , a n F i g u r a t i v e ) w e r e r e p r e s e n t e d a m o n g t h w r o n g a l t e r n a t i v e s i n t h i si t e m

F i g u r e s u m m a r i z e s t h r e s u l t s f r o m i t e m 1 8 T h r e p o r t e d r e a s o n i n gb e h i n d t h a n s w e r s s e l e c t e d i t h i s i t e m w a d i s c u s s e d i d e t a i l a b o v e . T h s t a b i l i t y a n c h a n g e s e q u e n c e s a r a r r a n g e d t s h o w t h f l o w o t r a n s f o r m a t i o n a lc h o i c e s .

T h i s f i g u r e p r e s e n t s t h e s i g n i f i c a n t s t a b l e a n s w e r s ( s u c h a s = C a v e r t i c a l a r r o w s a n d c h a n g e s ( s u c h a = D a h o r i z o n t a l a r r o w s . T h a r r o w st h a t a r i b o l d f a c e ( = > ) w e r e s t a t i s t i c a l l y s i g n i f i c a n t . S e q u e n c e s o s t a b i l i t y o c h a n g e w e r e e s t a b l i s h e d o t h b a s i s t h a t t w s i g n i f i c a n t e v e n t s c o m m e n c e ds e q u e n c e a n t w n o n - s i g n i f i c a n t o n e s e n d e d i w i t h m i n o r e x c e p t i o n s .

I a d d i t i o n t o r e p l i c a t i n g t h e f i n d i n g s i S t u d y a n c r o s s - v a l i d a t i n gt h e s e r e s u l t s b s h o w i n g t h a t c l e a r l y o b s e r v a b l e s e q u e n c e o f a n s w e r s s e l e c t i o n sa n c h a n g e s w a e v i d e n t , f o u r o t h e r f i n d i n g s e m e r g e d .

1


21/44

P o w e l l a n C l a p p

F i g u r eM a j o r P a t h w a y s E v i d e n t i O n P r o v e r b s T e s t I t e m ( I t e m 1 8

A g e s

< 9 9

1 0 1 0 1 1 1 1 1 2 1 2 1 3 1 3 1 4 1 4 1 5 1 5 1 6 1 6 1 7 1 7 1 8 1 8 1 9 1 9 2 0 2 0 2 1 2 1

< 2 2 0

t

x 1 1

1 I

1 1 1

M a i nC t o t oD

=

= l t - - =

1

I I i I 1

1 I

1 I 1

S t r e a m

t o t oA

= s I

i = I V

= - A

= s I

P a t t e r nB

t o t oB * B '

1 I

= 1 = I

1 = I = 1 = I

= I

= l t = I - 1 = I

B t

A

A t

A

I l

1

I

' i

B t B

1

I

D r o p - o u tb t o t oA

~ - =

i = = I

1

l

t

=

P a t t e r n

t o t oD

1

I - I =

= \ l =

i i

1 t I I i I

t

1

I I

1

U t e r a i R i g h t P r f o u n d

L i t e r a l E g c e n t

r i

4 . - *

S c h o o l l e a v i n g a g ( 1 y e a r s o l d ) .S i g n i f i c a n t s e l e c t i o n f r e q u e n c i e s ( / S 0 . 9 4 5 )N o n - s i g n i f i c a n t f r e q u e n c i e s ( s e q u e n c e c o n t i n u i n g ) .

1


22/44

I n t e n t H u m a n P o t e n t i a l

F i r s t , t h p r o p o r t i o n a l s e l e c t i o n o t h r i g h t a n s w e r a c h i e v e d p e a k( m o d e ) a t h a g o 1 d e c l i n i n g t h e r e a f t e r A d d i t i o n a l l y , t h e r e w a s m a l lg r o u p o f m o r e m a t u r e ( p r o f o u n d ) s t u d e n t s w h s y s t e m a t i c a l l y m o v e d a w a y f r o mt h r i g h t a n s w e r t p a r t i c u l a r w r o n g o n ( A ) .

B e c a u s e t h o s e s t u d e n t s w h c h o s e a l t e r n a t i v e b r e j e c t i n g w e r e s m a l lm i n o r i t y , i w a n e c e s s a r y t t r t e x p l a i n t h i s o b s e r v a t i o n f r o m t h r e s u l t s o S t u d i e s a n 4 I t h o s e s t u d i e s t h e r e w e r e n u m b e r o a d u l t ( a n d o l d e re l e m e n t a r y - s c h o o l ) s t u d e n t s w h r e a d m o r e i n t o t h q u e s t i o n t h a n w a i n t e n d e da n r e j e c t e d t h e a c c e p t e d a n s w e r i t h e i r r e a s o n i n g r e p o r t s i f a v o r o a n o t h e ro n t h a t b e t t e r f i t t e d d i v e r g e n t f o r m o f r e a s o n i n g T h p r e s u m p t i o n w a t h e nm a d e t h a t t h i s s a m e e v e n t m i g h t b e o c c u r r i n g w i t h t h e s e m a t u r e s t u d e n t s , m o s to w h o m w e r e m o r e t h a n s i x t e e n y e a r s o a g

S e c o n d , t h s u o t h f r e q u e n c i e s i t h s t a t i s t i c a l l y s i g n i f i c a n t c e l l s o t h r e p e a t e d c h o i c e o t h A b s t r a c t R i g h t A n s w e r ( B ) r e p r e s e n t e d o n l y a b o u t 2 ( 6 7 3 / 2 8 1 0 = 2 3 9 5 ) o t h t o t a l n u m b e r o p o s s i b l e a n s w e r s . I n c o n t r a s t , t h s u o t h f r e q u e n c i e s o a l s t a t i s t i c a l l y s i g n i f i c a n t c e l l s ( s t a b l e c h o i c e s o b o t hr i g h t a n w r o n g a n s w e r s a n s i g n i f i c a n t a n s w e r c h a n g e s ) r e p r e s e n t e d 7 5 o a l a n s w e r s ( 2 1 1 2 / 2 8 1 0 = 0 . 7 5 1 6 ) .

T h u s m a j o r i n c r e a s e i m e a n i n g f u l d a t a r e c o v e r y ( m o r e t h a n t h r e e t i m e s )r e p l i c a t e s t h h i g h a g o r d e r c o n s i s t e n c y i t h o r d e r o b s e r v e d i S t u d y 4 I r e p r e s e n t s a i n c r e a s e i e x p l a i n e d v a r i a b i l i t y o a b o u t t h s a m e m a g n i t u d e a w a o b s e r v e d u s i n g q u a d r a t i c o v e r l i n e a r m u l t i p l e r e g r e s s i o n s . c o n s i d e r a b l ei m p r o v e m e n t i i n f o r m a t i o n r e c o v e r y a p p e a r s t b a v a i l a b l e u s i n g t h i sa l t e r n a t i v e m e t h o d

T h i r d , t h e p r o c e d u r e p r o v i d e s t h p o s s i b i l i t y f o i d e n t i f y i n g s i g n i f i c a n t l y l o f r e q u e n c y c e l l s a w e l l a

Powell, Clapp (1999) Discovering and Releasing Latent Human Potential

Documents

Transcript of Powell, Clapp (1999) Discovering and Releasing Latent Human Potential