Ti m el y a n d U s e f ul D a t a t o I m p r o v e Cl a s s r o o m I n s t r u c ti o n

A u t h o r( s): Ji n f a C ai, A n n e M o r ri s, C h a rl e s H o h e n s e e, S t e p h e n H w a n g, Vi c t o ri a R o bi s o n, Mi c h ell e Ci rill o, S t e v e n L. K r a m e r a n d J a m e s Hi e b e r t

S o u r c e: J o u r n al f o r R e s e a r c h i n M a t h e m a ti c s E d u c a ti o n , V ol. 5 1, N o. 4 ( J ul y 2 0 2 0), p p. 3 8 7 - 3 9 8

P u bli s h e d b y: N a ti o n al C o u n cil o f T e a c h e r s o f M a t h e m a ti c s

S t a bl e U R L: h t t p s: / / w w w.j s t o r. o r g / s t a bl e / 1 0. 5 9 5 1 /j r e s e m a t h e d u c - 2 0 2 0 - 0 0 5 6

R E F E R E N C E SR E F E R E N C E S Li n k e d r e f e r e n c e s a r e a v ail a bl e o n J S T O R f o r t hi s a r ti cl e: h t t p s: / / w w w.j s t o r. o r g / s t a bl e / 1 0. 5 9 5 1 /j r e s e m a t h e d u c - 2 0 2 0 - 0 0 5 6 ? s e q = 1 & ci d = p d f -r e f e r e n c e # r e f e r e n c e s _ t a b _ c o n t e n t s Y o u m a y n e e d t o l o g i n t o J S T O R t o a c c e s s t h e li n k e d r e f e r e n c e s.

J S T O R i s a n o t - f o r - p r o fi t s e r vi c e t h a t h el p s s c h ol a r s, r e s e a r c h e r s, a n d s t u d e n t s di s c o v e r, u s e, a n d b uil d u p o n a wi d e r a n g e o f c o n t e n t i n a t r u s t e d di gi t al a r c hi v e. W e u s e i n f o r m a ti o n t e c h n ol o g y a n d t o ol s t o i n c r e a s e p r o d u c ti vi t y a n d f a cili t a t e n e w f o r m s o f s c h ol a r s hi p. F o r m o r e i n f o r m a ti o n a b o u t J S T O R, pl e a s e c o n t a c t s u p p o r t @j s t o r. o r g. Y o u r u s e o f t h e J S T O R a r c hi v e i n di c a t e s y o u r a c c e p t a n c e o f t h e T e r m s & C o n di ti o n s o f U s e, a v ail a bl e a t h t t p s: / / a b o u t.j s t o r. o r g / t e r m s

N a ti o n al C o u n cil o f T e a c h e r s o f M a t h e m a ti c s i s c oll a b o r a ti n g wi t h J S T O R t o di gi ti z e, p r e s e r v e a n d e x t e n d a c c e s s t o J o u r n al f o r R e s e a r c h i n M a t h e m a ti c s E d u c a ti o n

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

J o ur n al f or R es e ar c h i n M at h e m ati cs E d u c ati o n

2 0 2 0, Vol. 5 1, N o. 4, 3 8 7 – 3 9 8

E dit ori al

Ti m el y a n d Us ef ul D at a t o I m p r o v e Cl ass r o o m I nst r u cti o n

Ji nf a C ai, A n n e M orri s, C h arl e s H o h e n s e e, St e p h e n H w a n g, Vi ct ori a R o bi s o n, Mi c h ell e Cirill o, St e v e n L. Kr a m er, a n d J a m e s Hi e b ert

U ni v e r sit y of D el a w a r e

O v er t h e p a st s e v er al d e c a d e s, e d u c at or s h a v e b e c o m e i n cr e a si n gl y i nt e nt o n u si n g d at a t o i nf or m d e ci si o n- m a ki n g at all l e v el s of t h e e d u c ati o n al s yst e m ( C h o & Wa y m a n, 2 0 1 4; M a n di n a c h, 2 0 1 2; M e a n s et al., 2 0 1 0). T h e u n d erl yi n g r e a s o ni n g i s s o u n d: B ett er d e ci si o n s c a n b e m a d e wit h r el e v a nt d at a. P oli c y m a k er s h a v e r e a s o n e d t h at i n str u cti o n al d e ci si o n s m a d e b y t e a c h er s t h at ar e b a s e d o n d at a r el e v a nt t o t h e cl a s sr o o m will h el p st u d e nt s t o l e ar n a n d a c hi e v e m or e. I n d e e d, fr o m t h e i ntr o d u cti o n of N o C hil d L eft B e hi n d ( N C L B) t o t h e c urr e nt p oli ci e s of t h e E v er y St u d e nt S u c c e e d s A ct ( E S S A), t h e e m p h a si s o n u si n g d at a t o i m pr o v e i n str u cti o n al d e cisi o n- m a ki n g h a s i n cr e a s e d. H o w e v er, d e s pit e i n cr e a si n g pr e ss ur e fr o m m ulti pl e l e v els f or m or e d at a-i nf or m e d i n str u cti o n al d e cisi o n s, t e a c h er s oft e n l a c k t h e ki n d s of ti m el y st u d e nt d at a t h at w o ul d h el p t h e m m a k e b ett er d e ci si o n s ( Bill & M eli n d a G at e s F o u n d ati o n, 2 0 1 5; Ts ai & T o s h, 2 0 1 9). T h er e i s still a gr e at d e al f or e d u c at or s a n d p oli c y m a k er s t o l e ar n a b o ut t h e n at ur e of t h e d at a t h at c a n b e u s e d b y t e a c h er s t o i nf or m t h eir i n str u cti o n al pl a n ni n g a n d i m pl e m e nt ati o n.

I n t hi s e dit ori al, w e a d dr e s s t h e f o urt h of fi v e o v er ar c hi n g pr o bl e m s t h at w e b eli e v e t h e fi el d m u st a d dr e ss t o m a k e f ut ur e pr o gr e ss o n t h e t e a c hi n g a n d l e ar ni n g of m at h e m ati c s: R e s e ar c h er s a n d e d u c at or s n e e d t o e n s ur e t h at t e a c h er s h a v e a c c e s s t o d at a t h at h el p t h e m m a k e b ett er d e cisi o n s w h e n pl a n ni n g, i m pl e m e nti n g, e v al u ati n g, a n d i m pr o vi n g i n str u cti o n. I n o ur pr e vi o u s e dit ori al s ( C ai et al., 2 0 2 0, 2 0 2 0 a, 2 0 2 0 b), w e s u g g e st e d t h at t h e d ail y cl a s sr o o m l e s s o n mi g ht b e a u s ef ul gr ai n si z e f or t a c kli n g t h e fir st t hr e e pr o bl e m s t h at w e h a v e di s c u s s e d. Si mil arl y, i n t hi s e dit ori al, w e c o n si d er w h at ki n d s of d at a t e a c h er s n e e d t o pl a n, i m pl e m e nt, a n d i m pr o v e t h e m at h e m ati cs l e s s o n s t h at t h e y t e a c h. We al s o r ef er t o t h e t e a c h er –r e s e ar c h er p art n er s hi p s t h at w e h a v e d e s cri b e d i n e arli er e dit ori al s (e. g., C ai et al., 2 0 1 8 b) t o d efi n e t h e s etti n g i n w hi c h t e a c h er s a n d r e s e ar c h er s w or k t o g et h er t o a c c e s s a n d t e st t h e u s ef ul n e s s of d at a. T h e m aj or q u e sti o n s t h at g ui d e o ur di s c u s -si o n i n t hi s e dit ori al ar e a s f oll o ws: W h at ki n d s of d at a d o t e a c h er s n e e d t o m a k e m or e i nf or m e d i n str u cti o n al d e ci si o n s a n d i m pr o v e st u d e nt l e ar ni n g ? H o w s h o ul d t h e s e d at a b e c oll e ct e d a n d pr o c e s s e d ? I n w h at f or m s h o ul d t h e s e d at a b e st or e d, p a c k a g e d, a n d pr e s e nt e d t o b e m o st u s ef ul ?

T hi s w or k w a s s u p p ort e d i n p art b y t h e N ati o n al S ci e n c e F o u n d ati o n u n d er Gr a nt N o. 1 9 4 1 4 9 4. A n y o pi ni o n s, fi n di n g s, a n d c o n cl u si o n s ar e t h o s e of t h e a ut h or s a n d d o n ot n e c e s s aril y r e fl e ct t h e vi e w s of t h e N ati o n al S ci e n c e F o u n d ati o n.

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 8 8 Ti m el y a n d Us ef ul D at a

W h at Ki n d s of D at a D o Te a c h e r s N e e d ?

W h at D at a H a v e Te a c h e r s Al r e a d y B e e n Usi n g ?B ef or e c o n si d eri n g t h e d at a t h at t e a c h er s n e e d, w e m u st c o n si d er t h e d at a t h at

t h e y h a v e alr e a d y b e e n u si n g. Te a c h er s h a v e al w a ys u s e d cl a s sr o o m d at a t o i nf or m t h eir i n str u cti o n al d e cisi o n s ( R ot h k o pf, 2 0 0 9). St u d e nt w or k a n d gr a d e s o n a ssi g n-m e nt s a n d t e st s, st u d e nt s’ s ol uti o n str at e gi e s t h at ar e vi si bl e d uri n g t h e cl a s sr o o m l e s s o n, st u d e nt s’ c o ntri b uti o n s t o cl a s sr o o m di s c o ur s e, a n d st u d e nt s’ e x pr e s si o n s of aff e ct ar e all p art of t h e d ail y str e a m of d at a t h at t e a c h er s c a n dr a w fr o m a s t h e y d e ci d e w h at t o d o n e xt i n t h eir cl a s sr o o m s. T h e s e d at a p o s s e s s m a n y c h ar a ct eri s -ti c s t h at t e a c h er s fi n d u s ef ul ( D al y, 2 0 1 2; Hi e b ert et al., 2 0 0 2; L ei n h ar dt, 1 9 9 0). F or e x a m pl e, t h e s e d at a ar e ti g htl y c o n n e ct e d wit h pr a cti c e. T h e y ari s e fr o m l e ar ni n g a cti viti e s a n d i nt er a cti o n s t h at c o n stit ut e t h e i m pl e m e nt ati o n of a d ail y l e s s o n. T h e d at a ar e al s o c o n cr et e a n d s p e cifi c. T h e y r e v e al h o w st u d e nt s r e s p o n d t o p arti c ul ar i n str u cti o n al a cti viti e s a n d h o w t h e y t hi n k a b o ut p arti c ul ar m at h e-m ati c al pr o bl e m s. H o w e v er, t h e s e d at a ar e oft e n g at h er e d i nf or m all y a n d u n s ys -t e m ati c all y, a n d t h e y ar e i di o s y n cr ati c t o e a c h i n di vi d u al t e a c h er. T h e s e d at a ar e t y pi c all y n o l o n g er c o n si d er e d o n c e t e a c h er s m o v e t o t h e n e xt l e s s o n or u nit, a n d, e v e n w h e n n ot l o st, t h e y ar e n ot st or e d i n f or m s t h at all o w t h e m t o b e u s e d i n t h e f ut ur e or s h ar e d wit h ot h er t e a c h er s.

M at h e m ati cs e d u c ati o n r e s e ar c h er s h a v e g at h er e d d at a f or t e a c h er u s e i n a m or e f or m al a n d s y st e m ati c w a y t o pr o vi d e i n si g ht s i nt o st u d e nt s’ c o n c e pti o n s a n d mi s c o n c e pti o n s a n d t o d e s cri b e l e ar ni n g tr aj e ct ori e s f or s o m e m at h e m ati c al t o pi c s ( L o b at o & Walt er s, 2 0 1 7). A n ot e w ort h y e x a m pl e i s C o g niti v el y G ui d e d I n str u cti o n ( C GI; C ar p e nt er et al., 1 9 9 6, 1 9 9 8), a n e xt e n si v e, l o n g-t er m eff ort t o g at h er, or g a ni z e, a n d m a k e a c c e s si bl e t o t e a c h er s a c o m pr e h e n si v e m a p of y o u n g c hil dr e n’s str at e gi e s f or s ol vi n g e arl y arit h m eti c pr o bl e m s. T h e s e d at a ar e u s e d b y t e a c h er s t o u n d er st a n d t h e d e v el o p m e nt of t h eir st u d e nt s’ t hi n ki n g a b o ut, a n d str at e gi e s f or, arit h m eti c pr o bl e m s ol vi n g. T hi s k n o wl e d g e c a n al s o a ct a s a fr a m e w or k f or t e a c h er s t o m a k e s e n s e of t h e d at a t h e y t h e m s el v e s c oll e ct fr o m o b s er vi n g t h eir o w n st u d e nt s a n d c a n b e u s e d a s a r ati o n al e f or m a ki n g f urt h er i n str u cti o n al d e ci si o n s.

A n ot h er e x a m pl e of r e s e ar c h er s g at h eri n g a n d a n al y zi n g d at a t o e n a bl e b ett er i n str u cti o n al d e ci si o n s b y t e a c h er s i s t h e l o n g-t er m d e v el o p m e nt of R e ali sti c M at h e m ati c s E d u c ati o n ( R M E; Gr a v e m eij er, 2 0 0 4; Str e efl a n d, 1 9 9 1). R M E i s b a s e d o n s e v er al c or e pri n ci pl e s, i n cl u di n g t h at i n str u cti o n s h o ul d b e gi n wit h pr o bl e m s t h at ar e e x p eri e nti all y r e al t o st u d e nt s a n d t h at st u d e nt s’ l e ar ni n g of m at h e m ati c s i n v ol v e s pr o gr e s si v e m at h e m ati z ati o n i n w hi c h t h e y b uil d u p l e v el s of u n d er st a n di n g b y f or m ali zi n g t h eir i nf or m al str at e gi e s a n d r e pr e s e nt ati o n s ( v a n d e n H e u v el- P a n h ui z e n, 2 0 0 3). I n t his c a s e, r e s e ar c h er s h a v e f oll o w e d R M E d e si g n pri n ci pl e s t o tr a n sf or m d at a o n st u d e nt s’ t hi n ki n g a b o ut s e v er al s p e cifi c m at h e -m ati cs t o pi cs i nt o l o c al i n str u cti o n al t h e ori e s a n d c urri c ul u m m at eri al s t h at ai m e d t o p ut d at a i nt o t h e h a n d s of t h e t e a c h er i n a f or m t h at i s c o difi e d f or all t e a c h er s ( v a n d e n H e u v el- P a n h ui z e n, 2 0 2 0).

R e s e ar c h pr o gr a m s of t h e t y p e a n d s c al e r e pr e s e nt e d b y C GI a n d R M E ar e n ot c o m m o n b e c a u s e t h e y r e q uir e si g nifi c a nt r e s o ur c e s a n d t h e y d e p e n d o n g at h eri n g d at a t h at ar e u s ef ul f or t e a c h er s a n d t h at g e n er ali z e a cr o s s l ar g e p o p ul ati o n s of

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 8 9Ji nf a C ai et al.

st u d e nt s. Fi n di n g d e v el o p m e nt al tr aj e ct ori e s of st u d e nt s’ s ol uti o n str at e gi e s, li k e t h o s e i d e ntifi e d f or e arl y arit h m eti c pr o bl e m s, i s m u c h m or e c h all e n gi n g a s t h e st u d e nt s g et ol d er a n d t h e m at h e m ati cs b e c o m e s m or e c o m pl e x. Cr e ati n g a c urri c -ul u m b a s e d o n st u d e nt s’ t hi n ki n g f a c e s si mil ar c h all e n g e s, a n d it s eff e cti v e n e s s d e p e n d s o n c o n st a nt e v al u ati o n a n d r e vi si o n ( Gr a v e m eij er & v a n E er d e, 2 0 0 9), a pr o c e s s t h at r e q uir e s a st e a d y str e a m of si g nifi c a nt r e s o ur c e s.

B e c a u s e t h er e ar e f e w r e s e ar c h pr o gr a m s li k e t h o s e d e s cri b e d a b o v e, t h e e x p e c -t ati o n i s f or t e a c h er s t o u s e d at a t h at ar e r e a dil y a v ail a bl e. I n p arti c ul ar, u bi q uit o u s st a n d ar di z e d a c hi e v e m e nt d at a ar e oft e n t h e f o c u s of di s c u s si o n s o n d at a- dri v e n d e cisi o n- m a ki n g ( Bill & M eli n d a G at e s F o u n d ati o n, 2 0 1 5). M or e o v er, t h e a c c o u nt -a bilit y d e m a n d s of N C L B r e q uir e d st a n d ar di z e d t e st d at a t o b e c o m e a k e y p art of d at a- dri v e n d e ci si o n- m a ki n g ( H a milt o n et al., 2 0 0 9). H o w e v er, m u c h of t h e st a n -d ar di z e d a c hi e v e m e nt d at a t h at ar e c urr e ntl y a v ail a bl e c a n n ot b e e a sil y u s e d b y t e a c h er s t o m a k e i n str u cti o n al d e cisi o n s. F or e x a m pl e, it is i m p o s si bl e f or t e a c h er s t o r e vi e w e n d- of-t h e- y e ar s u m m ar y a c hi e v e m e nt d at a a n d d e vi s e w a y s of i m pr o vi n g t h eir i n str u cti o n. T h e s e d at a ar e t o o l at e t o h el p t e a c h er s pl a n, e n a ct, a n d e v al u at e d ail y l e s s o n s, a n d t h e y ar e oft e n a g gr e g at e d, w hi c h pr e cl u d e s i d e n -tif yi n g s p e cifi c t y p e s a n d l e v el s of st u d e nt u n d er st a n di n g. A n ot h er ki n d of d at a t h at t e a c h er s ar e oft e n a s k e d t o u s e c o m e fr o m o b s er v ati o n s of t e a c h er s’ t e a c hi n g, oft e n c o n d u ct e d f or e v al u ati o n p ur p o s e s ( C o h e n & G ol d h a b er, 2 0 1 6; W hit e h ur st et al., 2 0 1 4). T h e s e d at a c a n b e diffi c ult f or m a n y t e a c h er s t o u s e b e c a u s e t h e y d o n ot pr o vi d e t h e c o n cr et e, d et ail e d i nf or m ati o n t h at t e a c h er s n e e d a b o ut t h eir st u d e nt s’ t hi n ki n g t o pl a n a n d e n a ct m or e eff e cti v e l e s s o n s. U n d er c urr e nt c o n di -ti o n s i n t h e U nit e d St at e s, it i s si m pl y u nf air a n d u n pr o d u cti v e t o a s k all t e a c h er s t o m a k e d at a- dri v e n i n str u cti o n al d e ci si o n s.

W h at Ki n d s of D at a D o Te a c h e r s N e e d ?W h at t y p e s of d at a ar e n ot r e a dil y a v ail a bl e t o m o st t e a c h er s b ut c o ul d pl a y a n

i m p ort a nt r ol e i n t h eir i n str u cti o n al d e ci si o n- m a ki n g ? M a n di n a c h a n d J a c k s o n ( 2 0 1 2) n ot e d t h at t e a c h er s c o ul d u s e m a n y ki n d s of d at a f or i n str u cti o n al d e ci si o n-m a ki n g. I n a d diti o n t o a s s e s s m e nt d at a, t h e s e i n cl u d e st u d e nt s’ r e s p o n s e s t o cl a s sr o o m t a s k s, a cti viti e s, a n d pr oj e ct s, a s w ell a s d at a n ot s p e cifi c t o t h e cl a s s -r o o m, s u c h a s d at a r el at e d t o d e m o gr a p hi c s, b e h a vi or, m e di c al st at u s, l a n g u a g e, a n d s p e ci al e d u c ati o n st at u s. I n f a ct, b y r el a xi n g t h e r e q uir e m e nt t o b a s e d e ci si o n s o n f or m al r a n d o mi z e d c o ntr oll e d st u di e s, E S S A s e e m s t o h a v e o p e n e d a d o or f or b a si n g d e ci si o n s o n m or e v ari e d t y p e s of d at a. A si g nifi c a nt pr o bl e m f or m at h e -m ati c s e d u c ati o n r e s e ar c h er s i s t o u n d er st a n d w hi c h of t h e s e t y p e s of d at a ar e r el e v a nt a n d u s ef ul f or t e a c h er s t o m a k e i nf or m e d i n str u cti o n al d e ci si o n s.

I n t hi s e dit ori al, w e c o n str ai n o ur s e ar c h b y f o c u si n g o n d at a t h at c a n h el p t e a c h er s pl a n, i m pl e m e nt, e v al u at e, a n d i m pr o v e i n str u cti o n al l e ss o n s. I n a d diti o n, w e v al u e d at a t h at p o s s e s s t h e c h ar a ct eri sti c s t h at t e a c h er s n at ur all y fi n d u s ef ul —d at a ti e d t o pr a cti c e a n d d at a t h at ar e c o n cr et e a n d s p e cifi c ( Bill & M eli n d a G at e s F o u n d ati o n, 2 0 1 5; Cl a n di ni n & C o n n ell y, 1 9 9 1; Hi e b ert et al., 2 0 0 2; L ei n h ar dt, 1 9 9 0). A fi n al p ar a m et er t h at w e a p pl y is t h at d at a o n st u d e nt t hi n ki n g h a v e pr o v e n e s p e ci all y v al u a bl e w h e n t h e s e d at a e n a bl e t e a c h er s t o a nti ci p at e h o w t h eir st u d e nt s mi g ht r e s p o n d t o i n str u cti o n al t a s k s, w hi c h, i n t ur n, h el p s t e a c h er s pl a n

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 0 Ti m el y a n d Us ef ul D at a

a n d i m pl e m e nt l e s s o n s ( St ei n et al., 2 0 0 8; S u p o vit z, 2 0 1 2). T h e s e p ar a m et er s h el p t o f o c u s t h e q u e sti o n s t h at w e pr o p o s e f or f ut ur e r e s e ar c h.

O n e q u e sti o n i s t hi s: W h at ki n d s of d at a d o t e a c h er s n e e d t o pl a n l e s s o n s v er s u s i m pl e m e nt l e s s o n s v er s u s e v al u at e a n d i m pr o v e l e s s o n s ? We s u s p e ct t h at s o m e-w h at diff er e nt d at a mi g ht b e m or e u s ef ul f or s o m e p ur p o s e s t h a n ot h er s. F or e x a m pl e, d at a a b o ut p a st p erf or m a n c e of t h e st u d e nt s c urr e ntl y i n a t e a c h er’s cl a s s mi g ht b e m or e u s ef ul f or pl a n ni n g a l e s s o n b e c a u s e t h e y h el p t h e t e a c h er k n o w w h at t h e st u d e nt s’ u n d er st a n di n g s g oi n g i nt o t h e l e s s o n ar e li k e. H o w e v er, n ot e s fr o m ot h er t e a c h er s w h o h a v e t a u g ht a si mil ar l e s s o n mi g ht b e m or e u s ef ul f or i m pl e m e nti n g t h e l e s s o n b e c a u s e t h e y pr o vi d e i nf or m ati o n o n t h e br e a dt h of p o s si bl e st u d e nt r e s p o n s e s t o t h e t a s k s i n t h e l e s s o n. D at a g at h er e d d uri n g a l e s s o n o n h o w diff er e nt st u d e nt s r e s p o n d t o e a c h i n str u cti o n al a cti vit y a n d o n h o w diff er e nt st u d e nt s s ol v e e a c h m at h e m ati c al pr o bl e m c o ul d gi v e t e a c h er s ri c h a n d ti m el y i nf or m ati o n o n t h e eff e cti v e n e s s of e a c h a cti vit y e n a ct e d d uri n g t h e l e s s o n. T hi s k n o wl e d g e c o ul d b e u s e d t o pl a n t h e n e xt d a y’s l e s s o n a n d t o i m pr o v e t h e l e s s o n f or t h e n e xt ti m e it i s t a u g ht.

A s e c o n d q u e sti o n pr o b e s f urt h er i nt o t h e ki n d s of d at a t h at b e st h el p t e a c h er s pl a n l e s s o n s. I n w h at w a ys d o l o n git u di n al d at a o n i n di vi d u al st u d e nt s’ m at h e m at -i c al d e v el o p m e nt or o n gr o u p s of st u d e nt s wit h si mil ar pr ofil e s ( p er h a p s wit h r e s p e ct t o a p arti c ul ar m at h e m ati c al t o pi c or l e ar ni n g tr aj e ct or y) h el p t e a c h er s pl a n l e s s o n s f or s p e cifi c t o pi cs ? If t e a c h er s h a d i nf or m ati o n a b o ut t h eir st u d e nt s’ r e c e nt hi st or y wit h a s p e cifi c t o pi c — s u c h a s h o w t h eir st u d e nt s t h o u g ht a b o ut a t o pi c, w h at mi s c o n c e pti o n s t h e y h a d e nt eri n g t h e l e s s o n, a n d w h at a s p e ct s of t h e t o pi c t h e y u n d er st o o d w ell — c o ul d t e a c h er s u s e t his i nf or m ati o n t o pl a n a m or e eff e cti v e l e s s o n ? S u p p o s e t e a c h er s h a d d at a fr o m t h eir st u d e nt s’ hi st ori e s o n t h e s ol uti o n str at e gi e s t h e y u s e d f or p arti c ul ar m at h e m ati c al t o pi c s a n d pr o bl e m s. T h e s e d at a c o ul d b e u s ef ul b e c a u s e s ol uti o n str at e gi e s r e v e al st u d e nt s’ t hi n ki n g, a n d cr e ati n g a r e c or d of st u d e nt s’ str at e gi e s c o ul d h el p t e a c h er s pr e di ct h o w t h eir st u d e nt s mi g ht t hi n k a b o ut pr o bl e m s pr e s e nt e d d uri n g a n e w l e s s o n. At s o m e l e v el of a g gr e g ati o n a cr o s s cl a s s e s or ti m e, t hi s ki n d of d at a o v erl a p s wit h pr of e s si o n al k n o wl e d g e f or t e a c hi n g t h at w e h a v e di s c u s s e d i n pr e vi o u s e dit ori al s a s t h e f o u n d ati o n f or l o n g-t er m i m pr o v e m e nt i n m at h e m ati c s t e a c hi n g ( C ai et al., 2 0 2 0 a). T hi s i n cl u d e s k n o wl e d g e a b o ut h o w st u d e nt s i n a gi v e n cl a s s ar e li k el y t o r e s p o n d t o p arti c ul ar a s p e ct s of i n str u cti o n al t a s k s pl u s k n o wl e d g e of p att er n s t h at ar e o b s er v e d a cr o s s cl a s s e s.

A t hir d q u e sti o n is t his: W h at d at a d o t e a c h er s ( or r e s e ar c h er s) n e e d o n a br o a d er s c al e t o s yst e m ati c all y i m pr o v e i n str u cti o n b e y o n d o n e or t w o cl a s sr o o m s ? T h at i s, w h at d at a d o t e a c h er –r e s e ar c h er p art n er s hi p s n e e d t o b e n efit fr o m w h at ot h er p art n er s hi ps h a v e l e ar n e d a b o ut pl a n ni n g, i m pl e m e nti n g, a n d i m pr o vi n g t h eir o w n l e s s o n s ? T h at is, w h at d at a c o ul d o n e p art n er s hi p c oll e ct t h at w o ul d b e m ost u s ef ul t o ot h er p art n er s hi p s ? B e c a u s e t e a c h er s ar e f ull y e n g a g e d i n t e a c hi n g t h eir o w n cl a s s e s, r e s e ar c h er s w o ul d li k el y n e e d t o t a k e t h e l e a d o n c oll e cti n g t h e s e d at a. I n a d diti o n, i n di vi d u al t e a c h er s oft e n h a v e littl e ti m e f or pl a n ni n g, r efl e cti n g, or r e visi n g l e s s o n s, s o t h e y ar e n ot i n cli n e d t o w orr y a b o ut w h at is h a p p e ni n g i n ot h er cl a s sr o o m s. W h at d at a c o ul d b e g at h er e d a cr o s s t e a c h er s a n d cl a s sr o o m s t o h el p m or e t e a c h er s b e n efit fr o m w h at ot h er s h a v e l e ar n e d t o pl a n a n d i m pl e m e nt b ett er l e s s o n s f or t h eir st u d e nt s ?

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 1Ji nf a C ai et al.

I n o ur J ul y 2 0 1 8 e dit ori al ( C ai et al., 2 0 1 8 c), w e di s c u s s e d t hr e e c at e g ori e s of d at a t h at t e a c h er –r e s e ar c h er p art n er s hi p s c o ul d g at h er t o i m pr o v e m at h e m ati c s t e a c hi n g a n d l e ar ni n g at t h e l e s s o n l e v el: i n-t h e- m o m e nt d at a, s h ort-t er m d at a, a n d l o n g-t er m d at a. T hi s c at e g ori z ati o n pr o vi d e s a n ot h er w a y of a s ki n g m a n y of t h e s a m e q u e sti o n s t h at w e p o s e d a b o v e. F or e x a m pl e, i n-t h e- m o m e nt d at a ar e t h o s e d at a li k el y t o b e m o st u s ef ul f or i m pl e m e nti n g t h e l e s s o n, a n d s h ort-t er m d at a ar e u s ef ul f or pl a n ni n g t h e n e xt l e s s o n s o n t h e b a si s of st u d e nt s’ r e s p o n s e s i n t h e c urr e nt l e s s o n. We h a v e i n cl u d e d t h e t a bl e fr o m t h e J ul y 2 0 1 8 e dit ori al h er e f or c o n v e ni e n c e. Alt h o u g h t h e s e d at a s e e m t o u s t o b e li k el y c a n di d at e s f or t h e d at a t h at t e a c h er s n e e d, t h e y pr o vi d e o nl y a p o s si bl e b e gi n ni n g p oi nt. T h e q u e s -ti o n s p os e d a b o v e m u st b e a n s w er e d t o u n d er st a n d w h et h er a n d h o w t h e s e or ot h er d at a c a n b e u s e d m o st eff e cti v el y t o i m pr o v e i n str u cti o n al d e ci si o n s.

H o w C a n t h e D at a T h at Te a c h e r s N e e d B e C oll e ct e d a n d P r o c e s s e d ?

T h e q u e sti o n s t h at w e p o s e d i n t h e pr e vi o u s s e cti o n a b o ut t h e d at a t h at t e a c h er s n e e d t o pl a n, i m pl e m e nt, a n d r e vi s e l e s s o n s ar e w ort h a n s w eri n g o nl y if w e c a n i m a gi n e a n d d e v el o p w a ys of g at h eri n g t h e s e d at a. Wit h o ut k n o wi n g t h e fi n al a n s w er s t o t h e e arli er q u e sti o n s, it i s still q uit e cl e ar t h at g at h eri n g d at a li k e t h e s e will r e q uir e n e w w a ys of w or ki n g. Te a c h er s ar e t o o b u s y d e ali n g wit h t h e d e m a n d s of t e a c hi n g t o l a u n c h n e w d at a c oll e cti o n eff ort s. R e s e ar c h er s ar e oft e n t o o dis c o n -n e ct e d fr o m t h e cl a s sr o o m t o s e e t h e ki n d s of c o nt e xt-ri c h a n d c o n cr et e d at a t h at t e a c h er s ar e li k el y t o n e e d. I n pr e vi o u s e dit ori al s, w e h a v e di s c u s s e d a p ot e nti al s hift i n t h e d o mi n a nt r e s e ar c h p ar a di g m, o n e t h at w o ul d p art n er t e a c h er s a n d r e s e ar c h er s t o a d dr e s s i n str u cti o n al pr o bl e m s. T h e s e p art n er s hi p s c o ul d pr o vi d e t h e str u ct ur e t h at e n a bl e s t h e j oi nt a cti vit y li k el y r e q uir e d t o g at h er t h e r el e v a nt d at a li k e t h o s e d e s cri b e d a b o v e. H o w e v er, a n i m p ort a nt q u e sti o n i s W h at m et h o d s of c oll a b or ati o n w o ul d all o w r e s e ar c h er s a n d t e a c h er s t o g at h er a n d pr o c e s s d at a t o i m pr o v e i n str u cti o n ?

It i s p o s si bl e t h at d at a a cr o s s t e a c h er –r e s e ar c h er p art n er s hi p s c o ul d b e p o ol e d t o cr e at e a ri c h s o ur c e of i nf or m ati o n t h at c o ul d b e a c c e s s e d b y a n et w or k of p art n er s hi p s. P er h a p s t h e c oll e cti o n of t h e s e d at a c o ul d b e c o n si d er e d a f or m of cr o w d s o ur ci n g. Te a c h er s a n d r e s e ar c h er s c o ul d h ar v e st t h e b e st i d e a s f or t h eir s etti n g b y l o o ki n g at t h e d at a a cr o s s m a n y cl a s sr o o m s. T hi s mi g ht b e e s p e ci all y u s ef ul f or b uil di n g a r e p ert oir e of p o s si bl e st u d e nt r e s p o n s e s t o p arti c ul ar i n str u cti o n al t a s k s. T hi s, i n t ur n, w o ul d all o w t e a c h er s t o a nti ci p at e h o w t h eir st u d e nt s mi g ht r e s p o n d a n d t h e n pl a n f or i n str u cti o n a c c or di n gl y. Alt h o u g h it i s p o s si bl e t o i m a gi n e t h e b e n efit s of t h e s e l ar g e s et s of d at a, it i s n ot e a s y t o i m a gi n e e x a ctl y h o w t h e y c o ul d b e c oll e ct e d. O n e p o s si bilit y i s u si n g t e c h n ol-o gi e s t h at c urr e ntl y e xi st t o g at h er a n d mi n e l ar g e d at a s et s ( Bill & M eli n d a G at e s F o u n d ati o n, 2 0 1 5; C h e n et al., 2 0 0 5; H a milt o n et al., 2 0 0 9; W a y m a n, 2 0 0 5 b). Te c h n ol o gi c al t o ol s, a p pr o pri at el y d e pl o y e d, h a v e t h e p ot e nti al t o all e vi at e s o m e of t h e b ur d e n of g at h eri n g a n d pr o c e s si n g d at a. M ulti pl e t e c h n ol o gi c al t o ol s ar e alr e a d y a v ail a bl e, i n cl u di n g s oft w ar e t h at m o nit or s st u d e nt pr o gr e s s, d at a d a s h -b o ar d s, w e b- b a s e d t ut ori n g t o ol s, cl a s sr o o m r e s p o n s e s y st e m s (s u c h a s cli c k er s), st u d e nt d at a p ort al s, s o ci al- n et w or k t o ol s, a n d s oft w ar e f or a n al y zi n g a n d vi s u -all y di s pl a yi n g d at a.

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 2 Ti m el y a n d Us ef ul D at a

W h at t e c h n ol o gi e s c o ul d h el p p art n er s hi p s c oll e ct d at a at a s c al e t h at t e a c h er s w o ul d fi n d u s ef ul ? H o w c o ul d a v ail a bl e t e c h n ol o gi e s b e a d a pt e d t o c oll e ct d at a at a l e v el of d et ail t h at t e a c h er s n e e d a n d at a l ar g e e n o u g h s c al e t o d et e ct p att er n s c urr e ntl y m a s k e d b y t h e li mit ati o n s of s m all s a m pl e s ( a n d t h e h u m a n mi n d) ? W e will e x pl or e a s p e ct s of t hi s q u e sti o n i n t h e n e xt e dit ori al w h e n w e t a k e u p t h e fift h o v er ar c hi n g pr o bl e m t h at w e pr o p o s e —t h e n at ur e a n d p ur p o s e of t e c h n ol o gi e s t h at c o ul d e n h a n c e m at h e m ati c s e d u c ati o n e x p eri e n c e s f or all st u d e nt s.

We c o n cl u d e t hi s s e cti o n b y r et ur ni n g t o a pr o c e s s t h at m a n y t e a c h er s oft e n u s e n at ur all y a n d i nf or m all y t o c oll e ct d at a —f or m ati v e a s s e s s m e nt. A gr e at d e al h a s b e e n writt e n a b o ut f or m ati v e a s s e s s m e nt, l ar g el y a s a m et h o d f or g at h eri n g d at a t h at t e a c h er s c a n u s e t o a dj u st t h eir i n str u cti o n w hil e t h e y ar e t e a c hi n g ( Wili a m, 2 0 0 7/ 2 0 0 8). M or e r e c e ntl y, r a pi dl y d e v el o pi n g t e c h n ol o gi e s f or a n al y zi n g h u m a n a cti o n s h a v e pr o vi d e d t o ol s t h at c o ul d p ot e nti all y b e u s e d t o h el p t e a c h er s q ui c kl y a s s e s s st u d e nt t hi n ki n g a n d u n d er st a n di n g i n r e al ti m e ( Sil v er & Mill s, 2 0 1 8). T h e s e t o ol s c o ul d b e d e pl o y e d d uri n g l e s s o n s t o m o nit or s m all- gr o u p di s c u s si o n, a n al y z e st u d e nt w or k, a n d e v e n g a u g e st u d e nt s’ aff e ct.

I n t h e t er m s t h at w e h a v e u s e d, f or m ati v e a s s e s s m e nt d at a ar e u s u all y u s e d t o i m pl e m e nt l e s s o n s. F or m ati v e a s s e s s m e nt s c o ul d al s o b e u s e d t o g at h er d at a t o t e st h y p ot h e s e s t h at ar e b uilt i nt o t h e pl a n f or t h e l e ss o n a n d t h at c o ul d b e pr e s er v e d t o e v al u at e a n d i m pr o v e t h e l e s s o n aft er i n str u cti o n. Te a c h er –r e s e ar c h er p art n er-s hi p s c o ul d pl a n i n a d v a n c e t h e d at a t h at t h e y w a nt t o c oll e ct d uri n g l e s s o n s s o t h at t e a c h er s ar e l e s s b ur d e n e d wit h cr e ati n g s p o nt a n e o u s a s s e s s m e nt s w hil e t h e y ar e t e a c hi n g (s e e, e. g., H er b el- Ei s e n m a n n & Cirill o, 2 0 0 9, a s a n e x a m pl e of t e a m d e ci si o n- m a ki n g ar o u n d d at a c oll e cti o n). Alt h o u g h f or m ati v e a s s e s s m e nt s oft e n yi el d d at a t h at ar e ti e d t o pr a cti c e a n d s p e cifi c t o a t e a c h er’s n e e d s, t h e y ar e oft e n u s e d i di o s y n cr ati c all y a n d u n s yst e m ati c all y. A n i m p ort a nt q u e sti o n i s H o w c a n f or m ati v e a s s e s s m e nt s b e d e si g n e d a n d a d mi ni st er e d t o c oll e ct r eli a bl e d at a t h at c a n b e u s e d b y i n di vi d u al t e a c h er s a n d c o ntri b ut e t o t h e d at a b a s e fr o m w hi c h m a n y t e a c h er s c a n dr a w ?

H o w S h o ul d D at a B e St o r e d, P a c k a g e d, a n d P r e s e nt e d t o M a xi mi z e It s Us ef ul n e s s ?

A s s u mi n g t h at t h e fi el d i d e ntifi e s t h e ki n d s of d at a t h at ar e p arti c ul arl y u s ef ul f or i nf or mi n g t e a c h er s’ i n str u cti o n al d e ci si o n- m a ki n g a n d i s pr e p ar e d t o g at h er t h e s e d at a, t h e n e xt q u e sti o n i s e vi d e nt: H o w c a n t h e s e d at a b e st or e d, p a c k a g e d, a n d pr e s e nt e d s o t h e y ar e m o st a c c e s si bl e a n d u s ef ul f or t e a c h er s ? D at a- dri v e n d e ci si o n- m a ki n g “i s a b o ut m a ki n g a cti o n a bl e t h e d at a b y tr a n sf or mi n g t h e m i nt o u s a bl e k n o wl e d g e ( M a n di n a c h et al., 2 0 0 8; Willi a m s & H u m m el br u n n er, 2 0 1 1) ” ( M a n di n a c h, 2 0 1 2, p. 7 3). D at a t h at c a n o nl y b e a c c e s s e d a n d r e vi e w e d m o nt h s or y e ar s aft er b ei n g c oll e ct e d a n d t h at ar e w ar e h o u s e d i n diffi c ult-t o- a c c e ss d at a b a s e s h a v e littl e p o w er t o dri v e i n str u cti o n al d e cisi o n s. Si mil arl y, d at a t h at ar e pr e s e nt e d i n i n s cr ut a bl e or disj oi nt e d dis pl a ys or a g gr e g at e d i n w a ys t h at ar e n ot i m m e di at el y r el e v a nt t o t e a c h er s’ q u e sti o n s ar e of littl e pr a cti c al v al u e. T h e f oll o wi n g s e cti o n s c o n si d er t h e w a ys i n w hi c h d at a c a n b e st or e d, p a c k a g e d, a n d pr e s e nt e d t o m a k e t h e m a s u s ef ul a s p o s si bl e.

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 3Ji nf a C ai et al.

Ti m eli n e s s a n d A c c e s s: C riti c al C o n c e r n sA s w e i n di c at e d, o n e p er si st e nt i s s u e wit h att e m pt s t o i n c or p or at e st u d e nt

a c hi e v e m e nt d at a i nt o i n str u cti o n al d e ci si o n- m a ki n g, e s p e ci all y d at a fr o m st a n -d ar di z e d t e st s, h a s b e e n t h e ti m e l a g b et w e e n t h e a d mi nistr ati o n of t h e a s s e s s m e nt a n d t h e a v ail a bilit y of t h e st u d e nt d at a ( C o b ur n et al., 2 0 0 9; M ar s h et al., 2 0 0 6). D e p e n di n g o n t h e t y p e of d at a b ei n g c oll e ct e d, s o m e d el a y i s i n e vit a bl e t o all o w f or pr o c e s si n g. A n d, d e p e n di n g o n t h e p ur p o s e of t h e d at a, s o m e d el a y i s fi n e. H o w e v er, a s s h o w n i n Ta bl e 1, i n-t h e- m o m e nt d at a m u st b e a v ail a bl e i m m e di at el y t o m a k e i n str u cti o n al d e ci si o n s i n t h e m o m e nt, a n d s h ort-t er m d at a m u st b e a v ail-a bl e aft er t h e l e s s o n t o h el p pl a n a n d r e vi s e t o m orr o w’s l e s s o n. F o c u si n g o n t h e l e s s o n a s t h e u nit of i n str u cti o n h el p s i d e ntif y w h at ki n d s of d at a ar e n e e d e d at w h at p oi nt i n t h e i n str u cti o n al pr o c e s s, b ut q u e sti o n s r e m ai n a b o ut h o w t o pr o c e s s cl a s sr o o m d at a s o t h e d at a t h at t e a c h er s m o st n e e d d uri n g t h e l e s s o n ar e q ui c kl y a c c e s si bl e.

N ot all d at a ar e i m m e di at el y u s ef ul or r el e v a nt; s o m e d at a, f or e x a m pl e d at a t h at a d dr e s s l e ar ni n g tr aj e ct ori e s f or i n di vi d u al st u d e nt s, b e c o m e u s ef ul o v er l o n g er s p a n s of ti m e. We c a n i m a gi n e a s c e n ari o i n w hi c h t e a c h er –r e s e ar c h er p art n er -s hi ps h a v e a c c e ss t o t h eir st u d e nt s’ l e ar ni n g tr aj e ct ori e s b a s e d o n p a st p erf or m a n c e a n d c a n u s e t h e s e tr aj e ct ori e s t o pl a n l e s s o n s. L e ar ni n g tr aj e ct ori e s r el e v a nt f or a p arti c ul ar m at h e m ati c al t o pi c w o ul d all o w p art n er s hi p s t o i d e ntif y p att er n s i n st u d e nt s’ p a st p erf or m a n c e t h at c o ul d h el p t h e m pr e p ar e f or u p c o mi n g l e s s o n s, s u c h a s pl a n ni n g f or t h e diff er e nt ki n d s of e x p eri e n c e s t h eir st u d e nt s mi g ht n e e d. Alt h o u g h t h e ti m e l a g t h at i s li k el y n e e d e d t o pr o c e s s t h e s e d at a i s n ot a pr o bl e m, t h er e r e m ai n m aj or q u e sti o n s a b o ut h o w t h e s e d at a c a n b e pr o c e s s e d t o c a pt ur e t h e k e y u n d er st a n di n g s a n d mi s c o n c e pti o n s f or i n di vi d u al st u d e nt s a n d h o w t h e y c a n b e i n d e x e d t o all o w a c c e s s w h e n n e e d e d.

T r a n sf o r mi n g D at a I nt o Us a bl e K n o wl e d g eH o w s h o ul d d at a b e st or e d, p a c k a g e d, a n d pr e s e nt e d s o t h at t e a c h er s c a n e a sil y

u s e t h e m ? A n s w eri n g t hi s q u e sti o n i s p a c k e d wit h c h all e n g e s. E v e n if t h e m o st u s ef ul d at a ar e c oll e ct e d, a n d t h e i s s u e s of ti mi n g ar e r e s ol v e d, t h er e r e m ai n m a n y q u e sti o n s a b o ut h o w t o r e pr e s e nt d at a s o t h at t h e y m a k e s e n s e t o t e a c h er s, h o w t o st or e a n d i n d e x d at a s o t h at t h e y c a n b e r etri e v e d w h e n n e e d e d, a n d h o w t o b uil d a gr o wi n g f u n d of d at a t h at c a n b e s h ar e d a n d a c c e s s e d b y t e a c h er s f a ci n g si mil ar i n str u cti o n al d e ci si o n s.

We pr o p o s e t h at t h e s p a c e wit hi n w hi c h r e s e ar c h i s c o n d u ct e d t o a n s w er t h e q u e sti o n a b o ut st ori n g, p a c k a gi n g, a n d pr e s e nti n g d at a c o ul d a g ai n b e b o u n d e d b y f o c u si n g o n cl a ssr o o m l e ss o n s. Wit hi n t h e d o m ai n of d ail y l e ss o n s, it is p ossi bl e t o i m a gi n e r e s e ar c h pr o gr a m s t h at c o ul d a d dr e s s q u e sti o n s a b o ut t h e b e st w a ys t o st or e, p a c k a g e, a n d pr e s e nt d at a s o t h at t h e y c a n i nf or m t h e pl a n ni n g, i m pl e -m e nti n g, a n d r e vi si n g of i n str u cti o n. I n a d diti o n, w e b eli e v e t h at t h er e ar e a d v a n -t a g e s t o u si n g i n str u cti o n al artif a ct s s u c h a s writt e n l e s s o n pl a n s, cl a s sr o o m m at eri al s, a n d st u d e nt a s s e s s m e nt s a s t h e st or a g e r e c e pt a cl e s f or l e s s o n-l e v el d at a ( C ai et al., 2 0 1 8 a). If writt e n l e s s o n pl a n s ar e t h e st or a g e c o nt ai n er, t h e d at a g at h -er e d t h at c o ul d b e r el e v a nt f or t e a c hi n g a p arti c ul ar l e s s o n ar e st or e d i n t h e l e s s o n pl a n w h er e t h e y ar e li k el y t o b e n oti c e d a n d u s e d. T h e pl a n s al s o pr o vi d e a n

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 4 Ti m el y a n d Us ef ul D at a

T a bl e 1

Fr a m e w or k f or C oll e cti n g, A n al yzi n g, a n d Usi n g D at a o n St u d e nts’ M at h e m ati c al L e ar ni n g E x p eri e n c es

Ti m efr a m e C o g niti v e N o n c o g niti v e

I n t h e m o m e nt

D at a • St u d e nt s’ c o n c e pti o n s a n d mi s c o n c e pti o n s

• St u d e nt s’ e n g a g e m e nt wit h t a s k s

• St u d e nt s’ u n e x p e ct e d r e s p o n s e s

• St u d e nt s’ aff e ct or fr u str ati o n l e v el

• St u d e nt s’ p arti ci p ati o n i n di s c o ur s e

G o a l s • A d d r e s s i n-t h e- m o m e nt, p arti c ul ar mi s c o n c e pti o n s a m o n g s u b gr o u p s of st u d e nt s a n d pr o vi d e i m m e di at e s u p p ort

• E n a ct s u p p ort f or st u d e nt s w h o ar e di s e n g a g e d or di s c o ur a g e d

• I d entif y h o w st u d e nt s ar e b ei n g p o siti o n e d wit hi n t h e cl a s sr o o m a n d s h a p e cl a s sr o o m di s c o ur s e t o pr o vi d e t h e m wit h a v oi c e

S h ort t er m

D at a • St u d e nt s’ c o n c e pti o n s, mi s c o n c e pti o n s, a n d u n e x p e ct e d r e s p o n s e s

• F a c t or s t h at aff e ct st u d e nt s’ e n g a g e m e nt wit h a t a s k

• St u d e nt s’ s ol uti o n str at e gi e s • St u d e nt s’ c o nfi d e n c e b ot h b ef or e a n d aft er s ol vi n g a pr o bl e m

• St u d e nt s’ w a y s of t hi n ki n g • Cl a s sr o o m n or m s of p arti ci p ati o n

• St u d e nt s’ i n si g ht s

G o a l s • I d entif y gr o u p s of st u d e nt s wit h si mil ar c o n c e pti o n s, mi s c o n c e pti o n s, or w a y s of t hi n ki n g t o i nf or m t h e n e xt l e s s o n pl a n

• I d entif y gr o u p s of st u d e nt s w h o ar e e x p eri e n ci n g diff er e nt l e v el s of m oti v ati o n or e n g a g e m e nt wit h t h e l e s s o n t o i nf or m t h e n e xt l e s s o n pl a n

L o n g t er m

D at a • D at a a cr o s s cl a s sr o o m s a n d r e s e ar c h sit e s

• C o n n e cti o n s b et w e e n aff e ct a n d a c hi e v e m e nt

G o a l s • L o n git u di n all y e x a mi n e c h a n g e s i n st u d e nt s’ c o g niti v e l e ar ni n g o ut c o m e s a n d t e a c h er s c a n tr a c k t h e pr o gr e s s of i n di vi d u al st u d e nt s

• L o n git u di n all y e x a mi n e c h a n g e s i n st u d e nt s’ aff e ct r el at e d t o t h eir l e ar ni n g

• D e v e l o p e x pl a n at or y t h e ori e s t h at c o n n e ct t e a c hi n g a n d l e ar ni n g f or p arti c ul ar gr o u p s of st u d e nt s

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 5Ji nf a C ai et al.

i n d e xi n g s y st e m f or r el e v a nt d at a t h at i s i nt uiti v e f or t e a c h er s. F or e x a m pl e, t e a c h er s w o ul d fi n d d at a t h at w o ul d h el p t h e m pl a n t h e fir st l e s s o n o n a d di n g f r a cti o n s wit h u nli k e d e n o mi n at or s i n t h e w ritt e n pl a n f or t h at l e s s o n. C o n c e pt u ali zi n g t h e l e s s o n pl a n a s t h e c o nt ai n er f or t h e d at a al s o e n c o ur a g e s r e s e ar c h er s a n d t e a c h er s t o a n n ot at e l e s s o n pl a n s wit h t h e s e d at a i n w a ys t h at h el p t e a c h er s pl a n, i m pl e m e nt, a n d t h e n r e vi s e t hi s l e s s o n. Wit hi n t hi s s p a c e, t h e q u e s-ti o n of h o w t o st or e, p a c k a g e, a n d pr e s e nt d at a s o t h at t h e y ar e u s ef ul f or t e a c h er s b e c o m e s m or e m a n a g e a bl e.

We c a n i d e ntif y r el at e d q u esti o ns t h at c o m e i nt o vi e w w h e n i nstr u cti o n al artif a ct s ar e u s e d t o m a k e r el e v a nt d at a a c c e ssi bl e t o t e a c h er s. B e c a u s e c o n cr et e artif a ct s m a k e it p ossi bl e t o s h ar e d at a a cr oss t e a c h er s a n d cl a ssr o o m s, o n e q u e sti o n is H o w c a n t e a c h er –r e s e ar c h er p art n er s hi ps s h ar e artif a ct s pl u s t h eir e m b e d d e d d at a s o t h at w h at is l e ar n e d at o n e sit e c a n b e u s e d at ot h er sit e s ? H o w c a n n et w or k s b e str u ct ur e d s o t h at d at a- s h ari n g is ti m el y a n d u s ef ul ? Als o, b e c a u s e artif a ct s c a n b e r e vi s e d a n d u p d at e d a s n e w d at a ar e c oll e ct e d, a n ot h er q u e sti o n i s H o w c a n t e a c h er –r e s e ar c h er p art n er s hi ps, a n d n et w or k s of s u c h p art n er s hi ps, u s e i n str u c-ti o n al artif a ct s t o s u p p ort t h e c o nti n u o u s i m pr o v e m e nt of i n str u cti o n ? H o w c a n diff er e nt p art n er s hi ps c o m m u ni c at e t o e n s ur e t h at t h e c urr e nt v er si o n of a n artif a ct is t h e m ost u p-t o- d at e, d at a- b a s e d v er si o n t h at is p ossi bl e ? Gi v e n t h e i m p ort a nt r ol e of n et w or k s i n t h e s e iss u e s a n d q u e sti o n s, r e s e ar c h er s m a y fi n d t h e t o ols of s o ci al n et w or k t h e or y a n d a n al ysis u s ef ul ( D al y, 2 0 1 2; F arl e y- Ri p pl e & B uttr a m, 2 0 1 5).

I n m a n y dis c u ssi o n s of d at a u s e b y t e a c h er s, e d u c at or s a n d p oli c y m a k er s a s k a b o ut t h e s kills t h at t e a c h er s n e e d t o u s e t h e d at a ( D at n o w & H u b b ar d, 2 0 1 5; M e a n s et al., 2 0 1 1; R e e v e s et al., 2 0 1 6). I n f a ct, it h a s b e e n s u g g e st e d f or s o m e ti m e t h at t e a c h er s d o n ot u s e r e s e ar c h t o i nf or m t h eir t e a c hi n g b e c a u s e, i n p art, t h e y l a c k t h e s kills or m oti v ati o n t o d o s o ( A n d er s o n & Bi d dl e, 1 9 9 1). O ur vi e w, gi v e n t h e q u e s -ti o n s t h at w e h a v e p o s e d a n d o ur p er s p e cti v e o n t h e i m p ort a n c e of t e a c h er –r e s e ar c h er p art n er s hi ps, is t h at it is pr e m at ur e t o d e s cri b e t h e s p e cifi c s kills t h at t e a c h er s mi g ht n e e d b e c a u s e t h e fi el d d o e s n ot y et k n o w w h at f or m s t h e d at a c o ul d or s h o ul d t a k e n or d o e s it k n o w h o w r e s e ar c h er s a n d t e a c h er s c a n b e st p art n er ar o u n d d at a u s e. I n p arti c ul ar, d at a t h at ar e u s ef ul f or t e a c h er s ar e, b y d efi niti o n, d at a t h at t e a c h er s c a n u s e wit h o ut a c o m pl et el y n e w s et of s kills. A n i m p ort a nt c o n si d er ati o n f or t h e r e s e ar c h q u e sti o n s t h at w e h a v e p os e d is t h at t h e d at a s h o ul d b e a v ail a bl e i n a f or m t h at t e a c h er s c a n u s e gi v e n t h eir c urr e nt s kills a n d t h e i nt e n s e d e m a n d s o n t h eir ti m e t h at m a k e l e ar ni n g a n e w s et of s kills b ur d e n s o m e.

H o w e v er, it i s p o s si bl e t o t al k i n g e n er al t er m s a b o ut t h e s kill s a n d di s p o siti o n s t h at w o ul d f a cilit at e t e a c h er s’ u s e of d at a of a n y ki n d. M a n di n a c h ( 2 0 1 2) h a s d e s cri b e d t h e n e e d f or “ p e d a g o gi c al d at a lit e r a c y ( M a n di n a c h, 2 0 0 9 a, 2 0 0 9 b, 2 0 1 0 b) ” ( p. 7 3), a t er m u s e d t o si g nif y t h e f a ct t h at t e a c h er s will n e e d t o u s e d at a i n w a ys t h at tr a n sl at e t h e i nf or m ati o n i nt o cr e ati n g b ett er l e ar ni n g o p p ort u niti e s f or st u d e nt s. T o d e s cri b e t h e l a n d s c a p e of a cti viti e s t hr o u g h w hi c h t e a c h er s e n g a g e wit h d at a t o i m pr o v e i n str u cti o n, M e a n s et al. ( 2 0 1 1) i d e ntifi e d fi v e s kill ar e a s: d at a l o c ati o n (fi n di n g r el e v a nt pi e c e s of d at a i n a d at a s yst e m or di s pl a y), d at a c o m pr e h e n si o n ( u n d er st a n di n g w h at t h e d at a si g nif y), d at a i nt er pr et ati o n (fi g uri n g o ut w h at t h e d at a m e a n), i n str u cti o n al d e ci si o n- m a ki n g ( m a ki n g i n str u cti o n al c h oi c e s t h at a d dr e s s t h e i s s u e i d e ntifi e d t hr o u g h t h e d at a), a n d q u e sti o n p o si n g ( g e n er ati n g r el e v a nt q u e sti o n s a n d h y p ot h e s e s t h at c a n b e a d dr e s s e d t hr o u g h t h e

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 6 Ti m el y a n d Us ef ul D at a

a v ail a bl e d at a). T h e a ut h or s d e s cri b e d s o m e of t h e str u g gl e s t h at t e a c h er s h a d wit h t h e s e s kill s. Alt h o u g h it i s li k el y t h at t e a c h er s w o ul d b e n efit fr o m a c q uiri n g n e w s kill s t o b e c o m e r e g ul ar u s er s of d at a, a n d r e s e ar c h h a s s h o w n t h at t e a c h er s’ u s e of d at a i n cr e a s e s wit h a p pr o pri at e s u p p ort ( Ts ai & T o s h, 2 0 1 9), w e e n vi si o n t h at t h e n e e d f or m a n y of t h e s kill s fr o m M e a n s et al.’s ( 2 0 1 1) li st c o ul d b e miti g at e d b y t h e w a ys t h at r e s e ar c h er s fi n d f or d at a t o b e g at h er e d, pr o c e s s e d, p a c k a g e d, pr e s e nt e d, a c c e s s e d, a n d st or e d t o b e o pti m all y u s ef ul f or t e a c h er s. I n a d diti o n, w e s u s p e ct t h at t e a c h er s will d e v el o p t h e s kill s t h at t h e y n e e d t o u s e t h e s e d at a b y c oll a b or ati n g wit h r e s e ar c h er s a n d ot h er t e a c h er s i n r e c urri n g c y cl e s of pl a n ni n g, t e sti n g, a n d i m pr o vi n g l e s s o n s a s p art of t e a c h er –r e s e ar c h er p art n er s hi p s ( C ai et al., 2 0 1 8 b; W a y m a n, 2 0 0 5 a). A fi n al q u e sti o n t h at w e p o s e i n t hi s e dit ori al a d dr e s s e s t h e i s s u e of t e a c h er s’ c a p a cit y t o u s e d at a: H o w c a n t e a c h er –r e s e ar c h er p art n er s hi p s b e str u ct ur e d a n d pr a cti c e d s o t h at t e a c h er s d e v el o p t h e a biliti e s t o u s e t h e n e w f or m s of d at a t o i nf or m t h eir i n str u cti o n ?

C o n cl usi o n s

Gi v e n t h e i n cr e a si n g r h et ori c ar o u n d d at a- dri v e n d e ci si o n- m a ki n g, w e s u s p e ct t h at t e a c h er s ar e li k el y t o f e el pr e s s ur e t o u s e d at a t o i m pr o v e t h eir i n str u cti o n. H o w e v er, t h e d at a oft e n a v ail a bl e h a v e f e w, if a n y, of t h e c h ar a ct eristi cs t h at w o ul d m a k e t h e d at a u s ef ul f or i nf or mi n g i n str u cti o n. We b eli e v e t hi s s etti n g i s ri p e f or i m p a ctf ul r e s e ar c h, a n d w e c e nt er e d o ur f o urt h m aj or pr o bl e m f or t h e fi el d o n d et er mi ni n g t h e ki n d s of d at a t h at c o ul d b e m o st u s ef ul f or t e a c h er s. Q u e sti o n s t h at s e e m e s p e ci all y i m p ort a nt a n d pr o d u cti v e a d dr e s s t h e v ari o u s a s p e ct s of t h e d at a g at h eri n g, pr o c e s si n g, r e pr e s e nti n g, a n d a c c e s si n g pr o c e s s. O n e s u g g e sti o n t h at w e off er e d, t o b e c o nti n u e d i n t h e fi n al e dit ori al i n o ur s eri e s, i s t o e x pl or e t h e w a ys i n w hi c h t e c h n ol o g y c o ul d e xt e n d h u m a n a biliti e s t o c oll e ct, pr o c e s s, a n d pr e s e nt l ar g e s et s of d et ail e d cl a s sr o o m d at a. We k n o w t h at d at a o n st u d e nt t hi n ki n g is i m p ort a nt, b ut g at h eri n g a n d pr o c e ssi n g t h e w a ys i n w hi c h e a c h st u d e nt t hi n k s a b o ut e a c h m at h e m ati c al t o pi c c a n q ui c kl y b e c o m e o v er w h el mi n g. O n e of t h e i s s u e s t h at w e t a k e u p i n o ur fi n al e dit ori al i s h o w t e c h n ol o gi c al t o ol s c o ul d a m plif y w h at i s c urr e ntl y p o s si bl e wit h tr a diti o n al m et h o d s.

R ef e r e n c e s

A n d er s o n, D. S., & Bi d dl e, B. J. ( E d s.). ( 1 9 9 1). K n o wl e d g e f o r p oli c y: I m p r o vi n g e d u c ati o n t h r o u g h r e s e a r c h . F al m er.

Bill & M eli n d a G at e s F o u n d ati o n. ( 2 0 1 5). Te a c h e r s k n o w b e st: M a ki n g d at a w o r k f o r t e a c h e r s a n d st u d e nt s. htt p:// k 1 2 e d u c ati o n. g at e sf o u n d ati o n. or g/r e s o ur c e/t e a c h er s- k n o w- b e st- m a ki n g- d at a - w or k-f or-t e a c h er s- a n d- st u d e nt s- 2/

C ai, J., M orri s, A., H o h e n s e e, C., H w a n g, S., R o bi s o n, V., Cirill o, M., Kr a m er, S. L., & Hi e b ert, J. ( 2 0 2 0). W or ki n g a cr o s s c o nt e xt s: S c ali n g u p or r e pli c ati n g wit h v ari ati o n s ? J o u r n al f o r R e s e a r c h i n M at h e m ati c s E d u c ati o n, 5 1 ( 3), 2 5 8 – 2 6 7.

C ai, J., M orri s, A., H o h e n s e e, C., H w a n g, S., R o bi s o n, V., Cirill o, M., Kr a m er, S. L., Hi e b ert, J., & B a k k er, A. ( 2 0 2 0 a). A d dr e s si n g t h e pr o bl e m of al w a y s st arti n g o v er: I d e ntif yi n g, v al ui n g, a n d s h ari n g pr of e s si o n al k n o wl e d g e f or t e a c hi n g. J o u r n al f o r R e s e a r c h i n M at h e m ati c s E d u c ati o n , 5 1 ( 2), 1 3 0 – 1 3 9. htt p s:// d oi. or g/ 1 0. 5 9 5 1/jr e s e m at h e d u c- 2 0 2 0- 0 0 1 5

C ai, J., M orri s, A., H o h e n s e e, C., H w a n g, S., R o bi s o n, V., Cirill o, M., Kr a m er, S. L., Hi e b ert, J., & B a k k er, A. ( 2 0 2 0 b). M a xi mi zi n g t h e q u alit y of l e ar ni n g o p p ort u niti e s f or e v er y st u d e nt. J o u r n al f o r R e s e a r c h i n M at h e m ati c s E d u c ati o n, 5 1 ( 1), 1 2 – 2 5. htt p s:// d oi. or g/ 1 0. 5 9 5 1/jr e s e m at h e d u c. 2 0 1 9. 0 0 0 5

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 7Ji nf a C ai et al.

C ai, J., M orri s, A., H o h e n s e e, C., H w a n g, S., R o bi s o n, V., & Hi e b ert, J. ( 2 0 1 8 a). B uil di n g a n d str u ct uri n g k n o wl e d g e t h at c o ul d a ct u all y i m pr o v e i n str u cti o n al pr a cti c e. J o u r n al f o r R e s e a r c h i n M at h e m ati c s E d u c ati o n, 4 9 ( 3), 2 3 8 – 2 4 6. htt p s:// d oi. or g/ 1 0. 5 9 5 1/jr e s e m at h e d u c. 4 9. 3. 0 2 3 8

C ai, J., M orri s, A., H o h e n s e e, C., H w a n g, S., R o bi s o n, V., & Hi e b ert, J. ( 2 0 1 8 b). R e c o n c e pt u ali zi n g t h e r ol e s of r e s e ar c h er s a n d t e a c h er s t o bri n g r e s e ar c h cl o s er t o t e a c hi n g. J o u r n al f o r R e s e a r c h i n M at h e m ati c s E d u c ati o n , 4 9 ( 5), 5 1 4 – 5 2 0. htt p s:// d oi. or g/ 1 0. 5 9 5 1/jr e s e m at h e d u c. 4 9. 5. 0 5 1 4

C ai, J., M orri s, A., H o h e n s e e, C., H w a n g, S., R o bi s o n, V., & Hi e b ert, J. ( 2 0 1 8 c). Usi n g d at a t o u n d er st a n d a n d i m pr o v e st u d e nt s’ l e ar ni n g: E m p o w eri n g t e a c h er s a n d r e s e ar c h er s t hr o u g h b uil di n g a n d u si n g a k n o wl e d g e b a s e. J o u r n al f o r R e s e a r c h i n M at h e m ati c s E d u c ati o n , 4 9 ( 4), 3 6 2 – 3 7 2. htt p s:// d oi. or g/ 1 0. 5 9 5 1/jr e s e m at h e d u c. 4 9. 4. 0 3 6 2

C ar p e nt er, T. P., F e n n e m a, E., & Fr a n k e, M. L. ( 1 9 9 6). C o g niti v el y g ui d e d i n str u cti o n: A k n o wl e d g e b a s e f or r ef or m i n pri m ar y m at h e m ati c s i n str u cti o n. T h e El e m e nt a r y S c h o ol J o u r n al , 9 7 ( 1), 3 – 2 0. htt p s:// d oi. or g/ 1 0. 1 0 8 6/ 4 6 1 8 4 6

C ar p e nt er, T. P., Fr a n k e, M. L., J a c o b s, V. R., F e n n e m a, E., & E m p s o n, S. B. ( 1 9 9 8). A l o n git u di n al st u d y of i n v e nti o n a n d u n d er st a n di n g i n c hil dr e n’s m ulti di git a d diti o n a n d s u btr a cti o n. J o u r n al f o r R e s e a r c h i n M at h e m ati c s E d u c ati o n, 2 9 ( 1), 3 – 2 0. htt p s:// d oi. or g/ 1 0. 2 3 0 7/ 7 4 9 7 1 5

C h e n, E., H erit a g e, M., & L e e, J. ( 2 0 0 5). I d e ntif yi n g a n d m o nit ori n g st u d e nt s’ l e ar ni n g n e e d s wit h t e c h n ol o g y. J o u r n al of E d u c ati o n f o r St u d e nt s Pl a c e d at Ri s k ( J E S P A R) , 1 0 ( 3), 3 0 9 – 3 3 2. htt p s://d oi. or g/ 1 0. 1 2 0 7/s 1 5 3 2 7 6 7 1 e s pr 1 0 0 3 _ 6

C h o, V., & W a y m a n, J. C. ( 2 0 1 4). Di stri ct s’ eff ort s f or d at a u s e a n d c o m p ut er d at a s y st e m s: T h e r ol e of s e n s e m a ki n g i n s y st e m u s e a n d i m pl e m e nt ati o n. Te a c h e r s C oll e g e R e c o r d , 1 1 6 ( 2), 1 – 4 5.

Cl a n di ni n, D. J., & C o n n ell y, F. M. ( 1 9 9 1). N arr ati v e a n d st or y i n pr a cti c e a n d r e s e ar c h. I n D. A. S c h o n ( E d.), T h e r e fi e cti v e t u r n: C a s e st u di e s i n a n d o n e d u c ati o n al p r a cti c e ( p p. 2 5 8 – 2 8 1). Te a c h er s C oll e g e Pr e s s.

C o b ur n, C. E., H o ni g, M. I., & St ei n, M. K. ( 2 0 0 9). W h at’s t h e e vi d e n c e o n di stri ct s’ u s e of e vi d e n c e ? I n J. D. Br a n sf or d, D. J. Sti p e k, N. J. V y e, L. M. G o m e z, & D. L a m ( E d s.), T h e r ol e of r e s e a r c h i n e d u c ati o n al i m p r o v e m e nt ( p p. 6 7 – 8 6). H ar v ar d E d u c ati o n Pr e s s.

C o h e n, J., & G ol d h a b er, D. ( 2 0 1 6). B uil di n g a m or e c o m pl et e u n d er st a n di n g of t e a c h er e v al u ati o n u si n g cl a s sr o o m o b s er v ati o n s. E d u c ati o n al R e s e a r c h e r , 4 5 ( 6), 3 7 8 – 3 8 7. htt p s:// d oi. or g/ 1 0. 3 1 0 2 / 0 0 1 3 1 8 9 X 1 6 6 5 9 4 4 2

D al y, A. J. ( 2 0 1 2). D at a, d y a d s, a n d d y n a mi c s: E x pl ori n g d at a u s e a n d s o ci al n et w or k s i n e d u c ati o n al i m pr o v e m e nt. Te a c h e r s C oll e g e R e c o r d , 1 1 4 ( 1 1), 1 – 3 8.

D at n o w, A., & H u b b ar d, L. ( 2 0 1 5). Te a c h er s’ u s e of a s s e s s m e nt d at a t o i nf or m i n str u cti o n: L e s s o n s fr o m t h e p a st a n d pr o s p e ct s f or t h e f ut ur e. Te a c h e r s C oll e g e R e c o r d , 1 1 7 ( 4), 1 – 2 6.

F arl e y- Ri p pl e, E., & B uttr a m, J. ( 2 0 1 5). T h e d e v el o p m e nt of c a p a cit y f or d at a u s e: T h e r ol e of t e a c h er n et w or k s i n a n el e m e nt ar y s c h o ol. Te a c h e r s C oll e g e R e c o r d , 1 1 7 ( 4), 1 – 3 4.

Gr a v e m eij er, K. ( 2 0 0 4). L o c al i n str u cti o n t h e ori e s a s m e a n s of s u p p ort f or t e a c h er s i n r ef or m m at h e m ati c s e d u c ati o n. M at h e m ati c al T hi n ki n g a n d L e a r ni n g , 6 ( 2), 1 0 5 – 1 2 8. htt p s:// d oi.or g/ 1 0. 1 2 0 7/s 1 5 3 2 7 8 3 3 mtl 0 6 0 2 _ 3

Gr a v e m eij er, K., & v a n E er d e, D. ( 2 0 0 9). D e si g n r e s e ar c h a s a m e a n s f or b uil di n g a k n o wl e d g e b a s e f or t e a c h er s a n d t e a c hi n g i n m at h e m ati c s e d u c ati o n. T h e El e m e nt a r y S c h o ol J o u r n al , 1 0 9 ( 5), 5 1 0 – 5 2 4. htt p s:// d oi. or g/ 1 0. 1 0 8 6/ 5 9 6 9 9 9

H a milt o n, L., H al v er s o n, R., J a c k s o n, S., M a n di n a c h, E., S u p o vit z, J., & W a y m a n, J. ( 2 0 0 9). Usi n g st u d e nt a c hi e v e m e nt d at a t o s u p p o rt i n st r u cti o n al d e ci si o n m a ki n g ( R e p ort N o. N C E E 2 0 0 9-4 0 6 7). N ati o n al C e nt er f or E d u c ati o n E v al u ati o n a n d R e gi o n al A s si st a n c e, I n stit ut e of E d u c ati o n S ci e n c e s, U. S. D e p art m e nt of E d u c ati o n. htt p://i e s. e d. g o v/ n c e e/ w w c/ p u bli c ati o n s/ pr a cti c e g ui d e s/

H er b el- Ei s e n m a n n, B. A., & Cirill o, M. ( E d s.). ( 2 0 0 9). P r o m oti n g p u r p o s ef ul di s c o u r s e: Te a c h e r r e s e a r c h i n m at h e m ati c s cl a s s r o o m s . N ati o n al C o u n cil of Te a c h er s of M at h e m ati c s.

Hi e b ert, J., G alli m or e, R., & Sti gl er, J. W. ( 2 0 0 2). A k n o wl e d g e b a s e f or t h e t e a c hi n g pr of e s si o n: W h at w o ul d it l o o k li k e a n d h o w c a n w e g et o n e ? E d u c ati o n al R e s e a r c h e r , 3 1 ( 5), 3 – 1 5. htt p s:// d oi.or g/ 1 0. 3 1 0 2/ 0 0 1 3 1 8 9 X 0 3 1 0 0 5 0 0 3

L ei n h ar dt, G. ( 1 9 9 0). C a pt uri n g cr aft k n o wl e d g e i n t e a c hi n g. E d u c ati o n al R e s e a r c h e r , 1 9 ( 2), 1 8 – 2 5. htt p s:// d oi. or g/ 1 0. 3 1 0 2/ 0 0 1 3 1 8 9 X 0 1 9 0 0 2 0 1 8

L o b at o, J., & W alt er s, C. D. ( 2 0 1 7). A t a x o n o m y of a p pr o a c h e s t o l e ar ni n g tr aj e ct ori e s a n d pr o gr e s si o n s. I n J. C ai ( E d.), C o m p e n di u m f o r r e s e a r c h i n m at h e m ati c s e d u c ati o n ( p p. 7 4 – 1 0 1). N ati o n al C o u n cil of Te a c h er s of M at h e m ati c s.

M a n di n a c h, E. B. ( 2 0 1 2). A p erf e ct ti m e f or d at a u s e: Usi n g d at a- dri v e n d e ci si o n m a ki n g t o i nf or m pr a cti c e. E d u c ati o n al Ps y c h ol o gi st , 4 7 ( 2), 7 1 – 8 5. htt p s:// d oi. or g/ 1 0. 1 0 8 0/ 0 0 4 6 1 5 2 0. 2 0 1 2. 6 6 7 0 6 4

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms

3 9 8 Ti m el y a n d Us ef ul D at a

M a n di n a c h, E. B., & J a c k s o n, S. S. ( 2 0 1 2). Tr a n sf o r mi n g t e a c hi n g a n d l e a r ni n g t h r o u g h d at a- d ri v e n d e ci si o n m a ki n g . C or wi n.

M ar s h, J. A., P a n e, J. F., & H a milt o n, L. S. ( 2 0 0 6). M a ki n g s e n s e of d at a- d ri v e n d e ci si o n m a ki n g i n e d u c ati o n: E vi d e n c e f r o m r e c e nt R A N D r e s e a r c h ( R e p ort N o. O P- 1 7 0- E D U). R A N D C or p or ati o n.

M e a n s, B., C h e n, E., D e B ar g er, A., & P a dill a, C. ( 2 0 1 1). Te a c h e r s’ a bilit y t o u s e d at a t o i nf o r m i n st r u cti o n: C h all e n g e s a n d s u p p o rt s. U. S. D e p art m e nt of E d u c ati o n, Of fi c e of Pl a n ni n g, E v al u ati o n, a n d P oli c y D e v el o p m e nt.

M e a n s, B., P a dill a, C., & G all a g h er, L. ( 2 0 1 0). Us e of e d u c ati o n d at a at t h e l o c al l e v el: F r o m a c c o u nt a bilit y t o i n st r u cti o n al i m p r o v e m e nt . U. S. D e p art m e nt of E d u c ati o n, Of fl c e of Pl a n ni n g, E v al u ati o n, a n d P oli c y D e v el o p m e nt.

R e e v e s, T. D., S u m m er s, K. H., & Gr o v e, E. ( 2 0 1 6). E x a mi ni n g t h e l a n d s c a p e of t e a c h er l e ar ni n g f or d at a u s e: T h e c a s e of Illi n oi s. C o g e nt E d u c ati o n , 3 , 1 – 2 1. htt p s:// d oi. or g/ 1 0. 1 0 8 0/ 2 3 3 1 18 6 X. 2 0 1 6. 1 2 1 1 4 7 6

R ot h k o pf, E. Z. ( 2 0 0 9). A n i m m o d e st pr o p o s al: P e d a g o gi c i nf or m ati o n s u p p ort s f or t e a c h er s. Te a c h e r s C oll e g e R e c o r d , 1 1 1 ( 1), 1 6 4 – 1 7 9.

Sil v er, E. A., & Mill s, V. L. ( 2 0 1 8). A f r e s h l o o k at f o r m ati v e a s s e s s m e nt i n m at h e m ati c s t e a c hi n g . N ati o n al C o u n cil of Te a c h er s of M at h e m ati c s.

St ei n, M. K., E n gl e, R. A., S mit h, M. S., & H u g h e s, E. K. ( 2 0 0 8). Or c h e str ati n g pr o d u cti v e m at h e m ati c al di s c u s si o n s: Fi v e pr a cti c e s f or h el pi n g t e a c h er s m o v e b e y o n d s h o w a n d t ell. M at h e m ati c al T hi n ki n g a n d L e a r ni n g , 1 0 ( 4), 3 1 3 – 3 4 0. htt p s:// d oi. or g/ 1 0. 1 0 8 0/ 1 0 9 8 6 0 6 0 8 0 2 2 2 9 6 7 5

Str e e fl a n d, L. ( 1 9 9 1). F r a cti o n s i n r e ali sti c m at h e m ati c s e d u c ati o n. A p a r a di g m of d e v el o p m e nt al r e s e a r c h . Kl u w er.

S u p o vit z, J. ( 2 0 1 2). G etti n g at st u d e nt u n d er st a n di n g – T h e k e y t o t e a c h er s’ u s e of t e st d at a. Te a c h e r s C oll e g e R e c o r d , 1 1 4 ( 1 1), 1 – 2 9.

Ts ai, T., & T o s h, K. ( 2 0 1 9). E d u c at o r a c c e s s t o a n d u s e of d at a s y st e m s ( R e p ort N o. R R- 2 5 7 5/ 8-B M G F). htt p s:// w w w.r a n d. or g/ p u b s/r e s e ar c h _r e p ort s/ R R 2 5 7 5 z 8. ht ml

v a n d e n H e u v el- P a n h ui z e n, M. ( 2 0 0 3). T h e di d a cti c al u s e of m o d el s i n r e ali sti c m at h e m ati c s e d u c ati o n: A n e x a m pl e fr o m a l o n git u di n al tr aj e ct or y o n p er c e nt a g e. E d u c ati o n al St u di e s i n M at h e m ati c s , 5 4 ( 1), 9 – 3 5. htt p s:// d oi. or g/ 1 0. 1 0 2 3/ B: E D U C. 0 0 0 0 0 0 5 2 1 2. 0 3 2 1 9. d c

v a n d e n H e u v el- P a n h ui z e n, M. ( E d.). I nt e r n ati o n al r e fl e cti o n s o n t h e N et h e rl a n d s di d a cti c s of m at h e m ati c s: Vi si o n s o n a n d e x p e ri e n c e s wit h R e ali sti c M at h e m ati c s E d u c ati o n . S pri n g er. htt p s:// d oi. or g/ 1 0. 1 0 0 7/ 9 7 8- 3- 0 3 0- 2 0 2 2 3- 1

W a y m a n, J. C. ( 2 0 0 5 a). I n v ol vi n g t e a c h er s i n d at a- dri v e n d e ci si o n- m a ki n g: Usi n g c o m p ut er d at a s y st e m s t o s u p p ort t e a c h er i n q uir y a n d r e fl e cti o n. J o u r n al of E d u c ati o n f o r St u d e nt s Pl a c e d at Ri s k ( J E S P A R) , 1 0 ( 3), 2 9 5 – 3 0 8. htt p s:// d oi. or g/ 1 0. 1 2 0 7/s 1 5 3 2 7 6 7 1 e s pr 1 0 0 3 _ 5

W a y m a n, J. C. ( E d.). ( 2 0 0 5 b). Tr a n sf or mi n g d at a i nt o k n o wl e d g e: A p pli c ati o n s of d at a- b a s e d d e ci si o n- m a ki n g t o i m pr o v e e d u c ati o n al pr a cti c e [ S p e ci al i s s u e]. J o u r n al of E d u c ati o n f o r St u d e nt s Pl a c e d at Ri s k , 1 0 ( 3).

W hit e h ur st, G. J., C hi n g o s, M. M., & Li n d q ui st, K. M. ( 2 0 1 4). E v al u ati n g t e a c h e r s wit h cl a s s r o o m o b s e r v ati o n s: L e s s o n s l e a r n e d i n f o u r di st ri ct s . Br o w n C e nt er o n E d u c ati o n P oli c y.

Wili a m, D. ( 2 0 0 7/ 2 0 0 8). C h a n gi n g cl a s sr o o m pr a cti c e. E d u c ati o n al L e a d e r s hi p , 6 5 ( 4), 3 6 – 4 2.

d oi: 1 0. 5 9 5 1/jr es e m at h e d u c- 2 0 2 0- 0 0 5 6

T his c o nt e nt d o w nl o a d e d fr o m 1 3 2. 1 7 4. 2 5 4. 7 2 o n T u e, 0 7 J ul 2 0 2 0 1 7: 5 0: 5 0 U T C

All us e s u bj e ct t o htt ps:// a b o ut.jst or. or g/t er ms