Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA...

28
Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07 Avaluació experimental de la millora de l’aprenentatge en estadística
  • date post

    19-Dec-2015
  • Category

    Documents

  • view

    213
  • download

    0

Transcript of Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA...

Page 1: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover

JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de

resultats dels projectes MQD

ICE 28/06/07

Avaluació experimental de la millora de l’aprenentatge en

estadística

Page 2: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

2

PRESENTACIÓ DE RESULTATS MQD

Outline

1. Aims and motivation

2. Model & subjects

3. Results

4. Conclusions and future work

Page 3: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

3

PRESENTACIÓ DE RESULTATS MQD

Outline

1. Aims and Motivation

2. Model & subjects

3. Results

4. Conclusions and future work

Page 4: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

4

PRESENTACIÓ DE RESULTATS MQD

• To improve student learning

• To provide to students an automatic IT which generates and solves individual exercises

• To apply statistical theory to formally measure its effects

• To employ real examples in teaching

Motivation

Page 5: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

5

PRESENTACIÓ DE RESULTATS MQD

Learning Model

Page 6: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

6

PRESENTACIÓ DE RESULTATS MQD

Factors to be efficient in the teaching process

TrainingPractice of methods and techniques with realistic cases

Instant feedback for students Immediate marking of work

Evaluation of knowledge gained Evaluation of effort

Feedback for teachersTo monitor progress

(globally or individually)

Page 7: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

7

PRESENTACIÓ DE RESULTATS MQD

The tool: e-status (1)

• Learning by practicing:– The exercise can be repeated– Initial data are always different

• Immediate feedback providing:– Right answer– Error reason (if predicted)

• Students’ assessment:– Any criteria (best answer, average, …)

• Students’ follow up:– Both individual data and group summaries

• Broad range of problems: based on R

• Web-based tool

Page 8: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

8

PRESENTACIÓ DE RESULTATS MQD

The tool: e-status (2)

More information on e-status: Gonzalez & Muñoz (2006)

(CAEE, 14(2): 151-159)

Page 9: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

9

PRESENTACIÓ DE RESULTATS MQD

How e-status looks

Wording

Question

AnswerGrading

Page 10: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

10

PRESENTACIÓ DE RESULTATS MQD

e-status previous experience

• Experience since 2003:

– Four schools:

– About 10 subjects

– More than 2000 students

– About 25000 executions

• High positive correlation between e-status use and exam performance… but

…experience is not experiment

• Computer Science

• Maths and Stat

• Medicine

• Dentistry

Page 11: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

11

PRESENTACIÓ DE RESULTATS MQD

Outline

1. Aims and Motivation

2. Model & subjects

3. Results

4. Conclusions and future work

Page 12: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

12

PRESENTACIÓ DE RESULTATS MQD

• Biostatistics course in the Dentistry School of the University of Barcelona

• Prior experience in 2004/2005 academic course

• Duration of the stat subject: 35 hours

• Teachers:

– theoretical classes: 1

– lab groups: 3

• Experiment: 2005/2006 year (fall)

• Outcome: written final examination

Setting

Page 13: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

13

PRESENTACIÓ DE RESULTATS MQD

Operation

Page 14: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

14

PRESENTACIÓ DE RESULTATS MQD

Two “topics”

A

• Descriptive statistics and graphical representation

• Agreement

• Inference about one proportion

• Comparison of two means

• Comparison of two proportions

B

• Probabilities with Normal distribution

• Interval estimation of proportion and mean

• Assessment of sample size

• Inference about one mean

• Goodness of fit chi-square

Every student had access to e-status

Students were randomly allocated to group 1 or 2

Each group only had access to e-status exercises on only one topic

Final exam contained questions about both topics A and B

Stat course content was divided in two ‘balanced’ topics

Page 15: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

15

PRESENTACIÓ DE RESULTATS MQD

Outcome

Exam

TopicProblems in the practical exam

e11 e12 e21 e22 e31 e32

A

B

Score Yt A

i

Score Yt B

i

Page 16: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

16

PRESENTACIÓ DE RESULTATS MQD

Participants & allocation

• All students (N =121) enrolled in the course

• Random assignment to 1 or 2 balanced with respect to Lab group and new/old profile

• Teacher was not involved in randomization neither data analysis

• Final exam evaluator was masked to allocation group

Page 17: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

17

PRESENTACIÓ DE RESULTATS MQD

Hypothesis

Yt j i stands for the exam performance:

• by student i

• assigned to intervention, t=1, 2

• in topic j=A, B

Hypothesis:

If e-status is effective, students in group 1 (2)trained with e-status exercises in topic A (B)should get better exam results in topic A (B)

Page 18: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

18

PRESENTACIÓ DE RESULTATS MQD

Ytji = µ + t + πj + Φi + ij

t: fixed effect of intervention t=1, 2

• πj: fixed effect of exam topic j=A, B

• Φi: random effect of student i

ij: measure error assessing performance in student i for question j

Assumptions:• Access to e-status topic A(B) has no effect on exam topic B(A).• Error independence between students

Statistical model

Page 19: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

19

PRESENTACIÓ DE RESULTATS MQD

Statistical analysis

Let D1 i (D2 i) be the difference of scores in part A and B for the

student i receiving intervention 1(2):

DD1i1i = Y = Y1Ai1Ai – Y – Y1Bi1Bi = (µ + = (µ + ττ11 + + ππAA + + ΦΦii + + iAiA)-(µ + )-(µ + ππBB + + ΦΦii + + iBiB) = ) = ττ11 + + ππAA - - ππBB+ + iAiA- - iBiB

DD2i2i = Y = Y2Ai2Ai – Y – Y2Bi2Bi = (µ + = (µ + ππAA + + ΦΦii + + iAiA)-(µ + )-(µ + ττ2 2 + + ππBB + + ΦΦii + + iBiB) = - ) = - ττ22 + +ππAA - -ππBB+ + iAiA- - iBiB

E(DE(D1i1i)= )= ττ11 + + ππAA - - ππBBAs

E(DE(D2i2i)= )= --ττ22 + + ππAA - - ππBB

V(DV(Djiji)= )= V( V(iAiA- - iBiB) = 2) = 2σσ22εε

nnn

222 422

DD

DD

21

221

VE 1

Then

50 students per group 50 students per group provide 80% power to highlight an effect equal to 80% power to highlight an effect equal to

0.7x σ0.7x σ (α=0.05) (α=0.05)

Page 20: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

20

PRESENTACIÓ DE RESULTATS MQD

Outline

1. Aims and Motivation

2. Model & subjects

3. Results

4. Conclusions and future work

Page 21: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

21

PRESENTACIÓ DE RESULTATS MQD

Main results

Page 22: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

22

PRESENTACIÓ DE RESULTATS MQD

The random model, fitted with R, replicated the results

SΦ = 2.81 (CI95%: 2.43 to 3.24)

Sε = 1.48 (CI95%: 1.31 to 1.68)

Linear Mixed-Effects Model

Fitted values

Sta

nd

ard

ize

d r

esi

du

als

-2

-1

0

1

2

2 4 6 8

Standardized residuals

Qu

an

tile

s o

f sta

nd

ard

no

rma

l

-3

-2

-1

0

1

2

3

-2 -1 0 1 2

Page 23: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

23

PRESENTACIÓ DE RESULTATS MQD

Outline

1. Aims and Motivation

2. Model & subjects

3. Results

4. Conclusions and future work

Page 24: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

24

PRESENTACIÓ DE RESULTATS MQD

+1. It is feasible to evaluate interventions in teaching with formal

experiments Random allocation Masked evaluation Without interfering in course development

+2. e-status improves student exam performance

In an exam over 10 points, e-status improves performance by

0.96 points (CI95%: 0.20, 1.72)

Conclusions

Page 25: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

25

PRESENTACIÓ DE RESULTATS MQD

What did the students do when they had no access to e-status?

That is, what is the reference for the intervention?

a) Did they not study statistics at all?

b) Did they spend their time on another kinds of exercises?

If a, the estimated e-status effect is mediated by an increase in the

time spent by the student to study.

If b, e-status increases learning efficiency, since it improves the

amount of learning with respect to the alternative method.

Interpretation (1)

Page 26: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

26

PRESENTACIÓ DE RESULTATS MQD

If e-status influences advanced capabilities, such as motivation or

statistical reasoning, there may be some contamination between

interventions A and B: that is, intervention 1 (2) employing e‑status

on set A (B) would have some learning effect τ‘1 (τ‘2) on set B (A),

and then

E( ) = (τ1 + τ2 ) – (τ‘1 + τ‘2 ) = (τ1 - τ‘1) + (τ2 - τ‘2 )

If so, this design estimates e-status direct effect minus delayed,

cross-over, effects

If τ‘ positive, this design underestimates overall effects on learning

Interpretation (3)

DD 21

Page 27: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

27

PRESENTACIÓ DE RESULTATS MQD

1. Repeat the randomized experiment many times in many courses

You are invited to do it!

2. Also you are invited:- to use it in your teaching work

http://key.upc.es/estatus

3. To share your ideas with [email protected], [email protected],[email protected]

Future work

Page 28: Pilar Muñoz, José-Antonio González, Erik Cobo, Lluis Jover JORNADES D’INNOVACIÓ DOCENT A LA UPC: Presentació de resultats dels projectes MQD ICE 28/06/07.

28

PRESENTACIÓ DE RESULTATS MQD

Thanks for your attention

Q & A