11/30/2016

1

Moving Evidence‐based Practices into the Classroom: Implementation Science and

Professional Development

Samuel L. OdomFrank Porter Graham Child Development 

InstituteUniversity of North Carolina at Chapel Hill

Autism Mystique

• Probably more than any disability, or unique set of abilities, autism has been shrouded in a treatment mystique

• Treatments are more diverse than any known disabilities

• Treatment claims range from amelioration to recovery

• Defense against the dark arts!

https://www.youtube.com/watch?v=2htMZ3Vmc8w

11/30/2016

2

Cutting Edge Interventions for Autism (Seri & Lyons, 2014)

• Antifungal treatment

• Aquatic therapy

• Auditory Integration Therapy

• Chelation Removal of Toxic Metals

• Craniosacral and chiropractic therapy

• Dietary interventions

• Hyperbaric oxygen therapy

• Medicinal marijuana

• Neuroimmune dysfunction and antiviral therapy

• Rapid Prompting

• Sensory gym

• Traditional and indigenous healing 

• Stem cell therapy

• Transcranial Direct Current Stimulation

Pack a Wound With Sugar

The Research‐Practice Gap

• Not a new lament (Carnine, 1999)

• Evidence‐based medicine movement dating back to the 1960s (Cochrane’s work)

• Clinical psychology work from the 1980s

11/30/2016

3

http://www.cochrane.org/

Model for Evidence‐Based Medicine and Education

11/30/2016

4

The What and the How

• The What: Evidence‐based programs

• The How: Strategies for supporting use of EBPs in educational contexts (schools and classes)

Wandersman et al. (2008)

The What

• Early screening and diagnosis

• Naturalistic Developmental Behavioral Intervention– Early Start Denver Model

– Pivotal Response Treatment

– Walden Program

• Lovaas Model and variation

• LEAP

• Visual Supports

• Reinforcement

• Prompting

• Time Delay

• Peer‐Mediated Intervention

• Modeling

• Social narratives

• Social skills training

From Wandersman, 2011

11/30/2016

5

If we keep on doing what we have been doing, we are going to keep on getting what we have been getting. Abe Wandersman

Systems are perfectly designed to produce the outcomes they generate.  Dean Fixsen

11/30/2016

6

From Wandersman, 2011Interactive Systems Framework for Dissemination and Implementation

11/30/2016

7

Stages of Implementation Process (Fixsen et al., 2013)

• Exploration

• Installation

• Initial Implementation

• Final Implementation

Two Synthesis Reviews

Damschroeder et al. (2009)

• Consolidated Framework for Implementation Research 

• Examined 18 IS Models 

• Features– Intervention 

– Outer setting

– Inner setting

– Characteristics of individuals involved

– Implementation process (plan, evaluate, reflect)

Meyers, Durlak, & Wandersman (2012).

• Quality Implementation Framework

• Examined 25 IS Models

• Phases– Initial consideration by host

– Creating a Structure for Implementation

– Ongoing structure once implementation begins

– Improving future application

Meyers, Durlak, and Wandersman (2012)

11/30/2016

8

References

• Meyers, D. C., Durlak, J. A., & Wandersman, A. (2012). The Quality Implementation Framework: A synthesis of critical steps in the implementation process.  American Journal of Community Psychology, 50, 462‐480.

• Hamre, B. K., & Hatfield, B. E. (2015). Moving evidence‐based professional development into the field: Recommendations for policy and research. In. C. Howes, B. Hamre, & R. Pianta (Eds.), Effective early childhood professional development: Improving teacher practice and outcomes (pp. 213‐228), Baltimore, MD: Brookes.

State Implementation & Scaling‐up of Evidence‐based Practices Center (SISEP)

NIRN (2015)

11/30/2016

9

Shea, C. M., Jacobs, S. R., Esserman, D. A., Bruce, K., & Weiner, B. J.  (2014).Organizational readiness for implementing change: a psychometric assessment of a new measure. Implementation Science, 9 (7). Online. http://www.implementationscience.com/content/9/1/7

Readiness for Organization Change Change Assessment

• Holt, D. T., Armenakis, A. A., Field, H. S., Harris, S. G.  (2007). Readiness for Organizational Change: The systematic development of a scale. The Journal of Applied Behavioral Science, 43, 232‐255.

• 27 item rating scale

11/30/2016

10

Themes from These Scales

• Belief the problem is important

• Commitment of wanting to do something about the problem.

• Staff’s belief they can actually implement change that will make a difference

• Belief the evidence is strong

11/30/2016

11

Stages AND Drivers

Drivers

Drivers

Drivers

“DRIVERS”

Metz (2013)

Essential Feature:  Leadership

• Who is the leader most likely to be the catalyst?

– Mid‐level administrators

– Director of Special Education 

– Supervisor of autism programs

– Principal or Assistant Principal in Schools

• Leadership at the grassroots level

– Parent groups

– Teachers/Related Service Personnel

11/30/2016

12

Characteristics of a Good Leader

Aarons, G. A., Ehrhart, M., & Farahnak, L.  (2014). Implementation leadership scale. https://static‐content.springer.com/esm/art%3A10.1186%2F1748‐5908‐9‐45/MediaObjects/13012_2013_751_MOESM1_ESM.pdf

What Does A Good Leaders Look Like?

https://www.youtube.com/watch?v=5L8Em5vU0FU

NIRN (2015)

11/30/2016

13

http://autismpdc.fpg.unc.edu/

Evidence‐Based Practices 

• Wong et al. 2014 recently updated Odom et al. (2010) EBP review http://autismpdc.fpg.unc.edu/sites/autismpdc.fpg.unc.edu/files/2014‐EBP‐Report.pdf

• Began with pool of 29,105+ articles and reduced to 456

• 27 EBPs identified 

11/30/2016

14

EBPsFundamental Applied Behavior Analysis Practices

• Reinforcement

• Prompts

• Time delay

• Modeling

• Task analysis

Positive Behavior Intervention and Support

• Functional assessment

• Antecedent‐based intervention

• Extinction

• Response interruption/redirection

• Differential reinforcement of alternative/other behavior

• Functional communication training

EBPsSocial Communication 

Interventions

• Social skills training

• Peer‐mediated interventions and instruction

• Social narratives

• Structured play groups

• Picture Exchange Communication System (PECS®)

Broad Teaching Strategies

• Visual supports

• Discrete trial training

• Naturalistic interventions

• Pivotal response training

• Parent implemented interventions

• Scripting

• Exercise

EBPs

Cognitive Behavior

• Self management

• Cognitive behavior interventions

Technology Oriented 

• Technology‐assisted instruction and intervention

• Video modeling

11/30/2016

15

44

Identified Practices

Research Based

Replicable Practices

Practitioner Friendly

Bridging the Gap

11/30/2016

16

AFIRM Goals

1. To develop online modules that translate the 27 EBPs for children and youth with ASD into engaging self‐learning modules and resources

2. To evaluate the modules for quality, usefulness, and relevance by monitoring access by learners, reviewing evaluation by users, and soliciting feedback on how the information has been applied in classrooms (Fall 2016)

46

http://afirm.fpg.unc.edu/

AFIRM Features

Case examples

Audio clips

Video clips

Interactive assessments

47

NIRN (2015)

11/30/2016

17

Train and Hope

One Shot Workshop Without Follow‐up

• May introduce content

• Not likely to lead to effective use of practices in classrooms

• Could be one tool in a package

Web‐based Training Alone Will Not Work

11/30/2016

18

Technical Assistance

• Training

– Summer institute

– Online course

– Training as needed

• Consultation

– Connections with TA Providers

• Coaching

Direct

Facilitated

Classic Coaching Model

https://www.youtube.com/watch?v=0Cd7Bsp3dDo

Our Coaching Resourceshttp://autismpdc.fpg.unc.edu/

11/30/2016

19

3 Components Of CyclicalCoaching Process

Coaching Components

Preobservation Conference

Select coaching target, obs plan, data collection 

plan 

Postobservation Conference

Discuss obs, discuss ways to change behavior, plan for ongoing support 

Observation

Collect data for meaningful 

discussion and planning

Feedback & Support from NPDC

Challenges to the Coaching Model?

• Time

• Roles and Responsibility

• Personalities

• Training for coaches

• Constantly changing staff

– Have to build a model of innovation on the assumption that staff will turn over and professional development is an ongoing process

NIRN (2015)

11/30/2016

20

Preparing the Context: Building a Foundation of Quality

• Two versions:  PE and MHS

• APERS‐PE:  59 items across 10 domains/subdomains

• Administered by research staff at two time points: Early fall and late spring.

• Yields information that identifies program strengths and areas in need of improvement; measure of change in program quality

Autism Program Environment Rating Scale:  What is it?

11/30/2016

21

APERS Profile in Report

To Use In Your Program: APERS Self‐Assessment

• Draft version on PDF for you

• Self‐assessment design to give formative feedback to improve your program 

• Read over items completely before rating

• Complete self‐assessment as a team

• Come to consensus on items where there is disagreement

• Use self‐assessment to develop an action plan

11/30/2016

22

Future Directions

• Technology may allow us new models for coaching.

• Identification of EBPs will be ongoing

• Teacher will need a new “supervision” skill set

– Training for paraprofessionals will become more important than ever.

11/30/2016

23

In Conclusion

• Learning the EBPs is an important accomplishment

• Implementation with fidelity is a challenge

• Key elements

– Leadership

– Motivation

– Resources

– Will to defend against the dark arts