DATA-DRIVEN POLICY ANALYSIS AND INNOVATION IN EDUCATION: AN OECD PERSPECTIVE

Carlos González-SanchoCentre for Educational Research and Innovation (CERI)OECD Directorate for Education and Skills

25 October 2018Dushanbe, Republic of Tajikistan

CENTRAL ASIA SYMPOSIUM ON ICT IN EDUCATION 2018Strengthening Education Management Information Systems

to monitor SDG4

Outline

1. Role of data for education policy planning and evaluation

OECD work on SDG 4 monitoring

Some examples of analysis with PISA data

2. Longitudinal information systems in education in OECDcountries: current state and future directions

Insights from the OECD/CERI survey of information systems

A typology: four model approaches to using longitudinal systems

Some challenges

Ключевые идеи

ОЭСР активно участвует в мониторинге Повестки дня 2030 и ЦУР-4

Архитектура ЦУР по образованию, TCGs, отчетность, сбор данных, развитие потенциала

Развитие ИСУО должно способствовать более широкому спектру использования данных образования

От статистической отчетности и оценки до исследований и инноваций в целях улучшения

Требует расширения возможностей информационных систем, что наиболее важно с помощью продольных идентификаторов учащихся, новых типов данных и более гибкого доступа

Информационные системы продольного образования в странах ОЭСР представляют примеры того, что возможно для ИСУО в будущем

Многие хорошие модели и решения уже можно найти в секторе образования

Нет необходимости перезапускать с нуля - сильные информационные системы образования часто могут быть созданы из существующих систем

OECD role in SGD 4 framework and monitoring

Not all OECD countries are at the same level when it comes to meeting the SDG 4 targets

100

90

80

70

60

50

40

30

20

10

04.a.1.

% of students with access to computers and

Internet

4.2.2. 4.c.7.Enrolment rate % of teachersa year before who receivedprimary entry in-service

age training

4.7.5.Proficiency of 15-year-olds in

science

4.6.1.Adult

proficiency in literacy and numeracy

4.1.1.Proficiency of 15-year-olds in

maths and reading

4.a.2.% of students experiencing

bullying

4.1.5.Out-of-school

rate

Indicators for which higher values are desirable Indicators for which lower values are desirable

General overview of selected SDG indicators

Поддержка ОЭСР Плана действий для ЦУР по образованию

Эффективное использование

индикаторов ОЭСР и сбор данных для

базы данных ООН для ЦУР-4

Совместная проверка достоверности

индикаторов ЦУР-4и консультации в

рамках ЦУР-4

Отчет о прогрессе на пути к ЦУР-4

Ракурс ЦУР к стратегиям

образования и подержка разработки политики в области

образования на страновом уровне

Some indicators produced and/or with input by OECD teams: PISA: SDG Target 4.1 Early Learning and Child Well-being Study: SDG Target 4.2 PIAAC: SDG Target 4.6 TALIS: SDG Target 4.c UOE questionnaires and additional data collections: e.g. on

Indicator 4.a.1 on the infrastructure of schools

Collecting data for the UN database (UIS) for OECD and partnercountries About 90% coverage of global indicators currently

Leverage OECD data to analyse progress on SDG4 and collect data for UN database

A common SDG 4 database requires agreement on methodology and sources for calculation of SDG indicators

TCG Working Group 1 on Indicator Development Provide feedback on relevant indicators, esp. refinement Examples classified as “requires further development”:

4.3.1; 4.6.3; 4.7.1; 4.7.2; 4.a.2; 4.a.3.

TCG Working Group 3 on Data Reporting, Validation and Dissemination Terminology document Data validation package

Role as contributor/advisor within the SDG 4 framework

Reporter of SDG 4 through dedicated sections in Education at a Glance and other publications

EAG : a vehicle for reporting on SDG 4 on OECD and partner countries, with a dedicated chapter

EAG 2018 focus on equity SDG4 Target 4.5

Collaboration with UNESCO and UIS on respective responsibilities for SDG4 monitoring

Apply SDG lens to OECD education strategies and policy tools, including capacity building

PISA for Development is enhancing PISA to make it relevant for low-and-middle-income countries

Successful pilot: Bhutan, Cambodia, Ecuador, Guatemala, Honduras, Panama, Paraguay, Senegal and Zambia

Mainstreamed in PISA from 2021 onwards

Assistance to countries in building national assessment and data-collection systems

Peer-to-peer partnerships (e.g. Korea andCambodia)

Integrate SDG4 and its targets and indicators in on-going and future support for education policy-making at the country level, particularly country reviews

some examples of analysis with PISA data

406080

100 20 0

10080604020

Viet Nam Macao (China)

Estonia Hong Kong (China)

SingaporeJapan

Canada Finland

Chinese TaipeiKorea

Slovenia Ireland

DenmarkB-S-J-G (China)

Poland Germany

Latvia Portugal

United KingdomNew Zealand

Australia Russia Spain

Switzerland Netherlands

NorwayBelgium

United States Czech Republic

AustriaOECD average

Sweden France

CABA (Argentina)Italy

Croatia Lithuania

Iceland Luxembourg

HungarySlovak Republic

Israel Malta

GreeceChile

Bulgaria Romania Uruguay Albania

United Arab EmiratesMoldova

TurkeyTrinidad and Tobago

Costa Rica Thailand

Mexico Colombia

Jordan Qatar

Georgia Montenegro

IndonesiaBrazil Peru

Lebanon FYROMTunisiaKosovoAlgeria

Dominican Republic

Level1aBelow

Level1b Level3Level5

Level1bLevel2Level4Level6

Com

paring average systemperform

ance:Students’ proficiency in

science

PIS

A 20

15, Figu

reI.2.15

%

Students ator above Level2

Studentsbelow

Level2

Across OEC

D countries, disadvantaged students are 3 tim

es more likely to not attain baseline

proficiency in science –in France and Singapore, about 4tim

es

21 3 4 5 6 7

Dominican Republic CABA (Argentina)

Peru Singapore

France Hungary

B-S-J-G (China)Luxembourg

ChileBulgariaBelgium

Czech Republic Slovak Republic

Germany Switzerland

Chinese Taipei New Zealand

Spain Austria Japan

Portugal Poland

AustraliaIsrael

Uruguay OECD average

Malta Ireland Greece Jordan

Lebanon Romania Slovenia

Costa RicaItaly

Mexico Finland

Georgia Netherlands

SwedenBrazil

Moldova Lithuania Canada

QatarUnited States

DenmarkColombiaIndonesia

KoreaNorwayTunisia

United Arab Emirates United Kingdom

Russia Croatia

Trinidad and TobagoFYROM

Viet NamTurkeyEstonia

Hong Kong (China)Latvia

MontenegroKosovo Iceland

Thailand Macao (China)

Algeria

Odds

ratioIncreased likelihood of students in the bottom

quarter of ESCS scoring below

Level 2 in science, relative to non-disadvantaged students (3 other quarters ofESC

S)

Com

paring the relative strength of thesocio-econom

icgradient on studentperform

ance

PIS

A 20

15, Figu

reI.6

.9

Com

paring the variation in studentperformance

between and w

ithin schools:science

604020020406080100

120 80

Trinidad and TobagoBelgium Slovenia

Germany Slovak Republic

MaltaUnited Arab Emirates

Austria Israel

Lebanon Czech Republic

Qatar Japan

SwitzerlandSingapore

Italy Chinese Taipei

LuxembourgTurkey

Brazil Croatia Greece

Chile Lithuania

Netherlands 114B-S-J-G (China) 119

Bulgaria 115Hungary 104

9811210111010915411010612691

10110997

110120

93111112708989948392OECD average 100

Uruguay 84CABA (Argentina) 82

Romania 70Viet Nam 65

Korea 101Australia 117

United Kingdom 111Peru 66

Colombia 72Thailand 69

Hong Kong (China) 72FYROM 80Portugal 94

Dominican Republic 59Indonesia 52

Georgia 92Jordan 79

New Zealand 121United States 108

Montenegro 81Tunisia 47

Sweden 117Mexico 57Albania 69Kosovo 57

Macao (China) 74Algeria 54Estonia 88

Moldova 83Costa Rica 55

Russia 76Canada 95Poland 92

Denmark 91Latvia 75

Ireland 88Spain 86

Norway 103Finland 103

Iceland 93

%B

etween-schoolvariation

Within-schoolvariation

Total variation as a proportion of theO

ECD

average

OEC

D average

69%

OEC

D average

30%

PIS

A 20

15, Figu

reI.6

.11

Com

paring how learning tim

e is associatedw

ithstudent perform

ance inscience

1615141312111098760 10 20 30 40 50 60

Finland Germany

SwitzerlandJapan

Estonia Sweden

Netherlands New Zealand

AustraliaCzech RepublicMacao (China)United Kingdom

CanadaBelgium France Norway

Slovenia Iceland

LuxembourgIreland Latvia

Hong Kong (China)OECD averageChinese Taipei

Austria Portugal Uruguay

Lithuania Singapore Denmark Hungary

PolandSlovak Republic

Spain Croatia

United StatesIsrael

Bulgaria Korea

RussiaItaly

GreeceB-S-J-G (China)

ColombiaChile

Mexico Brazil

Costa RicaTurkey

MontenegroPeru

Qatar Thailand

United Arab EmiratesTunisia

Dominican Republic

Score points in science per hour of total learning time

Hours

70

Study time after school(hours)

Intended learning time at school (hours)

Score points in science per hour of total learningtim

e

PIS

A 20

15, Figu

reII.6

.23

longitudinal education information systems in OECD countries:

current state and future directions

Продольные информационные системы: универсальные технологии, поддерживающие инновационную экосистему

Инновации, основанные на данных: использование богатства данных в секторе образования:

Продольные системы поддерживают и связывают данные индивидуального уровня с течением времени, предоставляют подробную информацию о результатах обучения учащихся, средах обучения и демографические данные; и оказывают содействие в доступе к данным посредством инструментов отчетности и анализа

Системы следующего поколения объединяют статистические данные с системами управления обучением, включая банки цифровых ресурсов

Преобразование информации в осуществимые знания в сфере образования - гораздо больше, чем технический вопрос

The opportunities around longitudinal informationsystems in education

Improve efficiency and reduce administrative costs

Creation of a better data infrastructure for educational research

Faster and richer feedback to stakeholders:

New conversations around evidence on the impact of policies and practices

More applications around formative assessment and instruction

Mobilise practical knowledge - networks of educators and schools with similar concerns (learning communities)

Platforms to access and share digital resources to support teachers andlearners – and develop a stronger educational industry

the OECD/CERI survey of information systems in education

The OECD/CERI survey on information systems in education

As of 2016, it covers 67 systems from32 countries/economies

Australia [3], Austria [2], Belgium [2],Brazil [2], Canada [2], Chile [2], Czech Republic, Estonia, France, Germany, Hungary, India, Israel, Italy, Japan, Korea [2], Lithuania, Mexico, Netherlands [3], New Zealand, Norway [2], Portugal, Slovak Republic [2], Slovenia [2], SouthAfrica, Spain [2], Sweden [2], Turkey,UK [2], US [20]

Administered to systems managers

US state-wide systems: from DQC

Survey sections

1. Goals of the system2. Data model3. Coverage and frequency of

collection4. Data linkages5. Quality processes6. Access and privacy7. Comparison possibilities8. Accountability usage9. Instructional support,

networking facilities and PD10. Other features

Longitudinal identifiers and linkages

All systems have school-level identifiers, and 4 in 5 can track students longitudinally

Fewer systems provide teacherand course identifiers

Student- and school-level data matched, but teacher and student data linked only by a third of the systems, mainly US

Some cases where link does notexist despite availability of bothidentifiers

81%

61% 61%

39%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

School ID Longit Student Longit Teacher ID ID

All 3 Longit student-teacher link

Speed of feedback

Timeliness of feedback is a critical condition to maintain data value

Many systems take more than 1 month to make data available, regardless of access rights

– many impose>6 months delays

Cited reasons for delay include data cleaning and anonymization

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Administrator Schoolprincipals

Teachers Parents Students Researchers

Real Time <1 month 1-3 M 4-6 M > 6 M

Многие преимущества, а также области улучшений для нынешних информационных систем в странах ОЭСР

Отсутствие единой модели – существует большое ранообразие целей, элементов данных и функциональных возможностей

Уникальные студенческие продольные идентификаторы являютсянаиболее важной особенностью эффективных информационных систем. Связьс данными учителей, а также данными других учреждений (например, рыноктруда) откроют больше возможностей для инновационного использованияданных

Охват более широкого круга результатов учащихся. Суммативные и индикаторы на основе предметов являются недостаточными для отражения набора навыков, которые, как ожидается, будут вырабатываться у учащихся

Политика доступа остается весьма ограничительной. Как правило, он открыт для лиц, ответственных за разработку политики, и администраторов, но не для исследователей и преподавателей

Требуется более быстрая обратная связь. Многим требуется слишком много времени для отчета и предоставления имеющихся данных. Задержки с обратной связью идут вразрез с целью поддержки своевременного принятия решений

Необходимы более удобные инструменты для анализа и визуализации. Совместимые с многоуровневыми политиками доступа и важными для предотвращения того, чтобы ценные данные использовались недостаточно

Интеграция с цифровыми образовательными ресурсами и автоматизированный анализ и рекомендации будут важными особенностями систем следующего поколения

a typology of information systems in education

Текущие функции и использование предлагают 4 идеальных типа или подхода:

1. Системы отчетности и исследований данных

2. Системы данных электронного правительства3. Системы данных улучшения школ

4. Системы экспертных данных

Типология информационных систем в сфере образования

1. Reporting and research approach

Statistical and evaluation approach – from the traditional focus on reporting and accountability requirements

Accountability of systems and school performance cards enriched thanks to longitudinal, individual-level data

Reports seek to inform mainly policy makers and the public

In some cases, also designed to develop research capacity about educational issues

Ontario (Canada): Ontario School Information System(OnSIS)

Examples: Board Interface reports (left) and Ontario Notable Education Trends (right)

Mexico: Sistema Integral de Resultados de lasEvaluaciones (SIRE)

2. e-Government data systems

Inspired by e-government approach promoting automated data integration across government agencies

Takes advantage of data trails generated by the use of digital ID-cards and digital signatures

Major objectives include making administrative processes more efficient (e.g. school transfer, school choice, university application, etc.) and informing resource allocation (e.g. school funds)

Great potential for linkage of education data with data from othersectors (e.g. labour market, taxation, health, etc.)

Estonia: Estonian Education Information System(EHIS)

Korea: National Education Information System (NEIS)

3. School improvement data systems

Systems designed to support school improvement efforts by putting data in the hands of principals and teachers

Key features include customisable school reports and visualisation tools such as dashboards

Enable new « improvement routines » (data teams, enquiry teams, etc.) and digital communities of practice

Try to provide information at the individual level and with a granularity that makes data more relevant to teachers

England: RAISEonline - now replaced by the newAnalyse School Performance (ASP) system)

Portugal: Escola 360° (E-360°)

4. Expert data systems

Aim to help personalise teaching and learning and to provide real-time feedback to teachers, students and principals

Combine administrative data with process and formative assessment data from learning management systems

Learning analytics and other diagnosis techniques

Allow adjustments in ongoing instruction cycles – vs. end-of-year feedback

Advanced features: links to banks of educational resources, recommendations and networking platforms for teachers

Colorado (US) state-wide longitudinal system andSchoolView website

some challenges

Проблема оперативной совместимости

Экосистема данных сильно фрагментирована: «разрозненные» системы, которые не могут поддерживать связь друг с другом

Устаревшие системы, предназначенные для конкретных функций (учетные записи, регистрация, VLE ...)

Несогласованные определения, форматы, процедуры кодирования и т.д.

Оперативная совместимость: способность сочетать и использовать данные с разрозненных систем и платформ контента с легкостью, связностью и эффективностью

Технический уровень: программное обеспечение и возможности подключения

Семантический уровень: модели данных, согласованные определения и правила кодирования

Европейский механизм оперативной совместимости (EIF)

The privacy challenge

Greater data integration and increasing involvement of technology and data service providers raise stakes for privacy protection

Potential harms: profiling and discrimination, commercial uses, etc.

Blurring distinction between personal and non-personal data: more possibilities for re-identification

Informed consent and over-restrictive access are inefficient solutions

Need to combine data-focused and governance-focused solutions

Anonymization techniques – make re-identification more difficult

Control access and use for legitimate purposes (e.g. research)

К новому поколению систем: от статистическихотчетности дo своевременной и действенной обратной связи

Системы следующего поколенияИндивидуальные показателиПродольная перспективаОперативная совместимостьСопоставительный анализ, контекстные данныеОбратная связь в реальном времениАналитика уровня знаний и предложения

Распространяется на специалистов-практиков, учащихся и исследователей

Оценка рисков, уровневый доступ, технологииобеспечения конфиденциальности

Старые/нынешние системы данныхАггрегированные показателиОтносящиеся к различным областям снепшоты

Исходные базы данных

Локальные изолированные точки данных

Итоговая обратная связь

Статистические отчеты

Использование в основном администраторами

Конфиденциальность защищена ограниченным доступом и серьезной редакцией данных

Carlos González-Sancho

carlos.gonzalez-sancho@oecd.org

OECD Directorate for Education and Skills

http://www.oecd.org/edu

Centre for Educational Research and Innovation (CERI)

http://www.oecd.org/edu/ceri

Thank you for your attention