Правила и инструменты оценки знаний онлайн-

слушателейПроф. Кухаренко В.Н.

НТУ «ХПИ»10 февраля 2012 г.

Лучше

• Правила и инструменты оценки знаний обучености онлайн-слушателей

Фричо (система тестирования)• Оценка деятельности по 37 показателям

Что будем рассматривать

зОценка

обученности

Персонал соответствует рабочему месту, обучается и

обеспечивает доход

Преподаватели, курсы, учебный процесс

Методы и приемы оценки персонала на всех этапах развития

обучения

Независимое оценивание внешними экспертами

Проектирование ADDIE • анализ (Analyzing) потребностей организации; • проектирования (Designing) системы для

потребностей организации; • развитие (Developing) системы с

использованием анализа исходных данных; • выполнение (Implementing) процессов

системы; • оценка (Evaluating) проекта создания и

выполнения.

4

Анализ (analyze) • Анализ целевой группы;• Анализ деятельности специалиста;• Анализ заданий;• Анализ/декомпозиция умений;• Анализ знаний, на которых базируются умения;• Общие задачи обучения;• Задания на деятельность.

Результат

• Какие качества студента надо оценить

Проектирование (design) • Последовательность содержания

обучения;• Выбор методов обучения;• Выбор (или создание) средств обучения;• Проектирование учебной программы.

Результат

• Какие есть варианты оценивания?

Развитие (development) • План занятий;• Презентация курса;• Учебные средства;• Упражнения;• Контроль (в том числе, тесты) знаний и

умений.

Результат

• Как будем оценивать?

Исполнение (implement) • проводится обучение с выбранной

аудиторией. Промежуточные результаты план выполнения. ‑

Оценка (evaluation) • План текущей оценки;• Список необходимых действий для

текущей оценки;• План итоговой оценки;• Результаты итоговой оценки

Критерии

• Соответствие целям обучения• Уровень компетентности• Уровень обучаемости (учится учиться)• Самооценка

14

Модифицированная таксономия Блума

Припоминание• Роль студента: он отвечает, вспоминает,

узнает, описывает, пересказывает• Опишите, что случилось после..?• Что правильно, или неправильно..?• Когда произошло событие?• Кто автор теории эволюции

– Гук– Дарвин– Левенгук

15

Понимание

• Студент - объясняет, описывает, демонстрирует, выясняет

• Вы можете объяснить, почему..?• Вы можете написать своими словами...?• Вы можете написать короткий обзор..?• На сторонах куба обозначены цифры от 1

до 6. какова вероятность выпадения четного числа

16

Применение

• Роль студента: решает задачи, демонстрирует использование знаний, рассчитывает, собирает (факты), иллюстрирует, конструирует,

• Знаете ли Вы другой пример, где ...?• Можете ли Вы сгруппировать по признакам ...?• Рассчитайте массовую концентрацию

раствора, если в 100 г воды растворили 20 г. соли

17

Анализ

• Роль студента: он обсуждает, аргументирует, размышляет, задает вопросы, оценивает, наводит справки

• Какие события не могли произойти?• Если бы ... произошло, каким должно быть

завершение?• Водитель автомобиля ехал из А. в Б. После того,

как он проехал В., он остановился в Г. выпить кофе, проехав половину пути. Расстояние между какими городами самое большое?

18

Оценивание.• Роль студента: он формирует мисли и оценивает,

обсуждает, сравнивает, критикует, убеждает, доказывает, оценивает возможности, принимает решение

• Есть ли тут лучшее решение к ...?• Можете ли Вы отстоять Вашу позицию

относительно ...?

19

Какое из приведенных свойств электромагнитного излучения подтверждает вывод, что свет – это волны?

• интенсивность зависит от квадрата расстояния от источника• металлические поверхности испускают электроны при облучении светом• свет огибает очень маленькие объекты на своем пути• скорость света в вакууме постоянна

Создание

• Роль студента: он проектирует, формулирует, планирует, использует риски, видоизменяет, создает, предлагает

• Можете ли Вы опровергнуть ... для ...?• Если бы Вы имели доступ ко всем ресурсам,

как бы Вы их могли распределять?

Схема преемственности

уровней деятельности в соответствии с

характеристикой знания

Bloom's Taxonomy

http://www.celt.iastate.edu/teaching/RevisedBlooms1.html

Помощник формулирования целей

http://www.byrdseed.com/differentiator/

Таксономия Блума и рефлексия• Вспоминание. Что же мне делать?• Понимание Что важно? Я достигаю свои цели?• Применение: Когда я делал это раньше? Где я

могу использовать это снова?• Анализ: Как я вижу, любых форм и отношений

в том, что я сделал?• Оценка Как хорошо я сделал? Что

получилось? Что мне нужно улучшить?• Создание Что делать дальше? Каков мой

план/проект? http://www.peterpappas.com/2010/01/taxonomy-reflection-critical-thinking-students-teachers-principals.html

Цикл Колба

практика

Метапознание

Принципы учебной аналитики

• Алгоритмы должны быть открытыми, настраиваемыми для связи

• Должна быть доступна студенту• Аналитика как платформы: открыта для

всех исследователей и организаций• Интеграция с существующими открытыми

инструментами • Модульная и расширяемая

• Для сотрудничества, творчества нужны другие способы оценки

• Сотрудничество включает в себя умение слушать, учет различных точек зрения, делиться идеями с другими

http://www.maggiehosmcgrane.com/2012/01/testing-is-dead-rip.html

Дискуссия “Функции тьютора”

https://topaz.ad.uow.edu.au/SNAPP/getsnappresults.html

Дискуссия «Планирование деятельности ученика»

Введение в курс LAK11

Четыре уровня Киркпатрика

• оценка реакции• оценка обучения• оценка поведения• оценка результатов

Процесс оценки по методу кейсов (Бринкерхоф)

• Выберите область для оценивания и напишите план оценки.

• Создайте модель воздействия, которая определит возможные результаты и выгоды.

• Напишите вопросник и проведите оценку, чтобы измерить общий успех против неуспешных.

• Проведите глубокие интервью выбранных людей, показавших хорошие результаты и тех, кто показал плохой результат.

• Сформулируйте выводы, рекомендации, ценность (тренинга) и ROI.

Комплексный подход к оценке 1

1. Проведите оценку стратегических потребностей и оцените стратегические разрывы, которые мешают достичь поставленных компанией целей.

2. Планируйте проведение оценки во время всего времени проведения обучения, на каждой стадии.

3. Создайте модель воздействия, которая будет являться «точным портретом предполагаемых выходов тренинговой программы» (Бринкерхоф).

4. Разработайте и проведите обучение, при этом документируйте все расходы, которые идут на обучение.

Комплексный подход к оценке 2

5. Соберите данные о результатах деятельности до проведения обучения.

6. Проведите пилотное обучение. Проведите суммирующую оценку обучения путем оценки по первому уровню Киркпатрика и сбора данных о результатах деятельности обучающихся после обучения.

7. Проведите изменения в обучающей программе по результатам пилота.

8. Проведите полномасштабное обучение. 9. Спроектируйте и проведите оценку по методу кейсов10. Проведите интервью с «отличниками» и

«двоечниками»

Комплексный подход к оценке 3

11. Соберите данные по уровня 4 Киркпатрика.12. Сравните, сопоставьте и соберите результаты

интервью по методу кейсов и бизнес-результаты по уровню 4 Киркпатрика для того чтобы сделать точные выводы об успехе проведенного обучения.

13. Рассчитайте стоимостную оценку выгод. 14. Сообщите результаты заинтересованным

лицам. Представьте ROI.15. Через год после проведения обучение,

проведите подтверждающую оценку.

Спасибо!КоординатыE-mail kukharenkovn@gmail.comhttp://dl.kharkiv.eduhttp://dl.kpi.kharkov.ua http://elaz.wikispaces.com/skype: kukharenkovnTwitter @kukharenko