LA TECNOLOGÍA Y LA EVALUACIÓN DE LENGUAS (CARR, 2006)

VENTAJAS DE LA EVALUACIÓN CON COMPUTADORAS

Pruebas más atractivas, Uso de tareas auténticas e interactivas, Fáciles de administrar (a distancia) y corregir, Más eficiencia (bajos costos) en el proceso

de evaluación.

Estudio:Blake, R., Wilson, D., Cetto, S., & Pardo-

Ballester, D. (2008). Measuring oral proficiency in distance, face-to-face, and blended classrooms. Language Learning and Technology, 12(3).

MEASURING ORAL PROFICIENCY IN DISTANCE, FACE-TO-FACE, AND BLENDED CLASSROOMS ¿Pueden los cursos híbridos y los en línea

proveer a los aprendices un nivel de suficiencia oral igual como lo de los cursos cara a cara?

Más específico, ¿Pueden los estudiantes mantener el ritmo con los estudiantes tradicionales?

EL ESTUDIO

Spanish Without Walls: CD-ROM, DVD, CMC Formato de los cursos en línea y los cursos

híbridos Los estudiantes tuvieron exámenes sobre los

materiales en el CD-ROM y el programa de DVD. Tuvieron que completar los chats en línea

usando el texto y la voz con el instructor en grupos y con un compañero.

Curso híbrido – 2 días/semana por 3 horas

Curso tradicional – Dos Mundos, 5 días/semana

LOS RESULTADOS

Versant for Spanish - prueba por teléfono calificada automáticamente hacia el final del curso.

Según los resultados, ambos cursos, el híbrido y el curso en línea, les permitieron a los aprendices lograr un nivel de suficiencia oral comparable con el nivel de los aprendices tradicionales.

LIMITACIONES DE LA EVALUACIÓN CON COMPUTADORAS

Costosa en términos de desarrollo de las pruebas y el equipo que se requiere para administrarla.

Problemática para estudiantes que no están familiarizados o sienten anxiedad al usar las computadoras.

Rango limitado de formatos que se pueden usar para evaluar (MCHQ vs. tareas de producción).

Estudio:Dooey, P. (2008). Language testing and

technology: problems of transition to a new era. ReCALL, 20(1), 21-34.

EN TRANSICIÓN: LOS EXÁMENES DEL LENGUAJE Y LA TECNOLOGÍA - DOOEY

• Los exámenes son importantes porque además de tener mucho valor para el aprendiz y proveer información sobre el estudiante:

•promueven y aumentan el aprendizaje•ayudan en asignar recursos a nivel institucional.

LOS DISEÑADORES DE LOS EXÁMENES TIENEN UNA RESPONSABILIDAD Y UN PODER GRANDE.

La tecnología puede ayudar en mejorar los exámenes tradicionales: para medir destrezas más complicadas y

técnicas para adaptar a la habilidad del aprendiz

Los diseñadores tienen que estar al corriente con la tecnología y las diferencias entre un examen en computador vs. lo tradicional.

En computadora un examen es más rápido, y exacto. Falta la comunicación abierta. Los exámenes no deben medir familiaridad con el uso

de la tecnología.

¿CUÁL ES EL FUTURO DEL EXAMEN?

Todavía falta evidencia para el uso del computador en los exámenes de lectura.

Hasta que todo el mundo tenga acceso igual a la tecnología, los aprendices deben tener la opción de tomar un examen tradicional.

Podemos esperar exámenes más flexibles, accesible, y confiables que provean mayor retroalimentación, aunque todavía falta correspondencia entre los exámenes tradicionales y en computadora.

EVALUACIÓN ADAPTABLE POR COMPUTADORAS

Requiere la corrección de las preguntas de manera inmediata para determinar la próxima pregunta a responder.

Los examinados responden a un grupo diferente de preguntas de acuerdo a su habilidad.

Limitada a preguntas de selección. Problemática para medir lectura y

comprensión oral porque asumen que los ítemes miden conocimientos independientes.

EVALUACIÓN ADAPTABLE POR COMPUTADORAS

Se le presenta a los examinados material con un nivel de dificultad apropiado.

Los examinados pueden trabajar a su propio ritmo.

Se puede determinar el nivel del examinado con mayor facilidad.

Costosa y requiere de mucho apoyo técnico (tecnológico, estadístico).

EVALUACIÓN DE LENGUAS EN LA WEB

Administración de pruebas a través de la internet.

Requiere de conocimiento del diseño de páginas, el establecimiento de formas para enviar los resultados y el manejo de una base de datos.

Proceso de evaluación centralizado en un servidor.

Amplia adminstración de las pruebas sin importar la ubicación geográfica de los estudiantes.

EVALUACIÓN DE LENGUAS EN LA WEB

Uso de formato familiar para los examinados. Facilita la inclusión de contenido multimedia. No es costosa. Permite la inclusión de respuestas cortas

(e.g., cloze, filling the gaps)Estudio:Larson, J., & Hendricks, H. (2009). A context-based

online diagnostic test of Spanish. CALICO Journal, 26(2).

Zabaleta, F. (2007). Developing a multimedia, computer-based Spanish placement test. CALICO Journal, 24(3).

EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS Áreas de énfasis:

Evaluación, Contextualización y Tecnología

Se busca: Evaluar la competencia comunicativa.

Crear un examen contextualizado- diagnóstico en línea que: Identifique áreas deficientes y ofrezca ayuda para mejorar la comunicación.

Propósitos de los exámenes: proporcionar a los administradores, maestros y estudiantes ciertos tipos de información valiosa

Tipos de pruebas: de aptitud, de colocación, competencia, de rendimiento y de diagnóstico

EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS Aspectos relacionados

con el desarrollo y aplicación de la prueba: contextualización, autenticidad, interacción, validez y aplicación

Examen en-línea contextualizado y diagnóstico.

Más cercano a la realidad y a situaciones comunicativas genuinas.

Objetivo: evaluar la capacidad de los estudiantes de utilizar los conceptos gramaticales para comunicarse en el mundo universitario.

Tareas, editar un párrafo, ayudar a un compañero de cuarto y crear un póster para la comunidad.

Actividades: selección simple, respuestas cortas, corrección de un párrafo

EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS Aplicación: en-línea Diagnóstico: Cuando los

estudiantes han completado la prueba, un informe de ejecución se genera para informarles sobre su desempeño y les notifica que conceptos gramaticales manejan bien y cuáles no.

Conclusión: los resultados no varían entre el examen contextualizado y el discrete point diagnostic test.

Ambos detectan las debilidades y fortalezas de los estudiantes pero el examen en línea toma 4 veces más tiempo para completar.

USO DE MULTIMEDIA EN LA APLICACIÓN DE EXÁMENES DE CONOCIMIENTO DEL ESPAÑOL.

POR: FRANCISCO ZABALETA La aplicación de examen de conocimiento del español ha sido un problema

(primer nivel o para estudiantes transferidos). El autor ha diseñado un programa piloto en la universidad de San Diego

(SDSU) o IF( item facitity) preguntas fáciles. Este programa es aplicable en cualquier institución que ofrezca multiniveles

de español. El objetivo es facilitar la aplicación y obtención los resultados al momento de

terminar el examen. En el proyecto piloto él vio que seguían siendo un problema las habilidades

orales y escritas, ya que se necesita un laboratorio más sofisticado para evaluarlas.

El IF busca evaluar los miles de estudiantes que ingresan cada año en la universidad de San Diego; minorizando los costos financieros y laborales; usando un laboratorio y un programa de computadoras adecuado para tal fin.

6 PASOS PARA LA CONSTRUCCIÓN DE UN EXAMEN DE CONOCIMIENTO DEL ESPAÑOL.

1ero: Consulta de las investigación teoría y práctica anteriores.

2do: Hacer una lista de los conceptos teóricos por niveles y habilidades lingüísticas.

3ero: Usar preguntas de múltiple escogencia para cada uno de las aspectos a evaluar.

4to: Construcción y uso de un programa que ofrezca un banco de preguntas particulares y generales .

5to: Escoger un programa para el examen, que garantice la facilidad de uso.

6to: Análisis del examen.

APLICACIÓN DEL PROYECTO PILOTO. Comienzo con evaluación

en (SDSU) o IF de 200 preguntas, luego fue reducida a 150 preguntas y finalmente comienza la prueba con 120 preguntas.

Aplicado a171 estudiantes de 10 secciones de español de 102-103 entre 2001-2002 al iniciar los cursos cada semestre.

Divide las preguntas en 4 categorías:

Solo texto= 76 preguntas. Fotografía y texto = 24

preguntas. Audio= 12 preguntas. Audio y video= 8

preguntas.

Resultados: 75 preguntas fueron del banco de

preguntas de la institución y el resto del programa general de preguntas.

Se contestó en 35 minutos. El estudiante recibió el resultado en tiempo

real. Lo más difícil fue contestar las preguntas

con sólo texto. Los mejores resultados se obtuvieron con

la combinación audiovisual, con 76%. 130 estudiantes de 171 prefirieron la

prueba con video o audiovisuales, también manifestaron que la evaluación fue interesante y divertida.

Recomendaciones: El diseño debe ser un trabajo colaborativo. No debe ser un producto terminado. No es recomendable comercializar el

diseño. La evaluación no debe ser por crédito, sino

un instrumento de diagnostico, para el estudiante y para la institución educativa.

CORRECCIÓN AUTOMATIZADA

Podría incrementar la consistencia en la corrección.

Resulta práctica con un número grande de examinados.

Requiere una precisión alta en la especificación de la clave de corrección.

Resulta difícil corregir la variedad de los aprendices (no estandard si se compara con la de los NHs).

CORRECCIÓN AUTOMATIZADA

Requiere una clasificación de la seriedad de los errores para poder dar una calificación.

Requiere tomar en cuenta varios aspectos de la producción (e.g., complejidad de las estructuras utilizadas, extensión, etc.)

¿QUÉ TOMAR EN CUENTA AL DISEÑAR UNA EVALUACIÓN USANDO COMPUTADORAS?

Validez, autenticidad, confiabilidad y practicalidad.

Los examinados y sus características El significado de los puntajes y las

consecuencias que traen los mismos. Propósito, estructura y tareas de la prueba. Lenguaje de las instrucciones, preguntas de

lectura y comprensión oral. Presentación del insumo (video, audio,

imágenes). Horario de desarrollo e implementación de la

prueba (prueba piloto).

¿QUÉ TOMAR EN CUENTA AL DISEÑAR UNA EVALUACIÓN USANDO COMPUTADORAS?

Aspectos técnicos: servidor, conexión, navegador

Seguridad: plagio, trampa, puntajes, quién toma la prueba

Programa o herramienta para desarrollar el programa (e.g., Vista, Hot potatoes)

Conclusión:Douglas, D., & Hegelheimer, V. (2007). Assessing

language using computer technology. Annual Review of Applied Linguistics, 27, 115-132.

EVALUACIÓN DE LENGUAS USANDO LA COMPUTADORA- DOUGLAS & HEGELHEIMER

Papel y lápiz Mismas preguntas pero en la computadora, eran prácticos.

Escoger la herramienta más apropiada (correo electrónico, cara a cara, teléfono)

¿Audio + video? Futuro: software que califique ensayos,

simulaciones autenticas, software que mida el progreso del estudiante a través del examen

PROBLEMAS CON LA VALIDEZ Puede que los resultados de un examen

computarizado no reflejen lo que se mediría en otro tipo de exámenes.

El tipo de preguntas que se pueden desarrollar en CBTs son diferentes a las que se pueden desarrollar con otro tipo de herramientas.

La selección de ítemes incluidos en los exámenes de colocación pueden resultar inapropiados en su contenido causando ansiedad.

La puntuación puede no dar crédito a respuestas que puedan estar bien.

CALT puede poner en riesgo la seguridad del examen.

CALT puede tener consecuencias negativas para los estudiantes, las clases, la enseñanza y la sociedad.

HERRAMIENTAS/SOFTWARES & VENTAJAS/DESVENTAJAS Course management systems CMS -- Moodle,

WebCT, Desire2Learn. Stand-Alone – Hot Potatoes, Flashform Rapid

eLearning Studio, Discovery School’s Quiz Center, Questionmark, LidgetGreen.

Automated Essay Evaluators AWE --Intelligent Essay Assesor, Intellimetric, MyAccess, DIALANG

RECURSOS Y PRÁCTICA: Libro de notas:

Engrade: http://www.engrade.com/ Rúbricas:

Rubistar: http://rubistar.4teachers.org/ Rubric generator: http://www.teach-nology.com/web_tools/rubrics/

Evaluación de proyectos que involucran multimedia o tecnología y otras rúbricas: http://www.uwstout.edu/soe/profdev/rubrics.shtml

Práctica En parejas, usando su shell de VISTA, hacer un quiz

(assessment) de 5 tipos de preguntas diferentes / crear una rúbrica usando Rubistar o el generador de rúbricas.