Post on 30-May-2018
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
1/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Revista ELectrnica de Investigacin yEValuacin Educativa
ENFOQUES Y MODELOS DE EVALUACIN DEL E-LEARNING(Focus and models of evaluation of the e-learning)
por
Article record
About authors
HTML format
Mara Jos Rubio (rubio@trivium.gh.ub.es)
Ficha del artculo
Sobre los autores
Formato HTML
Abstract
The aim of this article is to present the state of arts aboute-learning evaluation. Different evaluative approaches,different models, tools and experiencies are showed, inorder to determine the quality of virtual learning. Twomain approaches are showed: partial evaluation, withemphasis in some aspects of e-learning (materials, tech-nology resources, teaching, etc.) and global evaluation,
that uses management quality models and the practice ofbenchmarking.
Resumen
El objetivo del artculo es presentar el estado de la cues-tin sobre la evaluacin del e-learning. Con este propsi-to se muestran los diferentes enfoques evaluativos, ascomo diferentes modelos, herramientas y experienciasencaminadas a determinar la calidad de la formacin vir-tual, o e-learning. Se destacan dos enfoques principales, laevaluacin de enfoque parcial, que enfatiza aspectos di-versos del e-learning (los materiales, los recursos tecno-
lgicos, la docencia, etc.) y la evaluacin de enfoque glo-bal, que utiliza modelos de la gestin de la calidad y laprctica del benchmarking.
KeywordsEvaluation, quality, virtual education, virtual learning, e-learning
Descriptores
Evaluacin, calidad, formacin virtual, aprendizaje vir-tual. e-learning
Introduccin
E-learning es un producto ms de los genera-dos por la sociedad de la informacin y la eradigital, que cobra una especial importancia en elmarco de los nuevos modelos de ensean-za/aprendizaje y del aprendizaje a lo largo detoda la vida en convergencia con las posibilida-des que las tecnologas de la informacin y lacomunicacin ofrecen a las aplicaciones educati-vas.
Desde el punto de vista conceptual e-learning es un trmino susceptible de diferen-tes definiciones y a menudo intercambiable porotros: formacin on-line, cursos on-line, for-macin virtual, teleformacin, formacin adistancia, campus virtual En sentido literal,del ingls, significa aprendizaje electrnico, elaprendizaje producido a travs de un mediotecnolgico-digital.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 101
Rosenberg (2001) lo define como el uso delas tecnologas basadas en internet para pro-
porcionar un amplio despliegue de soluciones
http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmmailto:(rubio@trivium.gh.ub.esmailto:(rubio@trivium.gh.ub.eshttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmmailto:(rubio@trivium.gh.ub.eshttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm8/9/2019 Enfoques y Modelos de Evaluacion E Learning
2/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
a fin de mejorar la adquisicin de conocimientosy habilidades. El mismo autor establece tres cri-terios que se han de cumplir para poder aplicarcorrectamente el trmino (Rosenberg, 2001: 28-
29):a) que se produzca en red, lo que permite unaactualizacin inmediata, almacenamiento y re-cuperacin, distribucin y capacidad de com-
partir los contenidos y la informacin,
b) que llegue al usuario final a travs de unordenador, utilizando estndares tecnolgicosde Internet,
c) que est centrado en la visin ms ampliade soluciones para el aprendizaje que van msall de los paradigmas tradicionales de laformacin.
Sin embargo estos criterios son fuertementerestrictivos. El aprendizaje electrnico no slose produce a travs de estndares tecnolgicos deInternet, las plataformas ad hoc son un elementocada vez ms importante; y los materiales off lineo descargables de apoyo al resto de la formacinson un componente primordial mientras no mejo-ren las infraestructuras de las comunicaciones enla propia red.
Desde su irrupcin en el mundo educativo yformativo, el e-learningha generado importantesexpectativas no slo de carcter pedaggico, sinotambin de carcter social y econmico, lo queunido al creciente inters por la calidad educativa(Gonzlez, 2000:53) en cualquiera de sus mani-festaciones y mbitos, hace que se imponga lanecesidad de desarrollar modelos de evaluacin
adecuados al objeto y a los distintos contextos enlos que se produce.
1. Tendencias en la evaluacin del e-learning
La inquietud por evaluar el e-learning estdando lugar a importantes iniciativas y experien-cias a nivel mundial encaminadas a establecerestndares que permitan certificar su calidad.
Aunque los mecanismos de parametrizacinde la calidad varan en funcin tanto del con-texto (Tait, 1997), como del propio conceptode calidad (Harvey y Green, 1993), hasta el
momento se puede hablar de dos grandes ten-dencias en relacin a las prcticas para evaluarla calidad de las instituciones y de los proyec-tos que utilizan el e-learning como actividadformativa con entidad propia (Sangr, 2001).El objetivo se centra sobre todo en buscar crite-rios e indicadores especficos que den respues-ta a las preguntas que se plantea la evaluacinde la calidad de la formacin en entornos espe-cficos, con medios especficos y dirigida a
personas con un perfil diferente al del alumna-
do tradicional (en el caso de las universidades).
Enfoque parcial. Centrado principal-mente en alguno de los siguientes aspectos:
La actividad formativa
Los materiales de formacin
Las plataformas tecnolgicas
La relacin coste/beneficio
Enfoque global. Se distinguen dos ten-dencias:
Los sistemas de evaluacin centradosen modelos y/o normas de calidad estn-dar y calidad total
Sistemas basados en la prctica delbenchmarking
1.1. La evaluacin de enfoque parcialEs la evaluacin centrada en alguno de los
elementos considerados de mayor inters de-ntro de una solucin e-learning.
1.1.1. Evaluacin de la actividad forma-tiva
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 102
Es el proceso orientado a evaluar una accinconcreta de formacin, como puede ser un cur-
so on-line, de mayor o menor duracin. Lafinalidad de esta evaluacin se orienta hacia
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
3/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
tres aspectos bsicamente: comprobar el nivel decumplimiento de los objetivos educativos, mejo-rar la propia accin formativa y determinar elretorno de la inversin realizada.
Belanger y Jordan (2000:187) identifican tresmodelos principales en la evaluacin de accionesformativas (adaptados algunos de la formacintradicional). Modelos que ponen el nfasis bienen la evaluacin diagnstica, antes de introducirla accin formativa, bien en la evaluacin final,una vez se ha producido la formacin.
Modelo Sistmico de Vann Slyke et al.
(1998)El modelo provee de un conjunto de variables
que interactan como factores predictores delxito de la accin formativa on-line. Estas seconcentran en las siguientes:
Caractersticas institucionales
Las caractersticas institucionales estn rela-cionadas con la capacidad de la organizacin
para implementar acciones de e-learning, tales
como los objetivos de la institucin, la infraes-tructura de soporte a la accin, la capacidad eco-nmica,
Caractersticas de los destinatarios de la for-
macin
Estas caractersticas estn relacionadas con losintereses, expectativas y habilidades de los estu-diantes (autosuficiencia, gestin personal deltiempo, dominio del ordenador y actitud hacia la
tecnologa, capacidad para la resolucin de pro-blemas, ). Es el nico modelo que presenta lavariable caractersticas del alumnado comofactor de xito o fracaso de la formacin on-line,aunque son varios los autores que enfatizan lasdiferencias individuales de los usuarios comoelemento importante predictor del xito de laformacin virtual (Richardson, 2001; Oliver,1998; Ramussen y Davidson, 1996).
Caractersticas del curso
Las caractersticas del curso tienen que vercon la capacidad del sistema de e-learningen
relacin a las necesidades y metodologas deenseanza-aprendizaje para el curso. Por ejem-plo, si el curso requiere una metodologa basa-da en el trabajo colaborativo el entorno virtualdebe poder facilitarlo.
Caractersticas de la formacin a distancia
Estas caractersticas se refieren al hecho de lanecesidad de crear nuevos modelos de acomo-dacin de los usuarios a los nuevos entornos,de forma que se asegure su tranquilidad, con-fort y facilidad de aprendizaje.
Estas variables deben ser estudiadas para laimplementacin de acciones formativas on-linede forma que se adapten al alumnado, al profe-sorado, a la institucin y a la sociedad. As porejemplo los estudiantes pueden acabar reci-
biendo una alta interaccin con el profesor si lonecesitan, la institucin puede incrementar la
productividad entre los docentes o a nivel so-cial puede mejorarse el acceso a la educacin,la calidad de vida, la fuerza del trabajo, etc.
Modelo de los cinco niveles de evalua-cin de Marshall and Shriver (enMcArdle, 1999)
Este modelo se centra en cinco niveles de ac-cin orientados a asegurar el conocimiento ycompetencias en el estudiante virtual.
Docencia
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 103
Este nivel se centra en la capacidad del do-cente en la formacin on-line para proyectarsea travs del medio tecnolgico (el correo elec-trnico, el chat, el aula virtual, ), haciendouso de habilidades comunicativas adecuadas aese entorno, tales como la claridad en la re-daccin de los mensajes, intervencin frecuen-te en el aula virtual, inmediatez y eficacia enlas respuestas a los mensajes del alumnado,
apropiacin adecuada de los recursos que pro-vee el entorno tecnolgico,
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
4/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Materiales del curso
La evaluacin de los materiales debe ser reali-zada por el alumnado con relacin al nivel de
dificultad, pertinencia, inters o efectividad.Curriculum
Los contenidos o el currculum del curso debenser evaluados con un nivel elevado de anlisis y
por comparacin con otros curricula.
Mdulos de los cursos
La modulacin es una caracterstica de los cur-sos on-line que debe igualmente ser valorada en
relacin a su estructura y orden.Transferencia del aprendizaje
Este ltimo nivel persigue determinar el gradoen el que el curso on-line le permite a los partici-
pantes transferir los conocimientos adquiridos alpuesto de trabajo.
El modelo combina diferentes elementos delacto educativo, pero pone un especial nfasis enel docente, como agente dinamizador de la for-
macin en entornos virtuales. De hecho asistimosa un renovado inters por la calidad docente(Mateo, 2000a), que se est convirtiendo en unfactor estratgico de primera magnitud. En elentorno virtual el docente se ha de situar en unnuevo espacio formativo como gua y acompa-ante del protagonista del aprendizaje, el partici-
pante, siendo la interaccin la base para el desa-rrollo formativo (Duart, 2001a). Aunque los es-tndares sobre los niveles de actuacin del profe-sorado son distintos en la formacin on-line, mu-chos de los parmetros considerados en los mo-delos de evaluacin del docente presencial (Ma-teo, 2000b) pueden ser los mismos.
Modelo de los cuatro niveles de Kirkpa-trick (1994)
El modelo de Kirkpatrick ha sido y es amplia-mente utilizado en la evaluacin de accionesformativas tradicionales, y en la actualidad son
varios los autores que recomiendan su adaptacin
y uso en el e-learning(Rosenberg, 2001, Man-tyla, 2000, Belanger y Jordan, 2000).
El modelo est orientado a evaluar el impacto
de una determinada accin formativa a travsde cuatro niveles: la reaccin de los participan-tes, el aprendizaje conseguido, el nivel detransferencia alcanzado y finalmente el impac-to resultante.
Reaccin
Es sin duda el tipo de evaluacin ms utiliza-da en la mayora de cursos de formacin. Pue-de realizarse a travs de un cuestionario deopinin, o de forma ms cualitativa mediantegrupos de discusin. En el e-learning cobraun inters especial si se tiene en cuenta que esel nico feed-back sobre la reaccin de losusuarios con el que cuentan los gestores delcurso (frente a distintos elementos, como el/ladocente, los materiales, los contenidos, el en-torno, el aprendizaje, la transferencia o la per-cepcin del impacto de la formacin recibida).
Aprendizaje
Esta evaluacin ( en su versin formativa y/osumativa) persigue comprobar el nivel de co-nocimientos y habilidades adquiridos por elalumnado a travs de tests o pruebas de rendi-miento validadas y fiabilizadas (Mantyla,2000: 267). Kirkpatrick (1999) recomienda eluso de una metodologa cuasiexperimental co-mo estrategia para poder establecer de formams objetiva la efectividad del curso. Otrosautores en cambio consideran que ms que
buscar la efectividad del curso esta evaluacin
debe utilizarse como mtodo de retroalimenta-cin para mejorarlo (Rosenberg, 2001). Encualquier caso el reto en la formacin on-linecon relacin a la evaluacin de los aprendizajesest en configurar estrategias y sistemas devalidacin que no requieran de la presenciali-dad.
Transferencia
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 104
La evaluacin de la transferencia consiste en
detectar si las competencias adquiridas con laformacin se aplican en el entorno de trabajo y
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
5/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
si se mantienen a lo largo del tiempo (mejor des-empeo de la tarea, ms rapidez, menos errores,cambio de actitud, etc.). Evaluar la transferencia
permite demostrar la contribucin de la forma-
cin a la mejora de las personas y los beneficiosque aporta a la organizacin para determinar mstarde su impacto y rentabilidad. A pesar de seruna evaluacin crucial en la formacin empresa-rial, slo un 62% de las organizaciones la utili-zan, segn investigaciones realizadas (EPISE,2000, Pineda et al., 1999). Los instrumentos oestrategias ms utilizados son la observacin, lasentrevistas a los supervisores y pares y la auto-evaluacin de los participantes (Pineda, 2002).
ImpactoIgual que sucede con el nivel anterior tambin
esta evaluacin es utilizada sobre todo por lasempresas. Aunque tradicionalmente la evalua-cin del impacto o de los resultados se ha basadoen criterios econmicos (demostrar un mayornmero de ventas, mayor productividad, menoserrores, calidad de servicio, menos reclamacio-nes, ), estos no siempre son posibles de probar,
por lo que Rosenberg (2001: 223) afirma que Es
mejor conformarse con la evidencia que reclamarpruebas. Si al preguntar al gerente de la empresay a todos los supervisores si la introduccin re-ciente de soluciones e-learning genera una mayor
productividad, la gran mayora de ellos contestanque s, ello es una buena evidencia de que existecorrelacin entre las soluciones e-learning y lamedicin de los negocios. El objetivo de la eva-luacin tambin podra ser determinar hasta qu
punto la falta de formacin puede llegar a tenerun impacto perjudicial en la organizacin. De
igual forma hay que advertir que el impacto dela formacin no slo se produce a nivel econ-mico, el conocimiento producido, la capacidadde innovacin que genera o la fidelizacin de las
personas empleadas es tambin importante.
El problema general que presentan todos losmodelos referenciados en este epgrafe es queninguno de ellos esclarece con nitidez los indica-dores de evaluacin, ni los estndares de valora-cin, ni los procesos y formas de obtencin de
evidencias de cada uno de los elementos eva-luados.
1.1.2. Evaluacin de los materiales
La calidad de los materiales formativos cobrauna significacin especial en la formacin no
presencial, al ser el instrumento principal detransmisin bsica de conocimientos del quedispone el alumnado. De ah que su evaluacinse haya convertido en una de las evaluaciones alas que se le han dedicado mayores esfuerzos.
Los materiales utilizados en el e-learning pueden ser textuales, hipertextuales (o hiper-media [1]) o multimedia, y estar diseados parasu uso tanto on-line como off-line
En el mbito de la evaluacin destaca la lneade evaluacin de materiales multimedia, tam-
bin llamada evaluacin de software educativo,con una larga tradicin desde la aparicin delas primeras aplicaciones informticas educati-vas (EAO). Bajo parmetros de la evaluacinde programas, las experiencias relacionadascon la evaluacin de materiales multimedia hanvenido centrndose segn el objetivo de la eva-luacin y el agente evaluador en la evaluacinde necesidades, del input, delproceso, delpro-ducto y/o de los resultados (tabla 1). Pero deforma particular destaca el despliegue desarro-llado para la evaluacin del producto orientadaa certificar la calidad de los materiales y/ofacilitar la toma de decisiones en su seleccin.
Cabero (2001:451-455) identifica tres tiposde evaluacin con respecto a los medios tecno-lgicos en general: la evaluacin del medio ens (caractersticas del medio), la evaluacincomparativa con otro medio y la evaluacindidctico curricular (el comportamiento delmedio en el contexto de enseanza-aprendizaje); y tres agentes evaluadores: los
productores, los expertos (en contenidos, dise-o instructivo, ), y los usuarios.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 105
Existen numerosas iniciativas encaminadas adisear instrumentos de medidas estndar decalidad para la evaluacin de los materialestecnolgicos educativos. Entre ellas destacan
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
6/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
por su magnitud: theInstructional ManagementSystems Project(http://ims.org), que rene a em-
presas americanas multinacionales informticas einstituciones educativas para definir estndares
tencolgicos; o thePromoting Multimedia Acces Education and Training in European Society(http://www.perseus.tufts.edu), un proyectoorientado a definir la calidad formativa de losmateriales multimedia. De forma ms modesta,
pero tambin destacable, encontramos, a modode ejemplo: el Modelo Sistmico de Calidad deSoftware (Mendoza et al., 2001) orientado a de-
terminar la calidad del software en baja, mediay elevada; el proyectoE-CumLaude (Rodr-guez et al., 2001) para certificar la calidad delos materiales multimedia educativos centrado
en criterios de calidad de mnimos y de exce-lencia; el mtodo deEvaluacin de Materiales Educativos Computerizadosbasado en el juiciode expertos (Galvis, 2000); o la escala de Cata-logacin y Evaluacin Multimedia SAMIAL(Navarro, 1999) centrada en distintas categor-as y orientada a establecer la calidad del mate-rial en excelente, alta, correcta y baja.
Funciones de la evaluacin Objetivos de la evaluacin y agentes
evaluadores
Criterios para la evaluacin Instrumentos de obtencin
de informacin
De necesidades Aportar informacin sobre las mejo-ras que puede introducir el nuevomaterialProductores
Estudio de otros materialescon objetivos similares
Anlisis cualitativo
Del input Determinar las capacidades para larealizacin del materialProductores
Software y hardware (dedesarrollo y del usuario)Programacin
Anlisis cualitativo
Del proceso Corregir y perfeccionar el materialdurante su desarrolloProductores, usuarios potenciales
Control de los contenidosControl funcional
Protocolo de evaluacin
Del producto Juzgar la calidad del material en s
una vez acabado y/o tomar decisio-nes para su utilizacinExpertos externos, seleccionadores,
productores
mbito disciplinario
mbito didcticombito tecnolgico
Protocolo de evaluacin,
entrevistas, grupos dediscusin
De los resultados Determinar los usos y el funciona-miento del material en un contextode enseanza-aprendizajeComparar el material con otros encuanto a efectividadUsuarios reales, investigadores,seleccionadores
Opinin de los usuariosUtilidadRelacin coste-beneficios
Cuestionarios, escalas deactitud, pruebas de aptitud
Tabla 1. Perspectivas metodolgicas de la evaluacin de materiales educativos en soporte tecnolgico
Frente a instrumentos estructurados como losque acabamos de presentar aparecen propuestasms flexibles que conducen a la identificacin deuna serie de criterios para que sea el usuario,seleccionador o evaluador el que determine la
ponderacin de los mismos y la reflexin sobrela pertinencia de su presencia o ausencia. En estalnea se encuentra el instrumento promovido porla European Academic Software Award(Baum-gartner y Payr, 1997) desarrollado en torno a
doce criterios: exactitud, relevancia, cobertura,
interaccin, aprendizaje, uso, navegacin, do-cumentacin, interface, uso del ordenador,adaptabilidad e innovacin. Tambin encon-tramos numerosas iniciativas encaminadas a laadaptacin de las normas ISO para el softwarey materiales web [2].
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 106
Una crtica general a la evaluacin de softwa-re es la baja fiabilidad y validez de muchos delos instrumentos diseados para tal fin que cir-
culan entre la comunidad de educadores y for-madores, y la necesidad de consensuar estnda-
http://ims.org/http://www.perseus.tufts.edu/http://www.perseus.tufts.edu/http://ims.org/8/9/2019 Enfoques y Modelos de Evaluacion E Learning
7/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
res de calidad cuya presencia no sea simplementechequeada mediante listas de control, sino a tra-vs de un anlisis ms cualitativo, contextual eintensivo del material y por parte de distintos
agentes evaluadores.
1.1.3. Evaluacin de las plataformas tec-nolgicas
La evaluacin de las plataformas tecnolgicasest orientada a valorar la calidad del entornovirtual o campus virtuala travs del cual se im-
plementa el e-learning. La dimensin y funciona-lidad de un campus virtual puede variar sustan-cialmente segn se trate de dar soporte a un curso
o cursos o a una institucin entera, como es elcaso de las universidades virtuales.
En el mercado existen numerosas plataformasestndar con posibilidades de adaptacin a lasnecesidades de los distintos tipos de formacinon-line, objetivos de la misma y usuarios, perotambin pueden ser creadas ad hoc por la institu-cin que adopta una solucin e-learning.
Adquirido o creado, el campus virtual es unelemento dinmico, que evoluciona paralelamen-te a la propia solucin e-learning. De ah la im-
portancia que adquiere la evaluacin formativa ode proceso orientada a la mejora progresiva delentorno virtual. Esta evaluacin va ganando te-rreno a la evaluacin diagnstica, a travs de lacual se decide la estrategia ms adecuada en fun-cin de los objetivos formativos y las necesida-des. La competencia del mercado de plataformasvirtuales ha obligado a equilibrar los servicios ycapacidades de las ms importantes, de forma
que ya no es tan importante cul se elija sinocomo mejorarla una vez implementada. Aunqueello no elimina la necesaria etapa de anlisis denecesidades, sin la cual a menudo se realizangrandes inversiones en tecnologa sin saber quse necesitar.
A la hora de determinar la calidadpotencialdeun campus virtual, se debe poder establecer, deforma general, que sea:
Estable y fiable
Tolerante a fallos
Estndar en implementacin de conte-nidos y recursos tecnolgicos
gil y flexible
Actual e intuitivo para facilitar la inter-accin con el usuario
La mayora de instrumentos existentes paraevaluar campus virtuales (diseados bien porlas propias distribuidoras de plataformas paraestablecer comparaciones, bien por agenciasindependientes o universidades), estn orienta-dos a determinar las caractersticas de los mis-
mos en funcin de una serie de categoras deanlisis (tabla 2).
Sobre la base de estas categoras existen ini-ciativas que han elaborado modelos o estnda-res de calidad de plataformas virtuales, entrelas que destacamos: el Cybernetic Model for
Evaluating of Virtual Learning Enviroments(Britain y Liber, 1999) orientado a la interrela-cin de los siguientes aspectos: recursos denegociacin, coordinacin, tutorizacin, indi-
vidualizacin, autoorganizacin y adaptacin;o los Quality Standards on the Virtual Campu-
ses desarrollados por la Universidad Virtual dePensilvania, (http://www.vup.org/standards/),
basados en el interface de usuario, los media,elsoftware, los permisos y licencias y la acce-sibilidad.
Un modelo ms cualitativo y flexible es elmodelo ACTIONS de Bates (1999), que estespecialmente orientado a la toma de decisio-
nes antes de introducir un determinado mediotecnolgico, y permite hacer una valoracin delas ventajas e inconvenientes con relacin acinco componentes (cuyos trminos se corres-
ponden con las siglas del modelo): acces, costs,teaching and learning, interactivity and usefacility, organizational issues, novelty and
s peed. Es la nica iniciativa que introduce laestimacin de variables econmicas, siendoaplicable a cualquier tecnologa utilizada por ele-learning.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 107
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
8/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Categoras AnlisisCosteRequerimientos de hardware y software
Caractersticas
Capacidad de desarrollo
Herramientas para el estudiante
Herramientas para el instructor
Herramientas para el administrador
General y de los servicios extrasBajo qu sistemas operativos y navegadores funciona, lenguajes quesoporta, Tcnicas, servicios y soporte que ofrece,
Posibilidad de implementar nuevas funciones, de realizar reports, tests,soporte de VMRL para crear un entorno tridimensional,Interaccin que permite (sncrona/asncrona, grupal/individual), acceso a
recursos (biblioteca, secretara, ), trabajo en grupos, evaluacin,Qu le permiten hacer sin necesidad de programar en html (tests, conte-nidos, diseo instructivo, )Qu le permiten hacer (dar autorizaciones, soporte al usuario, al docente,registro, personalizacin de mensajes, )
Tabla 2. Categoras de anlisis de plataformas tecnolgicas para el e-learning
Pese a estas y otras experiencias, coincidimos
con la European Network on Intelligent Techno-logies for Smart Adaptive Systems(http://www.eunite.org) en que falta todava es-tablecer y consensuar criterios a nivel europeosobre los campus virtuales, relacionados con elestablecimiento de estndares de acreditacin
para su calidad, as como orientaciones en el de-sarrollo de cursos que se implementan a travs deestas plataformas, o el establecimiento de normasrelacionadas con el copyright y los derechos deautor, de forma que la evaluacin de todos ellos
pueda realizarse sobre categoras comparables.
1.1.4. Evaluacin financiera
Una de las evaluaciones que est reclamandouna mayor atencin, especialmente por parte delas empresas, es la relacionada con factores demedicin econmicos. La implantacin de unasolucin e-learning requiere una inversin inicialimportante, que es injustificable, desde el puntode vista financiero, si finalmente no puede evi-denciarse un retorno de dicha inversin. Es loque en economa se denomina ROI (Return On
Investment). Se trata de una frmula muy simple(ROI= beneficios/costes) para valorar el retornoesperado de una inversin. Aunque detrs de lasimplicidad de conceptos se esconden muchosmatices, especialmente cuando se aplican alcampo de la formacin, y an ms del e-learning.
La formacin en las organizaciones producebeneficios y genera costes. El problema radica en
cmo medir o determinar los beneficios conse-guidos, ms all del valor positivo que por smisma representa para las personas y la propiaorganizacin. El reto no es fcil, ya que los
beneficios ms productivos de la formacinson los ms intangibles y difciles de cuantifi-car (satisfaccin, iniciativa y liderazgo, y lashabilidades propias de las personas que confi-guran la organizacin), mientras que los msoperativos, si bien producen resultados a corto
plazo, se deben al resultado de conocimientosmecnicos (aumento de la productividad, aho-
rro de tiempo, ) Horton (2001).Pese a las dificultades evidentes que presenta
la evaluacin financiera de la formacin y dele-learning, existen experiencias y propuestas
para su planificacin y ejecucin, entre las quedestacamos un modelo tomado de Duart(2001b), insertado en el proceso de planifica-cin de la accin formativa. El modelo presen-ta una serie ordenada de acciones con una listade indicadores de estimacin para cada una deellas.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 108
La importancia del ROI como instrumento deevaluacin reside en no atribuirle a la forma-cin exclusivamente los beneficios derivadosde la mejora de habilidades y conocimientos,sino en poder estimar como esta mejora reper-cute en los resultados econmicos de la organi-zacin, convirtindose as en un instrumento
para controlar la eficacia y eficiencia en la apli-cacin de las inversiones.
http://www.eunite.org/http://www.eunite.org/8/9/2019 Enfoques y Modelos de Evaluacion E Learning
9/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Acciones Instrumentos de evaluacin
Definir los objeti-vos de la accin
formativa
Redactar objetivos acordes con la estrategiade la institucin y con la operativa de la
unidad de negocio en la que se va a imple-mentar
Frases concretas y concisas que expresen quresultados esperamos conseguir
Definir los objeti-vos de aprendizajede los participan-tes
Redactar objetivos de aprendizaje de acuer-do con los participantes
Compromiso de cada uno de los participantescon sus objetivos al inicio de la accin formati-vaTabla de relacin entre los objetivos de aprendi-zaje y los resultados esperados
Determinar lamodalidad forma-tiva (presencial, e-learning, dual, etc.)
Analizar qu modalidad formativa puedealcanzar mejor los objetivos esperados deforma ms eficiente
Tabla comparativa de ventajas e inconvenientesde las modalidades de formacin valoradasValoracin de las resistencias o motivacionesexistentes en cada modalidadValoracin de los costes de introduccin de una
nueva modalidad formativa en funcin de losresultados esperados
Determinar losbeneficios de laaccin formativa
Exponer los beneficios esperados, tantocuantificables como no, para la organizaciny para los participantes de la modalidad deformacin elegidaEstablecer los resultados esperadosExponer los resultados en datos cuantifica-
bles, sealando tambin logros y beneficioscualitativos esperadosEstablecer los niveles de satisfaccin espe-rados (clientes / proveedores; internos o
externos)
Lista de beneficios concretos esperados expre-sados en porcentajes de mejoraLista de beneficios internos a la unidad denegocio, propios de los participantes y de losclientes y proveedores de la unidadLista de logros expresados en perodos cortosde tiempoPlan de comunicacin, interno y/o externo a la
propia unidad de negocio, que incluya los obje-tivos y los logros esperados
Determinar loscostes de la accinformativa
Exponer los costes de la modalidad elegida,tanto para la institucin como para la unidadde negocio o los participantes
Lista de costes de la accin formativa
Diseo
Calcular el ROI dela accin formativa
Analizar los beneficios, las inversiones y loscostes en funcin de los objetivos y resulta-dos esperados
Clculo del ROIPublicacin del clculo del ROI
Im
plementacin
Desarrollo de laaccin formativa
Desarrollar la accin formativa de acuerdocon la planificacin prevista
Recogida de informacin durante el procesoInformacin sobre el proceso a los participantesy a los beneficiarios de la accin formativaCorreccin de errores de desviacin sobre la
planificacin
Evaluacin de laaccin formativa
Evaluar la accin a partir de los diferentesinstrumentos realizados
Anlisis y difusin de los resultados de la eva-luacin
Evaluacin
Evaluacin deldiseo realizado eimplementado
Valorar mejoras a realizar en el diseo defuturas acciones formativas a partir de lasomisiones, debilidades o fortalezas deldiseo actual
Lista de elementos a incorporar, mantener oevitar en futuros diseos de acciones formativas
Tabla 3. Modelo de evaluacin del ROI para soluciones e-learning (Duart, 2001b)
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 109
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
10/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
1.2. La evaluacin de enfoque global
Es la evaluacin que tiene presente el conjuntototal de elementos que intervienen en una solu-
cin e-learninga la hora de establecer lneas ycriterios para gestionar o evaluar su calidad.
1.2.1. Evaluacin y gestin de la calidad
Sustentada por planteamientos del enfoque sis-tmico (Prez Juste et al., 2000) y del paradigmaactual de la complejidad (Lpez Ruprez, 1997)y basada en el concepto de mejora continua(Deming, 1981), la gestin de la calidadse dis-tingue por su enfoque global e integral, siendo
una estrategia organizativa y una metodologa degestin que hace participar a todos los miembrosde una organizacin con el objeto fundamentalde mejorar continuamente su eficacia, eficienciay funcionalidad.
La implantacin de un sistema de calidad enuna organizacin viene fundamentada por lossiguientes principios (Gonzlez, 2000: 66-68):
Proceso orientado a la satisfaccin de las
necesidades y expectativas de los destinatarios Mejora permanente de todo lo que la or-ganizacin pretende alcanzar sobre la base deunos objetivos claros y explcitos
La garanta de la calidad de los procesosinternos como medida para alcanzar la calidaddel producto
La prevencin en lugar de la supervisin ydeteccin de errores
Adems de la importancia de:
El liderazgo
El trabajo en equipo, la calidad es tarea detodos
La resolucin sistmica de los problemas
Basar la toma de decisiones en datos obje-tivos
La agilidad en la transmisin de infor-macin
La formacin de las personas implica-
dasSobre la base de estos principios se han gene-
rado diferentes herramientas, como las normasISO y los modelos de evaluacin propios de laTQM (Total Quality Management).
Una de las herramientas ms extendidas es laaplicacin de las normas ISO, ese conjunto denormas (de carcter no prescriptivo), que sim-
plemente exigen que una organizacin: a) defi-na y planifique sus procesos, b) los documentede manera correcta, c) compruebe su actitud, yd) garantice el control y revisin de los mis-mos.
Los principios sobre los que se articula esteconjunto de normas son los siguientes:
La organizacin posee objetivos de ca-lidad claros
Existen acuerdos claros entre todos los
participantes La organizacin posee los recursos ne-cesarios para conseguir el nivel requerido decalidad
Todos los procesos y sistemas estnsometidos a controles, con evaluaciones ymodificaciones cuando sea conveniente
Todo lo necesario para garantizar la ca-lidad se halla documentado
Los registros de la calidad permiten unaverificacin y una comprobacin de la ga-ranta de la calidad
La interpretacin de estos trminos aplicada acontextos de e-learning queda recogida en latabla 4, a modo de propuesta, y recogiendo lasrecomendaciones de Van De Berghe, W.(1997).
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 110
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
11/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Trmino de las ISO Interpretacin para una organizacin (educativa o formativa) que adopta una solucin e-learning
Proveedor La institucin u organizacin que imparte la enseanza o formacin
Clientes Alumnado o participantes
Producto Curso, programa, currculumCuadros ejecutivos Direccin general/Direccin de centro/Rectorado/Comit de direccin
Contrato Todos los tipos de acuerdos con los clientes: matriculacin, acceso al sistema de comunicacin,distribucin de materiales, tutorizacin, acreditacin, .
Diseo Definicin de las especificidades de la plataforma tecnolgica y sus capacidades instructivas yadministrativas y los sistemas de seguridad
Compras Adquisicin de recursos materiales y humanos y servicios necesarios: contratacin de profeso-rado, licencias de software, compra de hardware,
Procesos Proceso de imparticin de la enseanza o formacin: metodologa (trabajo en grupo, indivi-dual), uso de los espacios de comunicacin, materiales (on-line, off-line, multimedia, textuales),evaluacin (presencial o a distancia),
Inspeccin y pruebas Evaluacin de la accin formativa, del profesorado, de los materiales, de la tecnologa, .porparte del alumnado o participantes
Calibracin Validacin de los sistemas de evaluacin utilizados
Tabla 4. Equivalencia de conceptos de las normas ISO al mbito del e-learning
Los modelos de la TQM, como EFQM (Euro-pean Foundation Quality Management) o el msrecientemente implantado CMI [3] (Cuadro deMando Integral) poseen unas fases de implemen-tacin y una serie de reas clave o criterios bsi-
cos de calidad en torno a los cuales se articula elmodelo.
Se trata en todos los casos de herramientas deevaluacin de uso frecuente en las organizacio-nes y en la actualidad se estn adaptando a loscontextos de formacin virtual. Pero como hanadvertido algunos autores (Mateo, 2000b, Barbe-r, 2001) se trata de modelos ms prximos a lagestin (management) que a los procesos educa-tivos. Estos modelos enfatizan fundamentalmente
los aspectos de gestin organizativa, satisfaccindel cliente, o relacin coste-beneficio, aspectossin duda importantes, pero insuficientes en unaactividad cuyo ncleo es la enseanza-aprendizaje.
Barber (2001) propone como dimensiones quedeben ser evaluadas en la formacin virtual: elescenario en el que se produce la accin educati-va (bases psicopedaggicas, estructura generaldel sistema, etc.); las propuestas de los partici-
pantes involucrados en el proceso de instruccin(motivaciones, objetivos y demandas cognitivas);
los agentes instruccionales (roles de estudian-tes, de dicentes, y de la misma institucin); laintervencin y la interaccin educativa (organi-zacin de la actividad educativa, patrones deinteraccin y discurso virtual); y la construc-
cin misma del conocimiento (caractersticasdel conocimiento, dinmicas y tipos de cons-truccin).
Muchas de estas dimensiones son recogidas atravs de la prctica del benchmarking, queest cobrando una gran importancia en la eva-luacin del e-learning.
1.2.2. Prcticas de evaluacin del e-learning basadas en el benchmarking
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 111
El benchmarkinges el proceso que permite aun centro u organizacin compararse con otroque obtiene resultados excelentes de calidad,con el fin de emularlo. En el mbito del e-learnig este sistema pretende ofertar herra-mientas e indicaciones para mejorar las accio-nes a partir de la observacin, comparacin ycooperacin basada en las buenas prcticas. Enesta lnea se encuentran las Guidelines for
Electronically Offered Degree and CertificatePrograms del Council of Regional AcreditedComissions de los Estados Unidos o el proyec-
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
12/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
to Benvic Benchamarking of Virtual Campusesde la Unin Europea.
1.2.2.1. Sistema benchmarking BENVIC
En el mbito de la Unin Europea el Bench-marking of Virtual Campuses Project(EuropeanCommission, 2002) est siendo desarrollado porocho instituciones universitarias de los pasesmiembros en el marco del programa MINERVAdesde el 2001. Dicho proyecto, conocido con elnombre de BENVIC, est orientado al desarrolloy aplicacin de criterios de evaluacin para pro-mover estndares de calidad en los campus vir-tuales y en la formacin on-line en general.
Los objetivos del proyecto son:
Desarrollar, validar y establecer un siste-ma de evaluacin de las experiencias concampus virtuales o soluciones e-learningen elcontexto europeo.
Promover una red colaborativa para im-plementar la evaluacin a travs de la compa-racin y el benchmarking.
Promover el conocimiento compartido. Desarrollar un mapa de competencias re-lacionado con el diseo y la implementacinde campus virtuales a fin de ayudar a las insti-tuciones a mejorar sus prcticas y alcanzar lacalidad para sus soluciones e-learning.
Fases del proyecto:
Definir indicadores de calidad de e-
learning y el mapa de competencias
Las caractersticas de los indicadores toma-dos son: a) estn orientados al cambio, b) soncontextuales, c) combinan benchmarking ex-ternos e internos, subjetivos y objetivos, cuali-tativos y cuantitativos.
Como grandes reas de indicadores el pro-yecto define las siguientes:
Servicio al estudiante
Recursos de aprendizaje
Apoyo al profesorado
Evaluacin
Accesibilidad
Eficiencia (relacionada con el aspectofinanciero)
Recursos tecnolgicos
Ejecucin institucional
Los distintos indicadores de estas reas es-tn agrupados en tres tipos de medidas: detipo estructural,prctico y ejecutivo.
El mapa de competencias es una herra-mienta que le permite al socio BENVIC ve-rificar el nivel de habilidades en su institu-cin con relacin al manejo del campus vir-tual que posee el profesorado, el alumnado,los tcnicos y la organizacin. Por tanto
puede estimar la diferencia entre las habili-dades requeridas y las habilidades disponi-
bles. Al mismo tiempo le facilita una audito-ra pedaggica, cuyos resultados pueden ser:un ayuda, un plan de formacin, compartirconocimiento, certificar competencias, etc.
Se han considerado cuatro tipos de compe-tencias interrelacionadas:
Competencias propias de la institu-cin
Competencias comunes para diferen-tes sectores
Competencias sectoriales, las adapta-das de un campus tradicional al campusvirtual
Competencias virtuales, las relativasexclusivamente al campus virtual
Invitar a varias instituciones por prime-
ra vez a ser auto-evaluadas
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 112
Las primeras instituciones que participanpasan a integrar los primeros datos de la ba-
se de datos. Han sido cinco casos de estudio.
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
13/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Determinar socios benchmarking (que
demuestren tener buenas prcticas)
A partir de las primeras experiencias se pue-
den ya establecer ejemplos de buenas prcti-cas, que servirn de comparacin a otros so-cios.
Crear club BENVIC con una base de
datos de diferentes instituciones
La base de datos se va agrandando con la
entrada de nuevas instituciones para la auto-evaluacin.
Indicador: Servicio al estudianteN Medidas Estructurales Puntuacin
(0-1-2)Cmo se ha implementado en su campus
1 Disponibilidad de sistemas y servicios para el soportede la comunicacin pedaggica entre el alumnado y el
profesorado (inter-intra)
n
Medidas de prctica Puntuacin
(0-1-2)
Cmo se ha implementado en su campus
n La organizacin invierte en recursos para proveer uninterface efectivo y amigable al alumnado
Medidas de ejecucin Nivel al-canzado
Comentarios
n % de exmenes realizados on-line
Cree que debe mejorar alguna medida?
Cree que falta alguna medida importante en la lista?
Describa las medidas a mejorar y la forma de llevarlas a cabo
Tabla 5. Ejemplo de indicadores pertenecientes a una gran categora en el sistema BENVICBenchmarking
Fases del proceso BENVICBenchmarking:
1. En la fase primera, un representante delcampus virtual utiliza los indicadores de la
plantilla para realizar el diagnstico inicial conrelacin a indicadores de la estructura (recur-sos disponibles en el campus virtual para con-seguir los objetivos, que incluye las compe-tencias humanas, la plataforma, administra-
cin y gestin); de la prctica (cmo el cam-pus virtual utiliza los recursos en relacin a laestrategia de organizacin en acceso y diseo
pedaggico); y de la ejecucin (el impacto delos resultados: aprendizajes, coste-beneficio,efectividad tecnolgica).
2. En lasegunda fase la institucin aplica losresultados del diagnstico inicial a la prctica
de la organizacin. A partir de aqu se iden-tifican reas clave que necesitan ser mejora-das. El equipo examina la base de datosBENVIC e identifica socios benchmarkingdel club BENVIC, los cuales son ejemplosde buenas prcticas en las reas identificadascomo deficientes. Se pueden consultar las
puntuaciones medias de los socios en esasreas y la forma en que los socios bechmar-kinglas han solucionado.
3. En la tercera fase el campus virtual esllevado a un proceso de mejora y de bench-marking. El conocimiento y el aprendizajegenerado pasa a formar parte del sistemaBENVIC benchmarking.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 113
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
14/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Figura 1. Proceso de aplicacin de los indicadores BENVICBenchmarking
Cuando el campus ha sido mejorado sus res-
ponsables o socios pueden volver a entrar losdatos y pueden llegar a convertirse en un nuevobenchmarking, que servir de ejemplo de buenas
prcticas y comparacin para nuevos socios.
El sistema club BENVIC puede funcionar en lamedida que sea bien gestionado y en la medidaque las diferentes instituciones estn dispuestas acompartir sus propias experiencias y a involu-crarse en planes de mejora continua. Siendo unade las primeras aportaciones sistemticas a la
elaboracin de estndares de calidad en la forma-cin on-line.
1.2.2.2. Buenas prcticas en el marco de laAcreditacin y de las universidadesnorteamericanas
En el contexto norteamericano, las Comisiones Regionales para la Acreditacin han elaboradouna gua de buenas prcticas en la educacinsuperior ofrecida electrnicamente: Best Practi-ces for Electronically Offered Degree and Certi-
ficate Programas (Middle States Commission onHigher Education, 2001). El desarrollo de la guaha contado con la colaboracin inicial de organi-zaciones expertas en el campo, y est abierta a
posibles cambios a medida que la propia educa-cin superior on-line evolucione. Estas guasestn siendo utilizadas para la acreditacin deinstituciones universitarias que ofertan formacinon-line.
Las consideradas buenas prcticas han sido
divididas en cinco componentes, cada uno delos cuales se dirige a un rea particular de laactividad institucional relevante para la ofertaelectrnica. Estas reas son:
Contexto institucional
Currculum y formacin
Soporte a la facultad
Soporte al alumnado
Evaluacin
Cada componente comienza con una descrip-cin general seguida de pargrafos numeradosdirigidos a problemas especficos, describiendolos elementos esenciales para la calidad. Acontinuacin figuran protocolos con cuestionesorientadas a determinar la existencia de esoselementos en las revisiones externas o internasde las actividades de la educacin on-line.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 114
Sobre el sistema de las buenas prcticas va-rias universidades norteamericanas han elabo-rado guas o estndares de calidad de la forma-cin on-line. Entre ellas destaca la MichiganVirtual University(http://standards.mivu.org/standards/) y susQuality Standards on the on-line Courses(2002), agrupados en cuatro grandes reas:tecnologa, usabilidad, accesibilidad y diseode la instruccin. O the Indiana University
Center for Research on Learning and Technol-
http://standards.mivu.org/standards/http://standards.mivu.org/standards/8/9/2019 Enfoques y Modelos de Evaluacion E Learning
15/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
ogy y sus Seven Principles [4] of Effective Teach-ing. A Practical for Evaluating Online Courses:
buenas prcticas que promuevan la relacin delalumnado con la facultad, buenas prcticas que
impulsen la cooperacin entre estudiantes, bue-nas prcticas que favorezcan el aprendizaje acti-vo, elfeed-backinmediato, buenas prcticas queenfaticen el time on task, buenas prcticas quegeneren altas expectativas y buenas prcticasrespecto a diversas formas de aprendizaje. Unarelacin completa de todas las universidades quehan elaborado guas de buenas prcticas y estn-dares de calidad del e-learningpodemos encon-trarla en la pgina de Minessota State Collegesand Universities
(www.oit.mnscu.edu/mitss/peerreview1.htm).
1.2.3. Estudios empricos sobre el bench-markin
Entre los estudios empricos sobre la prcticadel benchmarkingdestaca el Quality On the Linedesarrollado por elInstitut for Higher Education
Policy en el 2000, orientado a determinar losbenchmarks determinantes de la calidad en la
formacin on-line[5]
, y cuyos resultados revelan,de forma similar a las experiencias expuestas, 24buenas prcticas importantes:
1. Existencia e implantacin de un plan tecno-lgico, documentado, que incluya medidaselectrnicas de seguridad.
2. Mxima fiabilidad del sistema tecnolgico.
3. Existencia de un sistema centralizado desoporte, para crear y mantener la infraestructu-ra educativa.
4. Utilizacin de directrices en el diseo y de-sarrollo de los cursos.
5. Actualizacin y revisin peridica de losmateriales.
6. Disear el proceso de enseanza/aprendizajede forma que obligue al alumnado a implicar-se.
7. Papel esencial de la interaccin del alum-nado consigo mismo y con el profesorado, yfacilitarla a travs de diversos medios (e-mail, chat, voz, etc.).
8. Ofrecer respuestas constructivas a las con-sultas y aportaciones del alumnado, y hacer-lo en un plazo breve.
9. Ensear al alumnado los mtodos adecua-dos de bsqueda.
10. Antes de comenzar el curso, dar al alum-nado informacin suficiente para determinarsi tienen la motivacin necesaria y los recur-sos adecuados.
11. Dar a los estudiantes informacin com-plementaria sobre el curso, incluyendo obje-tivos, conceptos e ideas, y especificar clara-mente qu resultados se esperen del progra-ma.
12. Dar acceso a una biblioteca suficiente, queincluya recursos accesibles a travs de lared.
13. Acordar expectativas referentes a plazosde entrega y correccin de actividades.
14. Dar al alumnado informacin suficientesobre los programas, incluyendo requeri-mientos de admisin, precios, libros, acceso-rios, requerimientos tcnicos y servicios desoporte.
15. Dar al alumnado informacin y formacinprcticas sobre cmo obtener recursos a tra-vs de bases de datos, redes de bibliotecas,servicios pblicos, servicios de noticias yotras fuentes.
16. Ofrecer al alumnado acceso fcil al sopor-te tcnico durante todo el curso, instruccio-nes detalladas sobre el funcionamiento delos medios tecnolgicos utilizados y sesio-nes prcticas antes del inicio del curso.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 115
17. Ofrecer una respuesta rpida y precisa alas consultas dirigidas al servicio de soporte
http://www.oit.mnscu.edu/mitss/peerreview1.htmhttp://www.oit.mnscu.edu/mitss/peerreview1.htm8/9/2019 Enfoques y Modelos de Evaluacion E Learning
16/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
al alumnado y disponer de un sistema estruc-turado de atencin de reclamaciones.
18. Dar asistencia tcnica al profesorado y ani-
marlo a utilizarla.19. Facilitar la transicin del profesorado desde
estrategias presenciales a estrategias on-line.
20. Mantener el soporte al profesorado durantetodo el curso.
21. Facilitar al profesorado informacin referen-te a como resolver problemas derivados deluso que el alumnado pueda hacer de los datosque reciba.
22. Elaborar un proceso de evaluacin de laefectividad pedaggica del programa, aplican-do exigencias especficas.
23. Evaluar la efectividad del programa condatos sobre inscripciones, costes y aplicacio-nes innovadoras y adecuadas a la tecnologa.
24. Revisar peridicamente los resultados deaprendizaje previstos, para garantizar que seanclaros, tiles y adecuados.
Otros aspectos resultaron no ser relevantes,como por ejemplo la promocin del trabajo enequipo, la divisin de cursos en mdulos o laconsideracin de los diferentes estilos de apren-dizaje.
En definitiva, la formacin on-line de calidadsegn este estudio ha de hacer nfasis por igualen un conjunto de factores: un funcionamientotcnico impecable; un modelo docente a la medi-
da del cliente; buenos materiales, buena ofertacurricular; sistemas independientes de soporte
para resolver problemas de tipo tcnico (relacio-nados con el sistema informtico), cientfico (re-lacionados con la materia del curso) y pedaggi-co (relacionados con el modelo de enseanzaaprendizaje); alumnado y profesorado formado einformado; y una buena organizacin interna.
Otro estudio realizado en la Swinburne Univer- sity of Technology (Cashion y Palmieri, 2002)
Quality in On-line Learning, identific 6 grandes
dimensiones relacionados con buenas prcticas(tecnologa, soporte, adecuacin a los objeti-vos, materiales, comunicacin y evaluacin),muchas de ellas coincidentes con las anteriores.
Sin embargo encontramos a faltar, de formageneralizada, la evaluacin de la generacin deconocimiento e investigacin en el contextouniversitario. La universidad virtual debe serevaluada tambin con relacin a las estructurasque promuevan la investigacin, los camposcientficos y de especializacin en los que in-vestiga, la difusin de los resultados o el mis-mo personal investigador (Sigals, 2001, citado
por Sangr, 2001: 9)
En sntesis, la evaluacin a travs del bech-markingest formada por un proceso de auto-evaluacin y comparacin de unas institucionescon relacin a lo que est considerado como
buenas prcticas, bien sean casos reales o defi-niciones tericas establecidas por expertos.
A modo de sntesis
Diferentes perspectivas y soluciones intentan
dar respuesta al tema de la evaluacin de lacalidad del e-learning, unas de base ms eco-nomicista, otras del mbito del management,otras ms tecnolgicas y algunas pedaggicas.Sin embargo, hasta el momento ninguna por ssola logra cubrir todas las necesidades de unmbito basto y complejo, que abarca numero-sas variables y factores, y que justo acaba decomenzar. Desde diferentes organismos, insti-tuciones y personas implicadas, se reclama lanecesidad de crear estndares de calidad, certi-
ficar la calidad o evaluar la calidad de la for-macin on-line en sus diferentes contextos yniveles. A lo que cabe aadir la necesidad desatisfacer las demandas de formacin de lanueva sociedad o generar una cultura de la ca-lidad y de la mejora continua. Desde el puntode vista metodolgico cabe sealar tambin laimportancia de explorar modelos de evaluacinde orientacin ms cualitativa.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 116
8/9/2019 Enfoques y Modelos de Evaluacion E Learning
17/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Referencias bibliogrficas
Belanger, F. y Jordan, D.H. (2000) Evaluationand Implementation of Distance Learning:technologies, tools and techniques. London.Idea Group Publishing.
Barber, E. (2001) (Coord.) La incgnita de laeducacin a distancia. Barcelona. Horsori.
Bates, A.W. (1999) Research and Evaluation. EnA.W. Bates, Managing Technological Change,
pp. 198-210. California. Jossey-Bass.Baumgartner, P. y Payr, S. (1997) Methods andpractice of software evaluation. The case of theEuropean Academic Software Award. Pro-ceedig of ED-MEDIA 97 & ED-TELECOM 97,
AACE.Britain, S. y Liber, O. (1999) A framework for Pedagogical Evaluation of Virtual LearningEnviroments. University of Wales. Consultadael 5 de mayo de 2003 enhttp://www.leeds.ac.uk/educol/documents/00001237.htm
Cabero, J. (2001). La evaluacin e investigacinsobre los medios de enseanza. En J. Cabero,Tecnologa Educativa. Diseo y utilizacin demedios de enseanza, pp. 447-490. Barcelona.
Paids.Cashion, J. y Palmieri, P. (2002). Evaluation ofQuality in On-line Learning. TAFE School ofSocial Sciences. Swinburne University of Tech-nology. Consultada el 12 de abril de 2003 enhttp://www.tafe.swin.edu.au/ncver/
Deming, W.E. (1981). Management and statisti-cal techniques for quality and productivity. NewYork. New York University.
Duart, J.M. (2001a). Avaluaci de la qualitatdocent en entorns virtuals daprenentatge. Con-
sultada el 5 de mayo de 2003 enhttp://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.html
Duart, J.M. (2001b).ROI i e-learning: ms enllde beneficis i costos. Consultada el 15-mayo-2003 enhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.html
EPISE (2000).Evaluacin de la formacin en lasempresas espaolas. Barcelona. EPISE.
European Commission DG Education and Cul-ture (2002).Benchmarking of Virtual Campuses
Project. Barcelona. Universitat Oberta de Cata-lunya.Galvis, A. (2000). Evaluacin de materialeseducativos computerizados por juicio de ex-
pertos. En A. Galvis,Ingeniera de softwareeducativo. Colombia. Universidad de los An-des.
Gonzlez, T. (2000). Evaluacin y gestin dela calidad educativa. En T. Gonzlez (Coord.)
Evaluacin y gestin de la calidad educativa.Un enfoque metodolgico,pp. 49-80. Mlaga.Aljibe.
Harvey, L. y Green, D. (1993). Defining qual-
ity. Assessment and Evaluation in HigherEducation, 18 (1), pp. 9-34.Horton, W. (2001). Evaluating e-learning.California. ASTD (American Society forTraining and Development).
Institute for Higher Education Policy (2000).Quality on the line. Benchmarks for Succes in
Internet-Based Distance Education. Washing-ton. National Education Association.
ISO/IEC 9126 (1991).Information technology.Software product evaluation. Montreal.
Kaplan, R.S. y Norton, D.S. (1997). El cuadrode mando integral. Barcelona. Gestin 2000.Kirkpatrick, D.L. (1999).Evaluacin de accio-nes formativas: los cuatro niveles. Barcelona.EPISE-Gestin 2000. 1 edicin 1994.
Len, J.A. (1998). La adquisicin de conoci-miento a travs del material escrito: texto tra-dicional y sistemas de hipertexto. En C. Viz-carro y J.A. Len (Ed.), Nuevas tecnologas
para el aprendizaje. Madrid. Pirmide.Lpez Ruprez, F. (1997). Complejidad y edu-
cacin. Revista Espaola de Pedagoga, 206, pp. 103-112. Mantyla, K. (2000) EvaluatingProgram Succes. En K. Mantyla, Distance
Learning Yearbook, pp. 259-287. New York.McGraw-Hill.
Mateo, J. (2000a). La evaluacin del profeso-rado y la gestin de la calidad de la educacin.Hacia un modelo comprensivo de evaluacinsistemtica de la docencia.Revista de Investi-
gacin Educativa, 18 (1), pp. 7-34.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 117
Mateo, J. (2000b).La evaluacin educativa, suprctica y sus metforas. Barcelona:. Horsori.
http://www.tafe.swin.edu.au/ncver/http://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.htmlhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.htmlhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.htmlhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.htmlhttp://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.htmlhttp://www.tafe.swin.edu.au/ncver/8/9/2019 Enfoques y Modelos de Evaluacion E Learning
18/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
McArdle, G.E. (1999). Training Design and De-livery. Alexandria, VA. American Society forTraining and Development.
Mendoza, L., Prez, M. y Rojas, T. (2001). Mo-
delo sistmico para estimar la calidad de los sis-temas de software (MOSCA). Acta CientficaVenezolana. Universidad Simn Bolvar. Con-sultada el 15 de mayo de 2003 enhttp://lisi.usb.ve/publicaciones
Middle States Commission on Higher Education(2001). Interregional Guidelines for Electroni-cally Offered Degree and Certificate Programs.Middle States Commission on Higher Educa-tion.
Navarro, E. (1999). Evaluacin de materiales
multimedia. Comunicacin y Pedagoga, 157,pp. 36-39.Oliver, M. (1998) (Ed.) Innovation in the Evaluation of Learning Technology. London.University of North London.
Prez Juste, R., Lpez Ruprez, F., Peralta, M.D.y Municio, P. (2000) Hacia una educacin decalidad. Gestin, instrumentos y evaluacin.Madrid. Narcea.
Pineda, P. (2002) Formaci, transferncia i ava-luaci: un triangle complex.Revista Econmicade Catalunya, 44, pp. 79-89.
Pineda, P. et al. (1999) Cmo se evala la for-macin en las organizaciones?. Capital Hu-mano, octubre y noviembre, pp. 126-127.
Promoting Multimedia Acces Education andTraining in European Society (1999). Memo-randum of Understanding. Consultada el 10 de
junio de 2003 enhttp://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/
Ramussen, K. y Davidson, G.V. (1996). Dimen-sions of learning styles and their influence on performance in hypermedia lessons. CD-ROM Proceedings from the anual ED-MEDIA/ED-TELECOM conference. Article n 385.
Richardson, J. (2001). An evaluation of VirtualLearning Enviroments and their learners: do in-dividual differences effect perception of virtuallearning enviroments. Interactive EducationalMultimedia, 3, october. Consultada el 25-abril-2003 en http://www.ub.es/multimedia/iem/
Rodrguez, J.L., Rubio, M.J. y Escofet, A.(2001). Certificacin de la calidad de materia-
les multimedia educativos. E-CumLaude.Universidad de Barcelona. Documento indi-to.
Rosenberg, M. (2001).E-learning:Estrategias
para transmitir conocimiento en la era digital.Bogot. McGraw-Hill Intramericana.Sangr, A. (2001).La qualitat en les experin-cies virtuals deducaci superior. Consultadael 5 de mayo de 2003 enhttp://www.uoc.edu/web/cat/art/uoc/0106024/sangra.html
Sigals, C. (2002).El potencial interactiu delsentorns virtuals densenyament i aprenentatgeen leducaci a distncia. Consultada el 5 demayo de 2003 en
http://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.html
Silvio, J. (2000). La virtualizacin de la uni-versidad. Cmo podemos transformar laeducacin superior con al tecnologa?. Cara-cas. IESALC/UNESCO.
Tait, A. (Ed.)(1997). Quality Assurance in Higher Education: Selected Case Studies.Vancouver. The Commonwealth of Learning.
Van De Berghe, W. (1997). Aplicacin de lasNormas ISO 9000 a la enseanza y la forma-cin. Interpretacin desde una perspectivaeuropea. Luxemburgo. CEDEFOP.
Van Slyke, C. Kittner, M. y Belanger, F.(1998). Identifying Candidates for Distanceeducation: A telecommuting perspective.Pro-ceedings of the Americas Conference on In-
formation Systems , pp. 666-668. Baltimore.
Referencias de portalesEuropean Network on Intelligent Technologiesfor Smart Adaptive Systems (EUNITE) (2003)
Instructional Management Systems Project(IMS) (2000)
MOU-Perseus project (2000)
Quality Standards on the on-line Courses of
Michigan Virtual University (2002)
Quality Standards on the Virtual Campusesofthe Virtual University Penn (2001)
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 118
http://lisi.usb.ve/publicacioneshttp://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/http://www.ub.es/multimedia/iem/http://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.htmlhttp://www.eunite.org/http://ims.org/http://www.perseus.tufts.edu/http://standards.mivu.org/standards/http://standards.mivu.org/standards/http://www.perseus.tufts.edu/http://ims.org/http://www.eunite.org/http://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.htmlhttp://www.ub.es/multimedia/iem/http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/http://lisi.usb.ve/publicaciones8/9/2019 Enfoques y Modelos de Evaluacion E Learning
19/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
[1] Los materiales hipertextuales o hiper-media son especialmente adecuados en los
entornos virtuales de aprendizaje, ya que porel hecho de no proceder de una forma se-cuencial el usuario ha de aplicar un procesointeractivo mediante el cual deriva informa-cin simultnea de diferentes niveles. Lasasociaciones que permite un sistema hiper-textual de hecho se asemejan ms a la formacomo el ser humano adquiere conocimientoque no la lectura lineal (Len, 1998). Peroesto slo se consigue si el material es de ca-lidad tcnica y pedaggica.
[2]ISO/IEC 9001-Quality Systems-Modelfor quality assurance in desig/development,
producti, installation and servicing.
[3] Del ingls, Balanced Scorecard, las primeras formulaciones aparecen a princi- pios de los noventa y recientemente se ha
expuesto el modelo completo (Kaplan y Nor-ton, 1997).
[4] Se trata de hecho de los siete principiosdefinidos por the American Association forHigher Education (http://www.aahe.org/), ysobre los que Jos Silvio (2000:207) planteauna serie de dudas e interrogantes.
[5] El estudio parta de 45 referentes obuenas prcticas identificados a travs de la bibliografa relevante sobre el tema e insti-tuciones con experiencia en e-learning. En elestudio participaron seis instituciones, con
una experiencia importante en educacin adistancia, reconocidas como lderes dentrodel sector, acreditadas por las agencias re-gionales, y que ofertaran programas de ense-anza on-line. Los benchmarks estuvieronidentificados tanto por la organizacin como
por el alumnado (los dos agentes implicados principalmente en la formacin y evalua-cin).
ABOUTTHEAUTHORS / SOBRE LOS AUTORES
Mara Jos Rubio Hurtado (rubio@trivium.gh.ub.es). Profesora titular del Departamento MIDEde la Universidad de Barcelona. Es miembro del Grupo de InvestigacinEnseanza y AprendizajeMultimedia del Instituto de Ciencias de la Educacin de la Universidad de Barcelona, desde dondeha participado en diferentes proyectos e investigaciones relacionadas con el mbito de las TICaplicadas a la educacin y la formacin. Direccin postal: Edifici de Llevant, dpto. MIDE, Passeig
de la Vall dHebrn, 171, 08035 Barcelona.
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 119
http://www.iso90012000software.com/17025.htmlhttp://www.iso90012000software.com/17025.htmlmailto:rubio@trivium.gh.ub.esmailto:rubio@trivium.gh.ub.eshttp://www.iso90012000software.com/17025.htmlhttp://www.iso90012000software.com/17025.html8/9/2019 Enfoques y Modelos de Evaluacion E Learning
20/20
Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
ARTICLE RECORD / FICHA DEL ARTCULO
Reference /Referencia
Rubio, Maria Jos (2003). Enfoques y modelos de evaluacin del e-learning.RevistaELectrnica de Investigacin y EValuacin Educativa, v. 9, n. 2.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm. Consultado en (poner fe-cha).
Title / Ttulo Enfoques y modelos de evaluacin del e-learning. [Focus and models of evaluation of the e-learning]
Authors / Autores Mara Jos RubioReview /Revista
Revista ELectrnica de Investigacin y EValuacin Educativa (RELIEVE), v. 9, n. 2
ISSN 1134-4032Publication date /
Fecha de publicacin
2003 (Reception Date: 2003 Sept 16; Approval Date: 2003 Oct. 19 Publication
Date: 2003 Oct. 22 )
Abstract /Resumen
The aim of this article is to present the state of arts about e-learning evaluation. Dif-ferent evaluative approaches, different models, tools and experiencies are showed, inorder to determine the quality of virtual learning. Two main approaches are showed:partial evaluation, with emphasis in some aspects of e-learning (materials, technol-ogy resources, teaching, etc.) and global evaluation, that uses management qualitymodels and the practice of benchmarking
El objetivo del artculo es presentar el estado de la cuestin sobre la evaluacin dele-learning. Con este propsito se muestran los diferentes enfoques evaluativos, ascomo diferentes modelos, herramientas y experiencias encaminadas a determinar lacalidad de la formacin virtual, o e-learning. Se destacan dos enfoques principales,la evaluacin de enfoque parcial, que enfatiza aspectos diversos del e-learning (losmateriales, los recursos tecnolgicos, la docencia, etc.) y la evaluacin de enfoqueglobal, que utiliza modelos de la gestin de la calidad y la prctica del benchmarking
KeywordsDescriptores
Evaluacin, calidad, formacin virtual, aprendizaje virtual. e-learning
Evaluation, quality, virtual education, virtual learning, e-learningInstitution /Institucin
Universidad de Barcelona (Espaa)
Publication site /Direccin
http://www.uv.es/RELIEVE
Language / Idioma Espaol (Title, abstract and keywords in english)
Revista ELectrnica de Investigacin y EValuacin Educativa(RELIEVE)
Electronic Journal of Educational Research, Assessment and Evaluation
[ ISSN: 1134-4032 ]
Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modifiedand their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).
Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 120
Copyright, RELIEVE. Se autoriza la reproduccin y distribucin de este artculo siempre que no se modifique elcontenido y se indique su origen (RELIEVE, volumen, nmero y direccin electrnica del documento).
http://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVE