Una experiencia de evaluación mixta

Alfonsa García López

EU Informática, Universidad Politécnica de Madrid

Resumen

En este trabajo se presenta un resumen de los resultados de la experiencia llevada a cabo por profesores del grupo de innovación educativa GIEMATIC de la Universidad Politécnica de Madrid (UPM), en la asignatura Análisis Matemático y Métodos Numéricos (AMYMN) de primer curso de las titulaciones de Ingeniero Técnico en Informática de Sistemas (ITIS) e Ingeniero Técnico en Informática de Gestión (ITIG). En dicha asignatura, desde hace más de 10 años, se viene haciendo un uso normalizado de un sistema informático de cálculo matemático, concretamente DERIVE, tanto en el proceso de aprendizaje como en el de evaluación. En los últimos años, hemos detectado un incremento del abandono y cada año, desde 2003 hasta 2006, se han obtenido peores porcentajes de aprobados y presentados que el anterior. 

En el año 2006, se buscaron las causas del deterioro, para intentar frenarlo. Se  analizaron los resultados académicos y los métodos de estudio de nuestros alumnos y se presentó un proyecto de innovación educativa en el que, manteniendo todos los objetivos académicos,  hemos intentado ofrecer apoyos que faciliten el trabajo continuado del estudiante, incluyendo uso de Moodle,  actividades de refuerzo tutorial, así como un modelo de evaluación mixta. Dicho proyecto consiguió financiación de la UPM y la  experiencia de innovación  se ha llevado a cabo durante el curso 2006-07 y se han analizado sus resultados. Para una información detallada se puede consultar [1].

Keywords

Plataformas de formación online, sistemas de autoaprendizaje y autevaluación, docencia en ingenierías, enseñanza de las matemáticas, Madrid. 

Introducción

Hacia el año 1990, los profesores del departamento de Matemáticas de la EU de Informática de la UPM decidimos incorporar en nuestra docencia alguno de los, por entonces muy novedosos, sistemas informáticos de cálculo matemático (Computer Algebra Systems o CAS).  Tras alguna experiencia piloto y, animados por los buenos resultados de ésta (véase [2]),  nos embarcamos en las tareas de definir un nuevo enfoque de nuestra enseñanza, y preparar un material adecuado para una utilización racional de esta tecnología (véase [3,4]). Aprovechando el cambio de plan de estudios, se definieron contenidos y metodología para la nueva asignatura de AMYMN  y se incorporó el uso del sistema DERIVE. Se consiguió superar las dificultades iniciales y, desde 1996, el uso está totalmente normalizado.  El enfoque consiste en permitir el uso de DERIVE  para la realización de determinadas  tareas en el proceso de resolución de problemas,  y la evaluación es acorde con este enfoque. Por ello, todos los  exámenes de la asignatura realizados desde entonces han incorporado  una parte con ordenador.

La asignatura se imparte durante el segundo cuatrimestre de primer curso indistintamente  en las dos  titulaciones (IT Informática de Sistemas e IT Informática de Gestión), con tres horas semanales de clase en el aula ordinaria (teoría y resolución de problemas) y una hora semanal de clase práctica en el laboratorio informático, haciendo uso del CAS para aprovechar su velocidad de cálculo, junto con sus posibilidades gráficas y de implementación de procesos algorítmicos y métodos numéricos en la resolución de problemas.

La idea de introducir el ordenador en una parte del examen responde a un intento de normalizar un uso adecuado del CAS en el trabajo matemático. Sin embargo no queremos crear una dependencia excesiva de la máquina, y sí fomentar el espíritu crítico con los resultados. El modelo más ajustado a estas pretensiones es el de no permitir ningún asistente de cálculo en una parte del examen (que incluye preguntas teóricas, ejercicios y resolución de problemas sin cálculos excesivos) y permitir el uso de un CAS para otra parte del examen con problemas menos restrictivos. Generalmente las dificultades de los alumnos en la segunda parte del examen son parecidas a las de la primera y  relativas a los conceptos matemáticos,  más que al uso del sistema informático. Tampoco, a lo largo de estos años se han observado diferencias significativas entre las calificaciones medias de los  problemas hechos con y sin ordenador.

En los últimos años, hemos venido percibiendo, junto a una disminución en el número de alumnos de nuevo ingreso, un aumento del abandono por parte de los estudiantes y resultados cada vez peores, tanto en el número de alumnos que superan la asignatura como en el nivel de competencia conseguido. También es alarmante el bajo nivel de asistencia a las clases (sobre todo a las clases teóricas) y el bajo porcentaje de presentados a los exámenes.

Perfil del Alumno 

La población

El número de alumnos de la Escuela Universitaria de Informática (EUI) está descendiendo sensiblemente desde el curso 2002-03 (ver [5,6]).  En el curso 2006-07, por segundo año consecutivo, no se ha cubierto la oferta de plazas, que fue de 450. El número de alumnos de nuevo ingreso matriculados fue 176 en junio, más 137 en septiembre.  A la menor demanda hay que sumar un alto índice de abandono. Además de tener menos estudiantes, se percibe claramente menor motivación e interés, lo que se refleja en la escasa asistencia a clase.  El problema del abandono se incrementa cada curso. Un factor a tener en cuenta es la amplísima oferta de estudios universitarios de Informática en la Comunidad de Madrid. Se puede comentar que un estudiante de segundo de bachillerato, al que le guste la Informática y quiera hacer alguna de las titulaciones de Ingeniería Informática puede optar entre 45 ofertas diferentes en los campus de las distintas  universidades públicas y privadas  de nuestra  comunidad. Además, las dos titulaciones impartidas en la EUI son las titulaciones universitarias de ciclo corto con mayor carga académica de cuantas se ofrecen. El hecho de poder cambiar de universidad, sin cambiar de domicilio ni de titulación, tiene una indudable incidencia sobre el abandono.

Nivel académico de acceso

La disminución de la demanda conlleva menor exigencia y el consiguiente descenso del nivel de entrada. No solo no hay “nota de corte”, puesto que sobran plazas, sino que también ha bajado mucho la nota media de acceso, que ya es muy próxima al mínimo (ver [5]). Respecto a la formación matemática previa, diversos estudios realizados (ver, por ejemplo [7]) ponen en evidencia carencias muy significativas relativas a dificultades para simplificar expresiones algebraicas sencillas, al cálculo de límites elementales, derivadas y primitivas inmediatas. Este nivel, cada vez más bajo, de conocimientos y destrezas matemáticas de los alumnos de nuevo ingreso supone un problema con especial incidencia en AMYMN. Para intentar paliarlo se ofrece a los estudiantes la posibilidad de cursar durante el primer cuatrimestre, como créditos de libre configuración, una asignatura de nivelación denominada “Laboratorio de Matemáticas”,  pero el número de alumnos que se benefician de esta opción también es cada vez más bajo y durante el curso 2006-2007 sólo unos 20 alumnos de nuevo ingreso han cursado y superado esta asignatura.

Métodos de estudio

En el curso 2005-2006 hicimos una encuesta a una muestra de 232 alumnos de AMYMN, de los que 166 asistían a clase con regularidad, para conocer sus hábitos de estudio. Los resultados más significativos son los siguientes:

• Los métodos más utilizados son: asistir a clase, resolver exámenes de años anteriores y hacer problemas.
• No tienen hábito de consultar bibliografía ni hacer sus propios esquemas.
• No suelen acudir a tutorías y dicen que no van a academias.
• Muy pocos trabajan con compañeros o entregan problemas resueltos a sus profesores.
• No encuentran dificultades en conseguir material de trabajo y lo que más les cuesta es entender los conceptos.

Innovación puesta en Marcha

Tras el estudio realizado, pensamos que las principales causas de abandono son el peor nivel de entrada, la menor capacidad de trabajo de los alumnos y la dificultad propia de la materia, dado que los temas están muy relacionados entre sí, lo que hace necesario seguir el curso con regularidad.

Con el ánimo de mejorar los resultados, hemos puesto en marcha un proyecto con nueva metodología y un modelo de evaluación mixta, que pretende fomentar el reparto del trabajo a lo largo del curso. También hemos pretendido sacar partido de los hábitos de estudio de nuestros estudiantes, aportando nuevos medios de aprendizaje.

Dado que les gusta resolver exámenes de años anteriores, hemos decidido organizar y controlar alguna actividad en ese sentido. Hemos puesto en marcha, con la plataforma Moodle, un espacio virtual de aprendizaje y autoevaluación, que incluye un generador automático de cuestionarios tipo test, de modo que cada uno se genera eligiendo aleatoriamente 10 preguntas, cada una de ellas de un grupo previamente definido y creado por nosotros. Cuando un alumno usa este espacio y elige un tema, le aparece de manera aleatoria una colección de 10 preguntas tipo test. El alumno dispone de 20 minutos para realizar el test y una vez terminado, aparece la corrección de cada una de las preguntas.  Si hace un nuevo intento le saldrá un cuestionario diferente, pero de similares características y con una pregunta de cada uno de los bloques definidos. Los alumnos tienen así la oportunidad de hacer desde casa diferentes pruebas para medir y afianzar sus conocimientos.  Los profesores tenemos acceso a la información relativa al uso de esta plataforma.

Respecto a la organización docente de la asignatura, los seis créditos LRU equivalen, en nuestras titulaciones, a 4 créditos ECTS y suponen entre 100 y 120 horas de trabajo total del estudiante. Entre  25 y 30 de estas horas se  han dedicado a clases magistrales.  Entre 10 y 15 han sido clases de problemas resueltos en la pizarra. Para la resolución de problemas con ordenador, utilizando del sistema DERIVE, cada alumno ha tenido 13 horas de clase  en el aula informática. Para la realización de exámenes y pruebas de evaluación,  han dedicado unas 8 horas.  El trabajo personal estimado (incluyendo aquí la asistencia a tutorías individuales y colectivas)  ha estado entre 40 y 60 horas.  Obviamente muchos estudiantes no han  cumplido este plan de trabajo.

Hemos dividido el contenido del curso en 5 módulos. Durante el desarrollo de  cada uno, los estudiantes han tenido a su disposición abundante material de trabajo, incluyendo, además de las hojas de problemas, los enunciados de las prácticas y los test de autoevaluación, una “prueba de entrenamiento” con preguntas teóricas, cuestiones tipo test y problemas relativos al tema. Ellos han trabajado  con este material (individualmente o en equipo y asistiendo a tutorías individuales o colectivas). Al concluir cada módulo, se ha hecho una prueba de evaluación, que se ha corregido y calificado con un máximo de 1 punto. Para presentarse a dicha prueba era necesario traer totalmente resueltos los ejercicios de la prueba de entrenamiento, que se les ha devuelto, sin corregir (sólo se ha comprobado que estuviera completa).  Respecto a la pruebas de evaluación, una vez corregidas, se ha propuesto a los estudiantes que vayan a tutorías para verlas  y así facilitar la realimentación del trabajo realizado.  Por la naturaleza de la materia se ha permitido el uso de ordenador para dos de las cinco pruebas.

De las cinco pruebas realizadas a lo largo del cuatrimestre, se han contabilizado las cuatro con mejores resultados. Por tanto, cada estudiante podía tener hasta un máximo de cuatro puntos por evaluación continua. La nota final de la convocatoria de junio ha sido  el máximo de N1 y N2, siendo  N1 la calificación del examen  ponderada sobre 10 y N2 la suma de la nota de la evaluación continua con la nota del examen ponderada sobre  6 puntos. El examen final ha incluido (como  ya venía haciéndose) una parte para cuya realización se permite el uso de ordenador, mientras que en  la otra no se les ha permitido ordenador, calculadora, ni ninguna otra herramienta similar.

Para el seguimiento de la asignatura los estudiantes han tenido a sus disposición desde el principio de curso la Guía Docente de la asignatura, que incluye: nombres de los profesores, con sus horarios de tutorías;  prerrequisitos, objetivos  y planificación de actividades;  métodos docentes y normas de evaluación; desarrollo teórico de cada uno de los temas del curso; problemas propuestos; enunciados de las prácticas; enunciados de exámenes de cursos anteriores (con soluciones de los test) y bibliografía

Además, en la página web de la asignatura y/o en  el campus virtual  se les ha ido facilitando:

- Información y recomendaciones sobre prerrequisitos de la asignatura.

- Test de autoevaluación, generados y corregidos automáticamente.

- Material de trabajo correspondiente a cada uno de los cinco módulos.

- Calendario detallado, con la planificación de las clases teóricas y prácticas, fechas en las  que se publicará la prueba de entrenamiento de cada módulo y el momento en que se realizará la prueba de evaluación correspondiente

Respecto a las tutorías, que hasta ahora se habían usado poco, se ha diversificado la oferta, incluyendo un total de cinco horas semanales de tutorías colectivas para que los estudiantes que lo deseen puedan asistir a consultar dudas y trabajar en grupo, con el apoyo del profesor. Estas tutorías colectivas han tenido una acogida moderadamente satisfactoria.

Análisis de los Resultados

Se presenta en esta sección un resumen de datos relativos al resultado de la experiencia. El estudio realizado ha sido muy amplio y se puede consultar en [1].

Asistencia a clase

En los últimos años se viene detectando un descenso paulatino en el porcentaje de alumnos  que asisten regularmente a clase. Para cuantificar este dato, hemos tomado como referencia el número de respuestas de la encuesta de evaluación docente realizada por la EUI cada año, en un día de clase a finales de mayo, sin previo aviso a los alumnos. En esta encuesta se procesan los datos por asignatura, por profesor, por departamento y los datos globales del Centro. Los números de esta encuesta relativos a una asignatura proporcionan una medida del número de alumnos que asisten a las clases de dicha asignatura hasta el final del cuatrimestre y con el número de alumnos matriculados se obtiene una medida comparativa del porcentaje de asistencia a clase. En la tabla 4.1.1 se recogen los datos de AMYMN que, como se ve,  son muy preocupantes.  

Tabla 4.1.1 Número de encuestas de AMYMN procesadas.

Cabe señalar que en AMYMN, como en otras asignaturas del segundo cuatrimestre, la población de partida ya está mermada, tras el abandono que se produce después de los exámenes de febrero y casi la mitad de los estudiantes matriculados no han asistido a clase ni  un solo día. Este año se ha conseguido una ligera recuperación del porcentaje de asistencia, si bien éste se mantiene muy por debajo de lo deseable.  El cambio producido es significativo, si se compara con el resto de la Escuela, ya que la tónica general ha sido de descenso en los porcentajes de asistencia. El número medio de encuestas realizadas por  alumno matriculado, es decir el número medio de asignaturas a cuyas clases ha asistido un alumno hasta el final,  en el segundo cuatrimestre del curso 2006-07  es de 0.79 (el curso 2005-06 fue 0.98).

Resultados de las pruebas de evaluación continua

Hemos hecho un estudio de los resultados de cada una de las cinco pruebas de evaluación continua.  En la tabla 4.2.1 se muestra un resumen de los resultados.

Tabla 4.2.1 Resultados de las pruebas de evaluación.

Respecto al desarrollo, cabe hacer algunos comentarios: En primer lugar conviene señalar que han surgido dificultades para encajar en el calendario las cinco pruebas en un cuatrimestre. La planificación temporal hecha desde el principio ha supuesto una excesiva acumulación de pruebas al final de curso (tres pruebas en el mes de mayo).

Los peores resultados se han obtenido en las pruebas 3 y 5. La primera de ellas se realizó el día 3 de mayo, justo tras un largo puente en la comunidad de Madrid, que impidió a muchos alumnos asistir a tutorías durante la realización de la correspondiente prueba de entrenamiento. Respecto a la quinta prueba se hizo sólo una semana después de la anterior y con menor participación debido a que sólo se iban a tener en cuenta las cuatro mejores calificaciones. Algunos estudiantes, con buenas notas en las cuatro primeras, no se presentaron a la quinta. Otro factor a tener en cuenta es que los objetivos académicos evaluados en estas pruebas son conceptualmente los de mayor complejidad del curso. También en los exámenes tradicionales, suelen ser peores los resultados de problemas relativos a estos conceptos.

Análisis de los resultados obtenidos en la convocatoria principal

Hemos analizado  los resultados de la convocatoria principal y los hemos comparado  con los de cursos anteriores  y, usando datos de  [6], también los hemos comparado  con los de otras asignaturas obligatorias de primer curso.

 Tabla 4.3.1  Evolución en la asignatura de AMYMN

Los resultados de la convocatoria principal del curso 2006/07 indican que ha aprobado dicha convocatoria el 34.5% de los presentados. Con la tabla de percentiles hemos comprobado que el 50% de los presentados tiene una nota final mayor o igual que 4. Hay casi un 16% de suspensos altos. Si hacemos un estudio comparativo entre la nota de actas de la convocatoria principal desde el curso 2003-04 hasta el curso 2006-07 (ver tabla 4.3.2) resulta que la nota media  puede considerarse igual para los cursos 2003-04 y 2004-05, baja en el curso 2005-06 y se recupera en este último curso, alcanzando los niveles del curso 2004-05.

Tabla 4.3.2 Resultados recogidos en actas  para la convocatoria de junio.

También se ha logrado disminuir el número de suspensos en la convocatoria principal respecto al curso pasado, pasando del 69% al 65% en esta última convocatoria, aunque en este caso se está bastante lejos del porcentaje de los cursos 2003-04 y 2004-05 que es de menos del 56%.   

Respecto a la comparación con otras asignaturas troncales y obligatorias de primer curso, en la figura 1 se muestra la evolución de porcentajes de presentados (a la derecha) y aptos, sobre población total, en convocatoria principal (a la izquierda) en distintas asignaturas.

Figura 1

Se  pueden obtener las siguientes conclusiones:

• En el curso 2005-06 AMYMN tuvo los peores porcentajes en ambas medidas.
• AMYMN es la asignatura en la que más ha subido el porcentaje de aprobados sobre la población total. Dicho porcentaje ha bajado en Álgebra, en Física, en Programación y en Estructura de Datos y ha subido en  Fundamentos de  Computadores (1.6%), en Matemática Discreta (2.3%) y en AMYMN  (3.2%).
• AMYMN es la asignatura en la que más ha subido el porcentaje de presentados respecto al curso pasado.

Uso del entorno virtual de aprendizaje y autoevaluación

Se han recogido los datos de acceso al entorno virtual  y se ha hecho un estudio detallado de los datos correspondientes a los módulos primero y cuarto. Para cada módulo y cada alumno que ha entrado en el sistema de autoevaluación, se han analizado las variables  número total de test realizados y la nota máxima obtenida entre todos sus intentos.  Las conclusiones más importantes son:

• La plataforma ha sido utilizada por menos alumnos de lo deseable. Sólo 181 alumnos han accedido a ella en el módulo 1 y sólo 59 en el módulo 4.
• Los resultados estadísticos en las variables número de intentos y nota máxima han sido muy similares en ambos módulos.
• Un porcentaje elevado de alumnos, al menos un 60% en ambos módulos, entran una única vez en la plataforma para hacer un test de autoevaluación.
• Para los pocos estudiantes que han hecho tres o más intentos  (45 en el primer módulo y 14 en el cuarto)  se ha visto que cuanto mayor es el número de intentos los valores de la variable nota máxima bajos van siendo menos frecuentes y cada nuevo intento conduce a una mejora en la nota máxima de 0.8 puntos en el primer módulo y  0.6 en el  cuarto.

Grado de satisfacción de estudiantes

Como el cambio más significativo realizado en la asignatura era el modelo de evaluación, se hizo una encuesta anónima, que se entregó junto con el examen final de junio, para conocer el grado de satisfacción de los alumnos. En la encuesta figuraban preguntas sobre valoración por parte de los estudiantes del método, sobre el número de pruebas realizadas y finalmente se recogían las sugerencias que quisieran presentar. Se recogieron en total 258 encuestas (18 más que exámenes, porque alguno de los que no entregó el examen quiso dejar constancia de su opinión).

El número medio de pruebas a las que los encuestados se presentaron es de 3.7 con una mediana de 4.  Solo el 25% de los encuestados efectuó 3 pruebas o menos. Sobre cual les parecía el número más adecuado de pruebas previas al examen oficial que se deberían hacer, el número medio de pruebas preferidas es de 4.4  y la mediana es 5.

A la pregunta “Si has cursado esta asignatura en algún año anterior, valora si te parece mejor el método de evaluación seguido este año” respondieron 167 estudiantes (lo que indica que el 65% de los encuestados eran repetidores). De estos, 141 (el 84.4%) estaban muy de acuerdo o bastante de acuerdo con el método y solo el 5% opinaba que el método de evaluación era peor que el usado otros cursos.

Más del 87% de los encuestados se mostró muy de acuerdo o bastante de acuerdo con la afirmación  “Este método ha favorecido que estudies más regularmente a lo largo del cuatrimestre”. El 67.8%  estaban  muy de acuerdo o bastante de acuerdo con la afirmación  “El método te ha ayudado a una mejor comprensión de la asignatura”  y el  79.2% opina que sería muy o bastante adecuado  un método de evaluación similar en todas las asignaturas.

En cuanto a las sugerencias no se recogieron muchas, pero la mayor parte de ellas iban en el sentido de pedir que no hubiera que presentarse al examen final si se habían aprobado las pruebas de evaluación a lo largo del curso. Esta sugerencia fue recogida y hemos evaluado su viabilidad y repercusión. Sólo sería aceptable para los estudiantes que han obtenido una calificación al menos de notable en la evaluación continua.

Conclusiones

Los cambios introducidos en la metodología de la asignatura, en especial en el método de evaluación, han permitido romper este curso la progresión decreciente  en cuanto a participación de los alumnos en la asignatura y sus resultados académicos en la misma. Y éste era el objetivo principal del proyecto. Aunque los resultados no han sido espectaculares, pues sólo se han mejorado las cifras con respecto al último curso,  analizados en el contexto general de la EU de Informática, se observa un cambio significativo.

También ha propiciado que se potencie la acción tutorial, tanto individual como en grupo, estableciendo rutinas y hábitos de trabajo que ofrecen a los estudiantes nuevos entornos de aprendizaje más allá de las clases y el estudio personal, que han sido positivamente valorados por un alto porcentaje de estudiantes.

El proyecto además ha servido para generar material docente que creemos valioso para los estudiantes, como es el caso de los test de autoevaluación disponibles en la plataforma Moodle. Respecto al uso de esta plataforma, se considera bajo el número de  alumnos que han accedido a ella. También hay, en cada módulo, un elevado porcentaje de alumnos que acceden una sola vez, lo que puede deberse a que sólo quieren conocer cómo son las preguntas. Aunque  ha servido para pocos alumnos, se ha visto que la herramienta puede ser eficaz. Estas conclusiones invitan a reflexionar sobre la utilidad y adecuación de la herramienta, así como sobre la difusión que se ha hecho de la misma.

Por otra parte, el trabajo de evaluación realizado ha permitido detectar algunos puntos débiles de la experiencia, en especial la carga de trabajo y el número de pruebas a realizar. En el curso 2007-08 se propone continuar con la experiencia introduciendo algunas modificaciones, regulando mejor la carga de trabajo a lo largo del cuatrimestre, reduciendo el número de pruebas y permitiendo que los estudiantes con altas puntuaciones puedan aprobar sin presentarse al examen final. Creemos que esta medida puede servir de motivación y los análisis realizados nos permiten ofrecerla con un alto nivel de confianza. Otros aspectos mejorables son la realimentación a los estudiantes sobre las tareas que realizan, la acción tutorial y el trabajo en equipo.

Referencias

[1] GIEMATIC,  Memoria final del proyecto de Innovación Educativa “Una propuesta de evaluación continua en Análisis Matemático y Métodos Numéricos”. UPM, 2007.

[2] Miñano, R. Valoración de las prácticas de Matemáticas I en la EU de Informatica de la UPM, Jornadas sobre la enseñanza experimental de la Matemática en la Universidad, Madrid, diciembre 1991.

[3] Cruz, A., García, A., García, F., López, P., Martínez, A., Miñano, R., Ruiz, B. Análisis Matemático y Métodos Numéricos.  Guía Docente 2006-07. EUI, 2007.

[4] García, A. (Ed.)  Prácticas de Matemáticas con DERIVE, CLAGSA, 1994.

[5] UPM Informe al Claustro 2006.

[6] EUI Memoria de Gestión. Cursos 2001-02 al 2006-07.

[7] UPM Informe Demanda. Perfil alumnos de nuevo ingreso. Curso 2005-2006.