8° Coloquio de Lenguas Extranjeras - Evaluación

Evaluación Virtual: Examen de ubicación de inglés en línea de la UAM-A

Francisco R. Rojas Caldelas *
Vida Valero Borrás **
Gabriela E. Cortés Sánchez ***
UAM-A

Resumen La ubicación de alumnos en la UAM-A se ha realizado mediante distintos instrumentos escritos. Estos exámenes involucraban un gasto de capital humano, logístico y de evaluación expedita, implicaban una estructura de recursos administrativos, académicos y de gestión. En 2010 se empezó a desarrollar una propuesta de examen de ubicación de inglés en línea con objeto de optimizar los recursos y al mismo tiempo beneficiarnos de las TICS. Se presentan las líneas generales del diseño de dicho examen.

Palabras clave Evaluación virtual, examen de ubicación, examen en línea.

---

 

Existe una tendencia creciente en la educación actual; consiste en la optimización de la utilización de los recursos de las Nuevas Tecnologías de la Información (TICs) para labores de evaluación masiva. Este advenimiento tecnológico plantea un desafío en las formas de evaluación de una lengua extranjera (LE1). En este entorno se privilegia el uso de computadoras, sistemas de redes y servicios digitales. La Coordinación de Lenguas Extranjeras (CELEX2) en conjunto con la Unidad Azcapotzalco cuenta con todos estos dispositivos. Por un lado, como parte de la propuesta de aprendizaje de una LE se tiene el apoyo de un Centro de Recursos propio, el cual se ocupa en tareas de práctica lingüística y estudio autodirigido de una LE y, por otro, como parte de la infraestructura de la Unidad Azcapotzalco se goza de un Centro de Cómputo de la unidad Azcapotzalco dotado de 200 computadoras conectadas en red. Grandes ventajas ofrece este contexto para la evaluación masiva del desempeño de una LE en comparación con la utilización de un examen impreso.

En un esfuerzo dirigido a otorgar atención a 1 500 estudiantes en cursos regulares y 1000 alumnos divididos en dos periodos intertrimestrales al año; optimizar el proceso de registro y aplicación del examen; aminorar el diferendo entre maestros y alumnos en el calificado de exámenes; así como lograr un mejoramiento en la administración de los recursos tradicionales como son el papel, la tinta y el capital humano; por ello se pensó elaborar un examen de ubicación en línea.

Este primer trabajo sobre el proyecto de investigación del examen de ubicación en inglés de la UAM-A tiene como objetivo presentar desde una perspectiva meramente descriptiva la conformación del examen propuesto con base en una reflexión sobre tres antecedentes (tres exámenes de ubicación) y se describe con detalles los componentes que se evaluaban en uno de ellos. Así mismo, se definen las características que debe tener un examen de ubicación y se describe aquello que conlleva la aplicación del nuevo examen. De la misma manera, se detallan las diferentes fases del proyecto de examen en línea y por último se ponderan las ventajas y desventajas que acarrea la aplicación de un examen en línea. Nuestro propósito es compartir esta experiencia con otros académicos que tengan interés de integrar esta modalidad de evaluación masiva en sus ámbitos de trabajo.

Antecedentes

La CELEX de la UAM-A cuenta en su historia dentro de la enseñanza de una LE con la experiencia académica de haber experimentado tres tipos de exámenes de ubicación distintos. Cada propuesta de evaluación para la ubicación responde las teorías de aprendizaje de cada época y marcan un firme paso educativo en la incorporación de las TICs a la educación superior. En este sentido, se torna pertinente describir cada una de ellas.

El primer examen de ubicación se realizó en la época que se priorizaba la enseñanza de la comprensión de lectura para la ubicación en cinco niveles distintos, los cuales contenían cuatro modalidades de preguntas: 1) Discriminación entre falso, verdadero y no determinado; 2)Utilización de cloze enfocado a el aprendizaje del vocabulario y estructuras verbales; 3) relaciones entre columnas para verificar la comprensión de estructuras gramaticales y definiciones, así como 4) preguntas abiertas que podían ser contestadas en español.

En segundo término, en el año 2000 los profesores Cortés y Rojas elaboraron un examen de ubicación de alumnos en seis niveles bajo la óptica del enfoque comunicativo. Se trató de un  instrumento de medición objetivo construido mediante reactivos de opción múltiple con cuatro distractores. El examen constaba de dieciséis reactivos por cada nivel asignado, cuya línea de corte aprobatoria era de once aciertos por nivel. Su organización general se distribuía en dos unidades: la parte A y la parte B, la primera correspondía a los tres niveles básicos y sólo si se aprobaba cada uno de estos niveles con un mínimo de once aciertos por nivel, se podía acceder a la parte B. La parte B era idéntica a la parte A en su estructuración, aplicación y control. El tiempo de resolución de cada parte, A y B, era de 50 minutos respectivamente, de la misma forma el examen A era impreso en color rosa y el B en color azul para su fácil distinción. Después del segundo nivel se aplicaba una entrevista oral para corroborar el nivel asignado.

En tercer término, bajo una reflexión crítica y plena de equidad de que no era justo evaluar la ubicación de los estudiantes sólo con el componente lingüístico y el desempeño oral de una entrevista, se optó por probar un examen de ubicación de una gran editorial de prestigio respecto a las áreas de lingüística, educación y lingüística aplicada. El examen “Objective Placement” elaborado por Cambridge University Press proponía la evaluación de 3 habilidades para la ubicación en 10 niveles que corresponden desde el nivel básico hasta el nivel intermedio avanzado de la siguiente manera:

Comprensión auditiva: consistente en la escucha atenta de nueve situaciones en las que se buscaba identificar información específica o inferir sobre una situación con base en un acto de habla por medio de un reactivo de cuatro opciones a 1) identificar a los participantes en una presentación; 2) identificar las preferencias de hábitos alimenticios; 3) inferir el resultado de una llamada telefónica; 4) identificar el clima de cierto estado y 4.1) identificar la temperatura en cierta región; 5) inferir el resultado de una invitación y 5.1) identificar una excusa por rehusar dicha invitación; 6) identificar la habitud de un sujeto en período vacacional y 6.1 inferir el plan de un sujeto a realizar el próximo verano; 7) identificar una situación sobre préstamo o devolución monetaria a partir de una plática entre tres hablantes; 7.1) inferir sobre dicha situación monetaria con respecto a un determinado hablante y 7.2) identificar la causa de rehusar el préstamo monetario a amigos por parte otro hablante; 8) identificación de un sitio de vacación en una plática entre tres hablantes sobre un hablante específico, 8.1) identificar el uso correcto de “would have”, 8.2) identificar un destino en un itinerario de viaje del segundo hablante y 8.3) inferir el resultado del viaje con respecto al primer hablante; 9) identificar una causa para la elección de una carrera, 9.1) identificación de una ambición pasada vinculada con la elección de una carrera, 9.2) identificación de la opinión de los padres sobre la elección de una carrera y 9.2) identificación de la posición actual en la vida derivada de la elección de una carrera. Esta sección tenía una duración de 40 minutos para su aplicación.

Comprensión de lectura: se proponen diferentes tareas de lectura con base en diferentes tipos de textos, evaluados con reactivos de opción múltiple con cuatro distractores. El primer tipo de texto se trata de dos pequeños pasajes de 30 a 36 palabras con un solo reactivo derivado de una situación oral, en ellos se proponen: Identificar una situación laboral e identificar una acción a realizar el fin de semana respectivamente. A continuación, se presentan tres lecturas más en forma de pasajes más amplios que conforman un párrafo con alrededor de 50 palabras, cada lectura contiene uno o dos reactivos en los cuales se propone identificar: 1) la acción de un sujeto con respecto a otro, 2) relaciones de causa y efecto en definiciones o en un pequeño experimento. Por último, este examen presenta tres pequeñas lecturas cuyo texto varía entre 150 palabras a 250 palabras aproximadamente que incluyen 4 reactivos cada una y cuyas tareas de lectura son: 1) identificar la idea general de un artículo; 2) sinonimia; 3) detección de información específica; 4) completar definiciones y 5) discriminar acciones de causa y efecto. Esta sección tenía una duración de 20 minutos para su aplicación.

Uso de la lengua: esta sección propone la evaluación del nivel lingüístico con base en 30 reactivos de opción múltiple con cuatro distractores en los que se evalúan: 1) verbo to be en presente; 2) uso de una preposición en una ubicación citadina; 3) uso de too o neither; 4) patron verbal enjoy; 5) adverbios de cantidad; 6) uso de adjetivos; 7) patrón verbal hope to; 8) superlativos; 9) tag questions; 10) cláusulas wish; 11) preguntas incrustadas; 12) condicional past unreal; 13) uso del presente perfecto continuo 14) patrón verbal worth; 15) condicional present unreal; 16) patrón verbal would you mind; 17) patrón verbal to be interested in; 18) voz pasiva; 19) uso del futuro perfecto; 20) patrón verbal must have; 21) patrón verbal used to; 22) conectores de clausulas relativas 23) utilización except; 24) patrón verbal en el caso de imperativos; 25) conectores de modo “in order to” 26) comparativos; 27) patrón verbal prefer to; 28) patrón verbal should have; 29) uso del pasado de subjuntivo y 30) uso de the more, the more. Esta sección tenía una duración de 15 minutos para su aplicación.

Sobre la base de estas tres experiencias, sin distinguir el tipo de examen de ubicación qué se aplicaba, se esbozó una realidad no satisfactoria; alrededor del 80% de los alumnos se situaba en los dos primeros niveles reiteradamente. Sin duda, por distintas causas3 el alumno prolonga su condición de principiante de modo vicioso y ésta se repite como una tragedia griega del eterno retorno en la instrucción universitaria. Por ello, ante la observación realizada se tuvo el firme propósito de elaborar un instrumento más preciso en la ubicación de los alumnos, dado que en la aplicación del examen Cambridge existía una tendencia como resultado colateral de su formato a situar algunos alumnos en un nivel superior. Es decir, en el examen Cambridge su estructura abierta permite que el alumno conteste el mayor número de reactivos posible y algunos aciertos son producto de la intuición o aun más grave de la adivinación como estrategia fundamental cuando no sabe una respuesta.

Definición y precisiones sobre un examen de ubicación

Es posible definir un examen de ubicación de como un instrumento de medición de las habilidades y conocimientos lingüísticos que se aplica cuando un estudiante desea ingresar o reingresar a un programa de estudios de LE con objeto de determinar a cuál nivel de estudio corresponde su desempeño in situ con respecto al plan de estudios propuesto (Brown: 1989 y Alderson, Clapham y Wall: 1995).

En el caso del diseño de examen de ubicación de la UAM-A se concede que un examen de una LE en línea como cualquier tipo de examen de lengua materna o extranjera no posee la capacidad de evaluar la totalidad del constructo lengua. Se admite, del mismo modo, que los exámenes en línea tienen problemas colaterales respecto a la medición de tres habilidades como son la producción escrita y producción oral y comprensión de lectura (Dunkel: 1991 y 1999; Young, Shermis, Brutten, y Perkins: 1996; y Larson: 2000). Por esta razón y sobre la base de experiencias previas la ponderación de estas habilidades no se incluye en el examen de ubicación en línea de la UAM-A.

Del mismo modo, es un hecho que cada examen de ubicación asigna un formato, tiempo de resolución, número de habilidades, líneas de corte de calificación y número de niveles dentro de una carta temática que reflejan la ideología de una institución. Esta toma de decisiones da como resultado una aproximación respecto al nivel de ejecución de una LE para cada sujeto; condición que no se cumple cabalmente en todos los casos. Invariablemente, existirán algunos alumnos ubicados en un nivel erróneo de subestimación o sobrestimación según sea el caso.

En este sentido se prioriza la evaluación en tres áreas fundamentales en el aprendizaje de una LE: morfosintaxis, vocabulario y pragmática; áreas cuya definición teórica se presenta a continuación.

Componentes que evalúa el examen de ubicación

La propuesta de evaluación en línea de la UAM-A plantea una evaluación del discurso que se produce en una LE que se concibe y estudia como instrumento de la comunicación humana en acción en distintos contextos dotada de pretensión e intencionalidad. Es decir, el discurso se trata como un procedimiento de interacción personal que se da por medio del lenguaje en una relación intersubjetiva entre hablantes, la cual permite comprender la relación de los interlocutores al comunicarse que excede el acto comunicativo desde un parámetro funcional-instrumental, en ella los distintos actos de habla dan cuenta de una sociocognición progresiva en la que el sujeto comprende, construye y reconstruye de modo constante un modelo mental acerca de: actores sociales, instituciones, relaciones humanas, de poder, ideológicas y contexto de manera extensa (Van Dijk: 2011).

Se reconoce, en este sentido, que en la ruta de adquisición de esta habilidad los componentes morfosintácticos y de vocabulario robustecen la propuesta pragmática puesto que nutren del basamento lingüístico para la construcción de un discurso. De esta forma, se procede a  describir cada uno de los componentes mencionados.

Morfosintaxis: evaluación de la combinatoria de los distintos elementos que componen las palabras, sintagmas y oraciones en distintas estructuras sintácticas que hacen posible otorgar un sentido al enunciado (Dubois et al.: 1989).

Vocabulario: valoración de distintos términos que se emplean en diversos contextos comunicativos reales con una progresión creciente que corresponde a un aprendizaje como un componente semántico estratégico que enriquece y determina el nivel de ejecución y control del lenguaje de acuerdo con un programa de estudios (Larsen-Freeman: 1986, Coseiru: 1997; Gómez; 1997; Schmitt y McCarthy 1997).

Pragmática: estimación del repertorio del examinado en relación con su capacidad de juzgar y utilizar expresiones lingüísticas y no lingüísticas de modo adecuado con respecto a la persona, situación e intencionalidad del hablante (Hymes: 1974; Van Dijk:1987 y 2011; Maqueo: 2006).

Descripción del examen

Se trata de un examen objetivo de 60 reactivos con cuatro distractores distribuidos en cinco niveles. Cada nivel despliega una serie de 12 reactivos. Los niveles que se consideran para este instrumento son:

• Nivel Introductorio
• Inglés I
• Inglés II
• Inglés III
• Inglés IV

Administración del examen

La operacionalización de un examen de ubicación en línea demanda una reflexión colegiada sobre ciertas consideraciones importantes a priori a tomar en cuenta para obtener ciertos logros. En primer término, es menester encontrar un lugar idóneo; los centros de autoacceso, mediatecas, centros de recursos o centros de cómputo se tornan en ambientes ideales por su conectividad en red. En segundo, es primordial capacitar al profesorado en las distintas labores de aplicación, supervisión, acomodamiento, registro de datos y de realización de entrevistas.

A la par de la realización del examen se concreta a todo lo largo del proceso un trabajo simultáneo armónico entre cuatro instancias: la Coordinación de Lenguas Extranjeras, la Oficina de Educación Virtual, la Coordinación de Cómputo y la Sección de Sistemas Escolares. Cada instancia realiza una serie de procedimientos operativos con el fin de que el alumno realice su proceso de registro, ubicación e inscripción de manera expedita, con el menor número de equivocaciones.

Coordinación de Lenguas Extranjeras

Previo al examen:

CELEX se encarga de abrir una convocatoria para nuevo ingreso cada trimestre en la quinta semana, en ésta se precisan los lugares disponibles por categoría (licenciaturas, posgrados, egresados, externos y trabajadores). En la novena semana cada aspirante se registra en línea, realiza el pago del examen de ubicación y lleva el comprobante de pago a la CELEX y ésta envía los datos de los aspirantes registrados con pago a la OEV.

La CELEX efectúa una junta con los profesores de inglés para concertar la logística que se llevará a cabo durante el examen en las distintas áreas del Centro de Cómputo.

Asimismo, la CELEX corrobora la lista de alumnos y pagos efectuados con objeto de que la OEV cargue la información de aquellos que tienen derecho a examen.

Posterior al examen:

Una vez cuando se cuenta con los resultados obtenidos se realiza una distribución de las matrículas de los alumnos de nuevo ingreso y reinscripción que tienen derecho a inscribirse de acuerdo con los acuerdos internos de CELEX que determinan, en el caso de quienes se reinscriben, prioridades respecto a su historial académico. Es decir, los alumnos con desempeño superior y calificaciones de MB y B se inscribirán en primer lugar, los de S en segundo lugar y  en tercer lugar, los alumnos de nuevo ingreso. Al último,  se inscribirán  los alumnos de NA y aquellos que por alguna razón abandonaron los cursos durante uno o más trimestres.

Una vez con su comprobante de ubicación y reinscripción obtenido de la página de CELEX, los alumnos circunscritos en la categoría de externos, egresados y trabajadores UAM realizan su proceso de inscripción presencial en CELEX, porque no poseen una matrícula como los alumnos de la UAM. En las oficinas de CELEX, el personal administrativo entrega un formato de inscripción que deberá llenar. De esta forma, se registra en el grupo de su preferencia y se da de alta al sistema de caja para poder efectuar el pago de dicho curso y al mismo tiempo se inscriben. Para concluir, los externos realizan un pago en caja y con dicho comprobante regresan a CELEX para que se selle el comprobante y se finaliza el proceso de inscripción.

Oficina de Educación Virtual

Previo al examen:

Se encarga de subir a la red de computadoras del Centro de Computo el examen en línea de la UAM-A en la  fecha acordada.

Durante el examen:

Asiste en la resolución de fallas cuando existen casos de discordancia entre la base de datos y errores de registro en la misma que sucede cuando un alumno registra su matrícula para ingresar al examen y el sistema lo rechaza porque no coincide el número.

Asiste respecto a problemas en la carga del examen en distintas plataformas de los equipos, puesto que el Centro de Cómputo cuenta con unidades con plataforma Windows y Mac.

Apoya en el área de entrevistas cuando existen problemas para cargar, en la base de datos, los cambios de nivel de alumnos.

Posterior al examen:

La OEV se encarga de abrir una liga al servidor de CELEX a fin de que el alumno pueda imprimir su comprobante de ubicación con el nivel asignado, sólo ciertos días después del examen.
Informa a CELEX mediante un archivo en EXCEL el nivel asigando y número de aciertos que obtuvieron en el examen por alumno.

Informa a CELEX el comportamiento de la muestra por reactivo indicando su índice de facilidad según los resultados del examen.

Coordinación de Cómputo

Previo al examen:

En acuerdo con CELEX se programa el día y el horario de realización del examen para utilizar las 200 computadoras por turno  con que cuenta la sala de cómputo.

La CC abre una liga en la página de CELEX para que los alumnos se registren en el proceso de examen de ubicación.

La CC manda el listado final de alumnos para el examen de ubicación.

Durante el examen:

Apoya a la CELEX y a la OEV en labores de ordenamiento de alumnos y de vigilancia durante el proceso de examen.

Posterior al examen:

La CC cierra el hipervínculo en la página de CELEX para que los alumnos se registren en el proceso de examen de ubicación en la fecha de terminación acordada con antelación.

Sistemas escolares

Posterior al examen:

La CELEX provee los horarios a sistemas escolares con antelación para que los alumnos seleccionen, según sus necesidades, la mejor oferta de aprendizaje y horario. Posteriormente, en armonía con la distribución de matrículas que envía la CELEX, la Coordinación de Sistemas Escolares realiza la inscripción de modo presencial en bloques de, aproximadamente, 200 a 250 alumnos cada media hora.

Al término de este proceso, el alumno recibe un comprobante en el cual firma que está de acuerdo con el grupo que se inscribió y el horario correspondiente.

A fin de resolver distintas contingencias que se puedan presentar en el proceso de inscripción la Coordinadora de Lenguas Extranjeras y su secretaria están presentes durante la duración del proceso casos de: olvidos de papeles de registro, cambios de categoría (de alumno a egresado) y dudas en general sobre el funcionamiento de CELEX.

Espacios para la aplicación del examen

A continuación se describen brevemente los distintos espacios para la aplicación del examen de ubicación de la UAM-A. La disposición de espacios y asignación de funciones de los profesores de LE se han realizado en conjunto con la Oficina de Educación Virtual y el personal de la Coordinación de Cómputo de la Unidad Azcapotzalco. Se eligió una estrategia de optimización de espacios en los cuales los profesores deberán tener conocimiento sobre cómo trabajar en cada uno. En este contexto, el examen de ubicación de la UAM-A se despliega en el área del Centro de Cómputo en la siguiente forma:

Área de recepción de los alumnos: el emplazamiento de entrada del Centro de Cómputo se utiliza como un umbral de recepción en el cual los alumnos se forman en orden de acuerdo con un registro previo realizado en la Coordinación de Lenguas Extranjeras en distintas filas para permitir el acceso en orden una vez realizado el proceso de verificación de su identidad realizado por un equipo de profesores que se abocan a este tipo de labores.

Área de resolución de examen: el Centro de cómputo ofrece la posibilidad de ubicar a los alumnos en distintas estaciones para la realización de exámenes cuya ubicación se distribuye en dos secciones con capacidad de incluir a 200 alumnos en cada sección. En este espacio un segundo equipo de profesores se encarga de ir acomodando en orden a cada alumno para evitar amontonamientos y que el proceso se efectúe de modo ordenado y en los tiempos establecidos.

Área de información procedimental: ubicado en el centro ambas secciones se cuenta con un modulo de sonorización en el cual un profesor cumple tres funciones expositivas. La primera se centra en hacer conscientes al alumnado mediante avisos continuos que el examen de ubicación comenzará a la hora indicada y que deberán esperar a que todos estén ubicados en sus lugares. En segundo lugar, explica la conformación del examen en distintos niveles, el tiempo de resolución y revela la clave de ingreso al examen la cual despliega en una página una serie de instrucciones para la resolución del mismo y que el profesor la lee e invita a los alumnos a releerla con cuidado. En tercera instancia, el profesor exhorta a los alumnos a que utilicen el tiempo necesario y eviten el impulso de contestar lo más rápido posible, pues ello conduce a un sinnúmero de equivocaciones. Una vez finalizado este proceso se ingresa al examen.

Área de entrevistas orales: en este espacio los alumnos que hayan ingresado por medio del examen a un nivel superior al segundo nivel serán entrevistados por distintos profesores. Vale aclarar que en esta ubicación tres equipos de profesores laboran de distinta forma. El primero recibe al alumnado y lo forman según su llegada en una fila fuera del espacio asignado, de modo paralelo, acoge a los examinados inconformes con el resultado y comprueba mediante un cuestionamiento sobre su trayectoria de estudios de LE su asignación para una entrevista El segundo los registra y los ubica en la base de datos que se va conformando cuando van terminando los exámenes y los asigna para entrevista. El tercer equipo son los profesores que entrevistan y asignan al alumno su nivel final. Finalmente los alumnos se remiten con los profesores quienes realizan el registro final en la base de datos.

Etapas del proyecto de examen de ubicación en línea

Con el firme propósito de hacer clara la exposición del devenir del proyecto de examen de ubicación en línea de la UAM-A, se presentan las distintas etapas que han constituido las partes significativas de este proyecto: a) surgimiento de la propuesta; b) pilotaje y pruebas; c) prospectiva del proyecto y; d) el canal de retroalimentación del proyecto. No olvidemos que por la dimensión de la propuesta sólo se puntualizarán de modo sucinto cada una de las etapas.

1. Etapa previa: surgimiento de la propuesta
   Ponderación del examen de ubicación en papel avalado por el Grupo de Investigación de Lingüística Aplicada de la UAM-A.
   Realización de estudios de facilidad y discriminación de los distintos reactivos que componen el examen durante un año efectuados por los profesores Francisco Rojas Caldelas y Gabriela Cortés Sánchez.
   Análisis de las contingencias que se presentaban con el examen de ubicación desarrollado por la editorial Oxford University Press.
   Análisis de la distribución de la ubicación de alumnos de inglés en la UAM-A.
   Realización del primer prototipo operativo del examen de ubicación generado para un ambiente virtual realizado por el Mtro. Francisco Rojas Caldelas y el Ing. Ernesto Chong.
   Recuperación del proyecto por la Coordinadora de Lenguas Vida Valero Borrás en noviembre de 2010.
2. Pruebas
   Pilotaje realizado en Diciembre de 2010 con una muestra de 100 alumnos al final del  trimestre 10 O.
   A la fecha se han realizado dos pruebas en los trimestres 11-I y 11-P para la ubicación de cursos trimestrales con una población de 600 alumnos que se distribuyen en tres turnos de 200 alumnos, y dos pruebas más en 11-IP y 11-PO para la ubicación en cursos  intertrimestrales con una población de 300 alumnos que se despliegan en dos turnos de 150 alumnos respectivamente.
3. Prospectiva del proyecto
   Lograr un banco mayor de ítems para tener un reciclaje de los mismos.
   Adecuación de los reactivos a los programas subsecuentes.
   Mejoramiento del examen de ubicación y de sus procedimientos.
   Sobre la base de los resultados periódicos obtenidos de este proyecto dar paso a la integración en línea de los distintos exámenes que realiza la Coordinación de Lenguas Extranjeras de la UAM-A .
4. Retroalimentación del proyecto
   Análisis de los resultados estadísticos de las distintas muestras trimestrales.
   Análisis de los procedimientos y funcionamiento del examen.
   Presentación de los distintos momentos en foros de investigación con retroalimentación de los pares.
   Discusión colegiada periódica sobre este proyecto de investigación.

Reflexión sobre los exámenes en línea

Sobre la base de las experiencias previas descritas anteriormente, se torna útil exponer un balance general de algunos aspectos analizados, éste nos permite mostrar distintas variables a considerar para el desarrollo de un examen de con este formato, así como un comparativo entre las ventajas y desventajas entre un examen de tinta y papel y un examen en línea como se muestra en la siguiente tabla4:

VARIABLES	EXAMEN EN PAPEL	EXAMEN EN LÍNEA
Administración	Mayor gasto en papel, tinta y recursos de oficina.	Eliminación del papel y recursos administrativos como la tinta, copiadora, lápices y plumines.
	Utilización de un sinnúmero de salones.	Agrupamiento de alumnos en un solo espacio facilita la labor de control.
	Mayor gasto humano en actividades de registro, programación de salones y almacenamiento de materiales de examen.	Menor gasto humano en actividades de registro, programación de salones y almacenamiento de materiales de examen.
Maestro	Mayor tiempo en calificación de exámenes.	La obtención de calificación es inmediata.
	Errores e inconformidades en el calificado de los exámenes.	Desaparición del error en el calificado y menores casos de inconformidades.
	Elaboración de comprobantes requisitados y firmados por cada examinado.	La elaboración de comprobantes se obtiene de la base de datos que se origina durante el examen.
Alumno	El alumno puede realizar cualquier número de reactivos de cualquier nivel.	El alumno realiza sólo el número de reactivos del nivel que deberá aprobar para ingresar al siguiente paquete  del próximo nivel5.
	El alumno posee bastante experiencia en la resolución de dichos exámenes.	El alumno posee nula o poca experiencia en la resolución de dichos exámenes.
	El alumno presenta menos estrés gracias a que tiene un mayor parámetro de tiempo.	El alumno presenta mayor estrés dado que tiene menor tiempo.
	Existe una posibilidad mayor de copiar las respuestas.	El acto de copiar de otro examen se ve restringido puesto que la ordenación de reactivos es aleatoria para cada examinado.
Método	El control del tiempo de realización puede ser diferenciado.	El control del tiempo de realización es exacto.
	Los métodos de examinación lingüística pueden ser más amplios.	Los métodos de examinación lingüística se orientan a discriminación de ítems a la medida de este ambiente virtual.
	Discordancia en el horario durante la aplicación de examen que sucede desde la entrada hasta la asignación de nivel final de los alumnos.	Homologación en el proceso de examinación desde la recepción de los alumnos hasta su ubicación en el nivel asignado.
	La obtención de datos estadísticos generales se realiza de modo tedioso y con mayor gasto de tiempo.	La obtención de datos estadísticos generales se realiza con mayor velocidad y con menor gasto de tiempo.
Contingencias	El número de alumnos con retardos permanece.	El número de alumnos con retardos disminuye.
	El número de conflictos entre examinadores y examinados persiste.	El número de conflictos entre examinadores y examinados disminuye notablemente.
	Es aplicable con luz de día y sin gasto de energía eléctrica.	No es aplicable sin energía eléctrica y fallas en el sistema de red.

En la tabla anterior se identifican distintas variables que se pueden administrar mejor cuando se utiliza un examen virtual, pero vale decir que ambas propuestas son viables en una institución; lo esencial es que tanto los recursos humanos como tecnológicos se administren bien. Como último punto se subraya que la propuesta realizada se circunscribe a un universo específico como son los alumnos de la UAM-A con su conformación particular. Habría que ser cuidadosos si se desea extrapolar el examen pues el instrumento muestra un ajuste delicado entre contenidos de los cursos, programas vigentes, propuesta de evaluación y recursos de nuestra casa de estudios.

Conclusiones

Los resultados de las primeras pruebas realizadas del examen de ubicación señalan que la evaluación es rápida, la ubicación, en general, se torna fácil con una reducción considerable en el tiempo de resolución del instrumento. La mayoría de los estudiantes mostró una reacción positiva a esta modalidad de examinación. La utilización de exámenes objetivos de opción múltiple resulta ser idónea para este ambiente virtual. No obstante, se reconoce que la mayoría de alumnos no posee la experiencia previa de realizar exámenes en línea y ello produce estrés. Se espera que en un futuro cercano el estudiante se familiarice con este tipo de exámenes y entienda que para demostrar su nivel de competencia lingüística real deberá estudiar, recuperar y actualizar la información lingüística que posee pues la objetividad y la tecnología, no conocen la indulgencia y existe el riesgo de una ubicación en un nivel inferior.

Se reconoce que el instrumento de evaluación propuesto en línea es una versión perfectible y, que en este sentido, se consideran de modo constante progresos, retrocesos y adiciones en el desarrollo de la interfase, del programa, del número de reactivos y que como grupo de profesores-investigadores estamos comprometidos a realizar una evaluación que cada vez se aproxime a lo justo y se tenga el menor número de errores en la ubicación.

Estamos ciertos que en la descripción de esta experiencia, profesores de otras instituciones encuentren elementos conceptuales, espaciales, administrativos y proyectuales que los motiven y conduzcan a desarrollar propuestas de evaluación e instrumentos en línea que armonicen con sus programas de estudios, plantilla de profesores y perfil del alumnado en su institución.

Bibliografía

ALDERSON, J. C., CLAPHAM, C., & WALL, D. (1995). Language test construction and evaluation. New York: Cambridge University Press.

BROWN, J. D. (1989) Improvising ESL Placement Tests: Two Perspectives. Tesol Quarterly, Vol. 23, No 1, March 1989.

GÓMEZ, Molina José ramón (1997) El léxico y su didáctica: una propuesta metodológica. En Reale: Revista de estudios de adquisición de la lengua española. Número. 7. Universidad de Alcalá. Servicio de Publicaciones. Pp. 69-93. Disponible en http://dspace.uah.es/jspui/handle/10017/7407 obtenido el 15 de febrero de 2010.

COSERIU, Eugene (1966) Structure lexicale et enseignement du vocabuIaire. Actes du premir
colloque internacional de Linguistique appliquée, pp. 175-217.

DUBOIS, Jean et al. (1989), Diccionario de lingüística. Ed. Alianza. Madrid, España.

DUNKEL, P. (1991). Computerized testing of nonparticipatory L2 listening comprehension proficiency: An ESL prototype development effort. Modern Language Journal,
75(1), 64-73.

_________ (1999). Considerations in developing or using second/foreign language proficiency computer-adaptive tests. Language Learning and Technology, 2(2), 77-93. Retrieved February 13, 2001 from the World Wide Web: http://llt.msu.edu/vol2num2/article4/index.html.

HYMES, Dell (1974)Hacia etnografías de la comunicación. En: Antología de estudios de etnolingüística y sociolingüística. México, D.F. UNAM.

LARSEN-FREEMAN, Diane (1986) Techniques and Principles in Language Teaching. Oxford: Oxford University Press.

SCHMITT, N. & MCCARTHY, M (1997) Vocabulary in Language Teaching. Cambridge University Press.

VAN DIJK, Teum Adrianus (1987) La pragmática de la comunicación literaria. EnPragmática de la comunicación literaria. José Antonio Mayoral (comp.). Ed. Arco. Madrid, España. Pp. 171-194.

_________ (2011)  Sociedad y discurso. Cómo influyen los contextos sociales sobre el texto y la conversación. Ed. Gedisa. Barcelona, España.

YOUNG, R., SHERMIS, M., BRUTTEN, S., & PERKINS, K. (1996). From conventional to computer-adaptive testing of ESL reading comprehension. System, 2

 

---

* Francisco R. Rojas Caldelas : Licenciado en Diseño Industrial por la UAM-A, Maestro en Lingüística Aplicada de la UNAM y Doctor en Educación por la Universidad La Salle.

** Vida Valero Borrás: Licenciatura en Letras Inglesas por la UNAM. Estudios de Maestría en Aprendizaje Humano en la Universidad de Brunel, Inglaterra. Coordinadora de LE, UAM-A.

*** Gabriela E. Cortés Sánchez: Licenciada en Derecho por la UAM-A y candidata de la Maestría en Lingüística Aplicada de la UNAM.

1 De aquí en adelante.

2 De aquí en adelante.

3 Entre ellas se pueden citar, por el lado de los alumnos: ambientes sociales adversos, falta de interés hacia el aprendizaje de una lengua extranjera, poca oportunidad de práctica de la misma fuera del salón de clase. Por el lado de los maestros: falta de conocimiento de la aplicación pedagógica del enfoque comunicativo. Número de alumnos excesivo en un salón de clase que hace la clase prácticamente inmanejable. Sobrecarga académica con demasiados grupos y poco tiempo de preparación de clase. Por el lado de la política educativa: discontinuidades en los programas de estudio entre los programas de educación media básica y superior. La ponderación del inglés como materia periférica u optativa en los planes de estudio. Por último, por el lado del desarrollo de materiales: ausencia de materiales auténticos y materiales que fomenten interés entre los jóvenes.

4 En la tabla se destacan en cursivas las desventajas.

5 Cuando se realizaron los primeros exámenes considerábamos que esto sería una ventaja, pero nos hemos dado cuenta un número pequeño de reactivos constriñe al alumno al no permitirle la posibilidad de contestar los reac-tivos del siguiente nivel. Esto a veces puede resultar en una ubicación errónea. Se ha pensado en dos opciones: la primera, en aumentar el número de reactivos y la segunda, en el incremento de reactivos seleccionando el área en la cual el examinado muestra fallas para que si éste los contesta correctamente, tenga la oportunidad de acceder a un nivel superior como lo sugieren Young, Shermis, Brutten, & Perkins (1996).