Evaluación

Un examen departamental de validez comprometida en la UAM-A

Francisco R. Rojas Caldelas *
Vida Valero Borrás **
UAM - A

Resumen La evaluación del aprendizaje constituye un eje fundamental del proceso educativo. Elaborar un examen es una tarea que todo docente a cualquier nivel realiza, mas sólo una cantidad modesta suele hacerlo desde fundamentos teórico metodológicos procedimentales. En la práctica educativa frecuente se encuentran exámenes que se han copiado y pegado, otros que se han retocado levemente para aplicarlos de inmediato, sin tomar en cuenta toda la metodología que debe llevarse a cabo para realizar exámenes confiables y válidos. Este documento presenta el análisis de un caso sobre un primer examen departamental del nivel Inglés II cuya conformación exhibe diversos procedimientos erráticos referente a la construcción del mismo Se exponen en primer lugar, las consideraciones teóricas epistemológicas como son la validez de formato, del constructo y la confiabilidad. A continuación se realiza una descripción acuciosa de los reactivos y de las tareas discordantes desde los fundamentos técnicos metodológicos pertinentes. De esta forma, se examinan y se ejemplifican dichas problemáticas en un esfuerzo que nos muestra una falla de formación en lingüística aplicada o bien los recursos deficientes o ausentes respecto a la evaluación. Por último se concluye en términos paliativos a fin de llevar a cabo una reflexión que sirva para el impulso y mejoramiento de estos documentos que impactan la vida no sólo la vida de los alumnos sino también de los profesores.

Summary Evaluation of learning constitutes a fundamental axis of the educational process. Elaborating an exam is a task that every teacher at any level does, but only a modest amount usually does it with a theoretical and a methodological foundations. It is very frequent  in the educational practice that we found exams that have been copied and pasted, others that have been slightly retouched to apply them immediately, without taking into account all the methodology that must be carried out to carry out reliable and valid evaluation. This article presents the analysis of the first achievement  exam of the English level II which content exhibits diverse erratic procedures regarding the construction of the same. First, the theoretical epistemological considerations such as the format validity, the construct and the reliability.  A thorough description of the reagents and discordant tasks is given below from relevant technical methodological foundations. In this way, these problems are examined and exemplified in an effort that shows a lack of training in applied linguistics or deficient or absent resources in relation to evaluation. Finally it is concluded in palliative terms a reflection that serves for the promotion and improvement of these exams that impact the students’ but also the teachers’.

Palabras clave Instrumentos de evaluación, validez del constructo, confiabilidad, exámenes departamentales.

Keywords Evaluation instruments, validity construct, reliability, achievement test.

---

 

Introducción

En la vida escolar todos los profesores o casi todos han elaborado exámenes, se da por sentado que cada docente posee un saber ya sea por oficio o por formación sobre cómo realizar esta gran tarea de responsabilidad. Existen exámenes de todas formas y contenidos: unos formales o informales y otros más importantes, pero todos ellos van fijando nuestro paso presente y futuro dentro y fuera de nuestra vida escolar.

En este razonamiento podríamos decir que en un mundo académico ideal un examen debería ser algo casi perfecto, lleno de atributos y justezas que den fe de la persona académica en formación o bien que ya se formó. Pero como no se vive en un mundo ideal, existe un continuo que abarca lo bien realizado, lo híbrido, lo extraño, lo atípico y lo erróneo y por supuesto lo corrupto. Estas esferas orbitan en nuestro mundo de exámenes y es por ello que profundizaremos un poco sobre este tema.

Cuando se habla de un examen de logro como un instrumento de evaluación se trata de la concreción en un documento de un conjunto de consideraciones, procedimientos, técnicas y prácticas diseñadas para obtener información precisa en forma de datos, o evidencias de los alumnos, que permitan al profesor emitir juicios objetivos acerca del progreso de los mismos sobre el dominio de los contenidos así como del desarrollo de las habilidades que se enseñaron y practicaron en el salón, y su progresión en un periodo escolar sobre la base de un currículo (Universidad de Cambridge, 1998).

Estos instrumentos de evaluación respecto al dominio de una lengua extranjera (LE1) toman la forma de dos exámenes. La UAM-A se establece un binomio longitudinal de aplicación de exámenes en dos períodos, el primero a mitad del trimestre y el segundo al final del mismo. Estos exámenes se conocen como exámenes departamentales. Que se ajustan a la definición sajona como exámenes de logro previamente establecida. Pero ¿qué sucede? cuando un examen no cumple con una condición inicial y fundamental la cual plantea que un profesor de LE deberá de alguna forma:

…lograr una competencia en la elaboración de exámenes. La cual incluye: la habilidad de diseñar, desarrollar y evaluar el uso del lenguaje en los exámenes en formas que sean apropiadas para un propósito, contexto y un grupo de estudiantes que tomaran ese examen en específico. (Bachman y Palmer1996: 11)

En otros términos se pone en las manos de un profesor una gran responsabilidad académica que es la creación de un aparato documental para emitir un juicio sobre el currículo, el libro y los examinados, pero que al mismo tiempo, la figura de este individuo se somete al juicio de sus pares sobre quien diseña el examen, sobre la determinación de las tareas y conocimientos que él (y solamente él) reconoce como válidas para detectar la presencia de un atributo: el aprendizaje. Así cualquier profesor se vuelve en cierta forma un arbitrario epistemológico cuando elabora un instrumento de evaluación de quien depende el tránsito académico de cada alumno en una institución (Díaz Barriga, 1984).

En este contexto, se presenta el análisis de un caso sobre el primer examen departamental del nivel Inglés II el cual exhibe diversos procedimientos erráticos referente a la construcción del mismo que ilustran un proceder poco prolijo o bien, de falta de formación sobre cómo evaluar distintas áreas del examen. Se analizan y se ejemplifican dichas problemáticas en un esfuerzo que nos muestra una falla de formación en lingüística aplicada, a fin de llevar a cabo una reflexión que sirva para el impulso y mejoramiento de estos documentos que impactan la vida no sólo la vida de los alumnos sino también de los profesores.

Consideraciones teóricas

Para hacer una revisión más acuciosa de los aspectos equívocos del examen mencionado se procedió identificar las aproximaciones teóricas elaboradas sobre el tema desde una visión general. En las cuales se destacaron en primer lugar, la validez del formato del examen en lo general y lo específico para cada sección, en segundo término, la validez del constructo, en tercera instancia si cada tarea de examen sería confiable o no desde una primera mirada al mismo.

En este sentido procedamos a definir en qué consiste la validez de formato. Este aspecto bien puede ser llamado la “validez superficial” puesto que es meramente subjetivo y se trata de sopesar si el procedimiento que se utiliza para realizar la evaluación sólo por la mera apariencia parece ser válido. En este ámbito todo es válido, dibujos, interpretaciones de gráficas, documentos auténticos, didactizados, segmentos de textos, etc. mientras se elija un procedimiento de evaluación ya registrado y utilizado será válido. En este examen en cuestión se utilizaron:

1. Reactivos de opción múltiple con cuatro y tres opciones.
2. Discriminación entre falso y verdadero.
3. Texto con espacios en blanco (cloze deletion test).
4. Relación de columnas.
5. Composición escrita sobre un tema específico.

En la superficie, no es más que otro examen de LE que a todas luces “parece bien”. Pero este estar bien, no se cumple a cabalidad como se explicará posteriormente.

A continuación definamos en qué consiste la validez de lo que se denomina constructo. Un constructo es una entidad (objeto, sujeto, habilidad, condición, etc.) y que en la definición de ella misma se establezca que atributo, propiedad, particularidad o condición se desea medir y las modalidades de medición que se consideren óptimas para dicho atributo.

Es decir, cuando se habla de un constructo se deberá de elegir el procedimiento de medición que cada profesor o investigador considera adecuado como puede ser: un cuestionario, una entrevista, composiciones, diarios de aprendizaje, reactivos, preguntas abiertas o cerradas etc. En este sentido, el procedimiento debería representar una representación válida de aquello que se quiere medir. Y esto último es lo más difícil, pues la conceptuación desde el observatorio teórico de las tareas de examen es más un proceso de reflexión teórico metodológico práctico que se concretiza de diversas formas más que una labor mecánica de realizar reactivos o copiar procedimientos de examen.

A la concordancia que se da entre los dos aspectos anteriores con los resultados a lo largo del tiempo es lo que se considera como la confiabilidad que consiste en la consistencia en la medición conforme a distintos grupos a los que se aplica el instrumento que en nuestro caso es un examen. Pero el resultado, no siempre reflejará el desempeño actual de la persona con respecto a tal o cual atributo.

Por ejemplo: Lobrot expresa que: lo único que puedo afirmar de un alumno que contesta correctamente una pregunta de geografía es que contesta esa pregunta. Derivar de ahí que sabe geografía es algo que no se desprende lógicamente (en Díaz Barriga, 1993: 27).

Consideraciones metodológicas

Para dar cuenta de la situación ya descrita de examen se integró en el subtema anterior un marco básico de conocimientos sobre la base de una lectura crítica profunda por ello se requiere a continuación de un análisis descriptivo de los aspectos erróneos a considerar que se irán abordando progresivamente. En ellos se identificarán los puntos principales de discrepancia para conocer los significados y razones que revelan diferentes facetas en la formación de un diseñador o elaborador de exámenes.

Este método no solo ofrece una manera de caracterizar la representatividad, sino además la posibilidad de poder cotejar unos resultados con otro, al mostrar la evidencia disponible, lo cual es una forma de validación adicional en aras de ofrecer un mayor rigor en el análisis. Por último se describirá nuestra visión del impacto que tiene este examen en nuestra lógica de análisis.

Análisis Descriptivo Nivel Inglés II: comprensión auditiva

Como primera parte del examen se presenta una tarea de comprensión auditiva cuyo audio se repite tres veces para responder 10 reactivos de opción múltiple. El tema es la vida del tenista mallorquín Rafael Nadal. El objetivo principal es la obtención de información específica para responder todos los reactivos. No obstante, dos reactivos llaman la atención:

9. When did he become the best player in the world?

a) 2009

b) 2019

c) 2008

d) 2018

Parece que la intención del diseñador del reactivo es crear una confusión auditiva en la discriminación de una fecha entre two thousand nine y two thousand nineteen o bien entre two thousand eight y two thousand eighteen, pero a nivel de la lectura que se da a la par de la audición, es fácil darse cuenta que si estamos en el año 2016 los años 2018 y 2019 no han sucedido entonces se descalifican y la respuesta será 2008 o bien, 2009 razón por la cual el juego probabilístico de aumentar cuatro opciones resulta inútil y sólo se discriminarán 2 distractores.

Este modo de ver, analizar, eliminar y ver tratamiento de un reactivo en la evaluación de una LE en inglés en diversas dimensiones fue planteada por Alderson Clapham and Wall2 analizada con sus pros y contras como los mismos apuntan:

Cada alternativa equívoca debería ser atractiva por lo menos para algunos de los estudiantes. Si una opción nunca se escoge entonces hace perder a todo el mundo el tiempo y podría bien no estar allí. Generalmente es una buena idea tener al menos cuatro respuestas alternativas de tal forma que la oportunidad de adivinar de un estudiante sea de 25% pero si es imposible pensar en un tercer distractor, es entonces razonable tener sólo tres opciones. (1995: 47)

Según Burton, Sudweeks, Merrill y Wood (1991) completan este cuadro de análisis al enunciar que  un reactivo de opción múltiple debe ofrecer la posibilidad de discriminar datos en secuencias más finas, y así poder deducir que el alumno realmente comprendió la fecha indicada. Además los distractores que inducen a un tiempo futuro viola una regla de los universales lingüísticos que enuncia que a una pregunta sobre el pasado necesariamente la respuesta deberá ser en pasado.

A continuación llama la atención el reactivo 10 de dicho examen:

10. Who did he win Wimbledon title over?

a) Roger Federer

b) The champion J. Mc Enroe

c) His friend J. McEnroe

d) The champion

Parece que el propósito de este reactivo propone la discriminación de 3 individuos: 1) Roger Federer, 2) John McEnroe que se repite dos veces y 3) El campeón. Es notorio que este último y misterioso personaje “el campeón” es una aberración dado que deberíamos de exhibir una misma categoría (también llamado paralelismo) en todos los distractores es decir, si tenemos: un nombre propio completo, todos serán nombres propios completos, si son apodos entonces serán apodos, si son frases que denotan una situación de amistad o competencia entonces todos serán así, pero no una mezcla (Alderson et al 1995). Estas mezclas inducen a una ambigüedad puesto que Federer y Mc Enroe eran campeones antes que Nadal y no existe a la fecha un personaje que siempre se le haya denominado “el campeón”. Es más muchos alumnos no vieron jugar a John McEnroe y esta integración al reactivo de su nombre es demasiado forzada. De acuerdo con la Universidad de Cambridge (1998) las ambigüedades y descuidos lingüísticos exhiben no sólo un deficiente uso de la palabra escrita sino también una falta de preparación metodológica necesaria para la elaboración de un reactivo.

Comprensión de lectura

En el acuerdo académico de que el material de lectura podrá ser auténtico o didactizado, que la densidad léxica sea acorde con el nivel, llama la atención que el tema parece facilitar la comprensión porque es una biografía de Benito Juárez de lectura fácil (para un maestro). Para los alumnos exhibe algunas palabras difíciles de entender las cuales deberían ser incluidas en un pequeño glosario. Llama la atención el fragmento que dice:

“At the time, he could not speak Spanish (he spoke the language used in the Oaxacan tribe).”
Habrá que corregir este segmento y enunciarlo:

“At the time he could not speak Spanish, he only spoke Zapotec (his native indigenous language).”

Se deberá informar al elaborador del examen primeramente que no existe una “tribu oaxaqueña” y que en Oaxaca se hablan más de 5 lenguas indígenas: mixteco, zapoteco, mixe, cuicateco, triqui, chontal y otras. Si esto se escribiese en los Estados Unidos podría ser de algún modo ofensivo pues se generaliza y se estereotipa a todo un estado multicultural, no sólo indígena sino mexicano.

Otro fragmento que llama la atención dice:

[…] he began a second career as an antiestablishment Liberal politician…

Mejor sin la mayúscula:

[…] he began a second career as an antiestablishment liberal politician…

Esto podría bien ser un descuido de dedo o error del editor electrónico de textos pero que debería ser revisado para no ofrecer errores ante el alumnado.

En lo que respecta la sección II C de comprensión de lectura observemos dos reactivos que nos arrojan luz sobre la falta de formación lingüística metodológica de elaboración de reactivos.

1. His parents worked ______.

a) in a factory

b) in a school

c) on the field

d) in the land

Este reactivo con relación al texto presentado sobre Benito Juárez, sólo se puede obtener una respuesta correcta si uno sabe el significado de peasant que es campesino, asociable con las frases on the field o in the land. ¿Qué sucede si ambas opciones son erróneas? La frase on the field nos refiere a un campo de una disciplina, de una labor profesional, a un campo de futbol, mientras que la frase in the land nos refiere a un lugar mítico de ese lugar que se llama tierra, que puede ser la tierra de un país, de algún lugar de una cultura, o de algo mítico como la tierra de los titanes o los cíclopes, o fantasioso como la tierra de Oz. La respuesta correcta es in the field entendida como el campo cultivable.

Otra palabra que causa mucha confusión a primera vista presente tanto en el texto como en uno de los distractores de un reactivo es la palabra bookbinder (encuadernador), pues utilizarla nos refiere a un trabajo muy especializado y poco común. Especialmente si es la respuesta a una pregunta de examen. El hecho es que es muy difícil deducir el significado de dicha palabra y de que esta sea la respuesta de una pregunta de examen no nos parece justo.

Observe primeramente el texto:

In Oaxaca, Juarez worked with Don Antonio Salanueva, a bookbinder, who basically adopted him. Helped by Salanueva and a local teacher, Juarez eventually learned to read and write. In 1827 he graduated from the Seminary of Santa Cruz but later changed career paths and decided to become a lawyer…

Ahora el reactivo:

2. He began his second career because ______.

1. there were many lawyers
2. he was a priest
3. he was a politician
4. he was a bookbinder

Una vez más el reactivo anterior no ofrece ninguna respuesta correcta. Antonio Salanueva fue un fraile3 franciscano que hacía labores de encuadernador. Juárez fue un aprendiz de encuadernación en su taller. Gracias a Salanueva, Juárez entró al seminario. Juárez sí terminó sus estudios dentro del seminario. Nunca se ordenó porque detestaba la labor eclesiástica. Benito Juárez nunca se ordenó pero sí cumplió con los requisitos académicos de un seminario. Es decir, una terminación de estudios, no implica ser ordenado padre y sólo fue un aprendiz de encuadernación (H. Congreso de la Unión 2006: 14) .

Este texto presenta una versión modificada con una redacción muy pobre sobre un personaje icónico de la política mexicana. Del texto presentado en el examen sólo se puede inferir que Juárez fue un padre que cambió a la abogacía. El benemérito se convulsionaría en su tumba al ver un texto educativo de esta índole. Se debe cuidar más el tratamiento textual y la elaboración de los reactivos.

Presentar un reactivo de esta forma es indigno para un alumno por parte de un profesor que no revise a profundidad sus exámenes por otros pares. No se puede saber si el profesor o no sabe lo que hizo, pero la evidencia muestra que su conocimiento es práctico y que no profundiza en su labor de evaluación.

Vocabulario

En este examen la sección de evaluación de vocabulario se despliega en dos secciones. La primera incluye cinco reactivos de los cuales tres presentan algún tipo dificultad, pero ilustran una controversia entre dos tendencias en el campo de la metodología de evaluación del vocabulario en una LE. Un enfoque indica que en este juego probabilístico de incluir tres distractores más la respuesta correcta es posible incluir errores, palabras inventadas o palabras mal formadas emitidas por los propios estudiantes sobre la formación de una palabra y con ello inducirlos a aprender a distinguir el error y proceder a su eliminación para ir desechando distractores hacia la respuesta correcta.

En oposición existe otra visión que promulga que no se deben de incluir errores ni invenciones y que, si no se encuentra un enunciado prototípico con las cuatro opciones viables simplemente se deseche ese reactivo incompleto. En este sentido la primera postura conduce en muchos casos a la famosa “confusión múltiple” y la segunda ha sido etiquetada como demasiada académica4.

Observemos dichos ejemplos:

1. Terence Young is the _____ who directed the first James Bond Film.

a) filmer*

b) directed

c) director

d) direct

2. Margaret Atwood writes novels, she is a _____.

a) noveler

b) noveled*

c) novelist

d) novelician

3. Famous _____, like E. E. Cummings wrote amazing poems.

a) poemist*

b) poetess

c) poets

d) poetry

En los tres reactivos los distractores marcados con asterisco existe una intención de confundir al alumno exponiéndolo a palabras amorfas como: novelician y noveled, o de palabras que no existen en el diccionario como son: noveler o poemist, de una palabra que si existe pero que es muy poco usada como filmer (one who films).

Alderson Clapham y Wall (1995: 51)  designa a este proceder como la factura de distractores sea con morfología distinta o inventada por comisión (deliberadamente) lo que toma al alumno tiempo considerable si fue deliberado o por un simple error de edición. Recordando que se eviten errores de edición hasta donde sea posible. Así mismo en el caso de tomar esta forma de evaluar, primeramente se deberá informar al alumno y entrenarlo en estas tareas.

En los dos reactivos restantes se despliega una postura académica de evaluación de vocabulario cuyos distractores se despliegan según la temática de la formación de palabras, la cual postula que es conveniente que el vocabulario visto se trabaje en un curso mediante la discriminación de las familias de palabras asociadas y su función perteneciente a la gramática tal es el caso de:

4. Hitler didn't study politics because he didn't want to be a _____.

a) political

b) politic

c) politics

d) politician

5. I really love this design, who is the _____.

a) designer

b) designing

c) designed

d) design

Estos dos reactivos están bien realizados, pero tienen el inconveniente que dentro del curso de segundo nivel no se ve han visto todas estas formas, por lo tanto como en los anteriores se vuelven ejercicios en que el alumno usa la palabra que conoce o simplemente utiliza una estrategia de adivinación para salvar la confusión múltiple.

Sin embargo, la ventaja de los reactivos de opción múltiple es que pueden examinarse y observar cómo se comportó la muestra de alumnos mediante la observación del índice de facilidad y el de discriminación y de la retroalimentación ofrecida por los maestros que impartieron el curso y observaron el desempeño de los alumnos durante el examen. Sin estos procedimientos sólo se vuelven documentos anecdóticos en el supuesto banco de exámenes.

La sección de examen III B  de vocabulario presenta una actividad de relacionar columnas que tiene como lineamientos generales (Padua & Santos 1997: 35) tener dos columnas; la primera que se ubica junto al margen se considera como la columna de las premisas y la segunda columna, que se encuentra verticalmente paralela a la primera se conoce como la columna de las respuestas.

Este procedimiento de examen ofrece dos vertientes (ibíd.):

1. Un balance perfecto entre el número de premisas y respuestas.
2. Cuando existe una premisa o una respuesta más se considera como un balance imperfecto.

En este caso, la sección de Examen III B

El número de opciones es igual en ambas columnas, en la cual la columna inicial despliega los verbos que se consideran como premisas y la segunda columna contiene son las frases a relacionar que se consideran como resultados.

En el caso de ofrecer una opción más ya sea en la premisa o resultados este componente extra trabaja como un distractor y así se incrementa la dificultad del examen. Este procedimiento se usa en exámenes de niveles más altos de dominio de una LE a partir de cursos avanzados. De esta forma, se podrá saber si el examinado puede distinguir entre el acierto y el error ayudados por el factor tiempo que siempre dificulta más cada situación de examen.

En el caso que nos atañe se trata de una medición de vocabulario. En la superficie dentro del contexto de validez de formato está aparentemente bien, pero aduce dos problemas. El primero llama la atención, dado que esta actividad se asemeja más a un ejercicio de clase que sirve como entrenamiento llevado a un examen en el cual el constructor del examen sólo copió y pegó. Ello habla de la superficialidad de la realización de un instrumento de medición serio. Si lo anterior no es suficiente, basta añadir que deja de la lado la contextualización del dominio de una LE en distintos ámbitos, bajo los lineamientos del enfoque comunicativo. Lo peor es la instrucción del examen que exhibe una condición injusta bajo los criterios de constructo y validez pues a la letra dice:

“Match the verbs with the expressions. Write the answers in alphabetical order” esto indica que está midiendo dos constructos a la vez. El primero sería la dificultad de encontrar la relación correcta entre la premisa y el resultado. El segundo sería que los resultados deberán por fuerza ser listados en orden alfabético. Es una regla básica de evaluación que una tarea de examen sólo podrá evaluar un solo aspecto del lenguaje.

Es decir si se tiene:

Go	shopping		Go	for a walk
	on vacation			on vacation
	for a walk			shopping
Incorrecto: no cumple ambas condiciones o sea, 1) relacionar columnas y 2) respuestas en orden alfabético.			Correcto: ambas condiciones se cumplen de la instrucción de examen.

En la propia lógica del examen, nadie sabe con certeza si los alumnos entendieron la instrucción; lo peor es que existen maestros que no tienen el cuidado de leer bien el examen y que en teoría estos exámenes fueron revisados por maestros expertos. El caso es que se asignaron calificaciones y las injusticias que se hayan dado debido a la irregularidad presente en el documento se habrán aplicado una vez más en el salón de clase sin estimar el ridículo y vergüenza de profesores revisores e institución.

Confiabilidad

Estos fallos son los que más llaman la atención pero habrá que procesar esta experiencia en lo positivo y ver la perfectibilidad de este documento. Por último se incluye esta una que nos permite visualizar mejor las fallas existentes en este examen obsérvese:

Constructo	Procedimiento	Face validity	Reactivos correctos	Fallas generales	Impacto en la calificación
Comprensión Auditiva	Multiple choice 4 options	Correcta	8 de 10		Menos 2
Comprensión de lectura	6 reactivos F o V 4 reactivos multiple choice	Correcta	8 de 10	No se incluye un glosario en el texto. Texto en secciones mal redactado y lleno de falacias.	Menos 2
Vocabulario	5 reactivos opción multiple 4 opciones Relación de columnas 10 reactivos	Correcta	3 de 15		Menos 16
Uso del idioma	Cloze Opción multiple 4 opciones 8 reactivos 2 reactivos mini conversaciones Opción múltiple	Ambiguo el cloze se utiliza en la evaluación del vocabulario y situaciones de contextos. Pero cumple con la homogeneidad de evaluar un solo constructo.	9 de 10	Expresiones idiomáticas difíciles Reactivos muy largos	Menos 2
Pronunciación	Opción multiple 10 reactivos 3 opciones	Correcto	10 de 10		0
Producción escrita	Composición 60 – 80 palabras.	Correcto			0

Tabla 1 incorrecciones presentes en el examen Inglés II primer examen departamental

Si se obtiene un total de 22 reactivos y un texto mal presentado la calificación máxima sería de 7.8 que equivaldría a sacar 10. Entonces la línea real de pase que se les pide a los alumnos que es de 7 para pasar al desechar todos estos reactivos sería de haber obtenido una calificación en el parámetro de 5.46 a 7.8 y en esta banda asignar desde el 7,8, 9 y 10. La asignación de calificaciones sería distinta y problemática para cada maestro que haya ofrecido este curso.

En síntesis, el análisis realizado muestra que este examen no es confiable, no obstante, es fácil implantar este examen obligatoriamente y se observaría que el comentario iría desde la queja severa hasta la opinión de que el instrumento está bien diseñado. La confiabilidad propone una consistencia en la medición, pero si el instrumento es erróneo, el texto es ofensivo y tiene reactivos con respuestas erróneas y otras inexistentes e instrucciones confusas, y que como resultado la asignación de calificaciones sería una lotería. Bachman y Palmer (ibíd: 22-3) y Mendoza (2009: 23) nos recuerdan que toda esta galería de inconsistencias despedaza la confiabilidad por ello recomiendan minimizar desde la planeación del examen tratar de visualizar y controlar todas estas situaciones, pese a que en algunos casos no será posible erradicarlas al 100%. Así se finaliza este análisis descriptivo y se informa que en el apéndice 1 se incluye el texto de examen.

Conclusiones

En la evaluación, ninguna situación se debe llevar al extremo de la negatividad pero si se considera que estamos ubicados en un contexto educativo mexicano con distintas atmósferas y niveles, nos pareció irónico que los sentires sobre el análisis de un examen de alta calidad sean los mismos que los que se presentan en una clase de inglés. El día 22 de Agosto de 2016 leímos un artículo llamado “Los mejores maestros critican la evaluación docente” de allí tomamos algunos pensamientos generales para concluir esta reflexión.

Se debe reconocer que la evaluación forma una piedra angular del sistema educativo, pero dicho proceso debe ser armonizante en cuanto a contenidos y a formas pedagógicas que se siguen durante la clase, la valoración derivada de ella debería ser un espejo en el cual tanto el profesor como el alumno se vieran reflejados su enseñanza y su aprendizaje. Del mismo modo, se sabe que nunca la evaluación dará cuenta de todo lo aprendido en el aula, y en especial de algo tan enorme como lo es el estudio de una lengua y todos sus componentes. Si existe una falla en esta armonía se vulnera la relación entre los maestros y los alumnos y ambos actores quedan con un mal sabor educativo.

Si se informa que un examen está mal diseñado, es necesario ofrecer al realizador una retroalimentación seria, no una serie de correcciones y tachones o comentarios que no dan lugar a una reflexión colegiada. Nuestra labor como profesores investigadores es profundizar y llevar al escrutinio de la indagación de lo que se puede inferir de este actuar sea en lo positivo como en lo negativo. Siempre con una visión del impulso educativo.

Este es el caso de este examen que se debería reconstruir en distintas secciones y hacer consciente a su autor de los procedimientos erróneos seguidos en aras de evitarlos en el futuro y, que si es necesario que tome o retome cursos de evaluación entonces proponerlos porque la mayoría dice haber tomado una gama de cursos pero, parece que el tema es espinoso, aburrido y tedioso; así es la realización de exámenes. En suma, Unos maestros pueden y otros no.

Es muy difícil y penoso informar a un profesor cuáles son sus deficiencias y menos con gente que lucha por ganarse la vida en las aulas. Sin embargo, en palabras del rector Jorge Heriberto Torres Díaz: “Muchos maestros que carecen de compromiso misional funcionan como empleados que cumplen con su trabajo por inercia, olvidando que su compromiso es el de transformar vidas. Asumen ser docentes más por necesidad que por responsabilidad social…” y lamentablemente este factor de exceso laboral o de hacer el esfuerzo mínimo en varias instituciones se muestra claramente en la construcción de exámenes menos serios y profesionales.

Bibliografía

Alderson, J. C., Clapham, C., & Wall, D. (1995). Language test construction and evaluation. Cambridge: Cambridge University Press.

Bachman, L.F. and Palmer, A. (1996). Language testing in practice. Oxford: Oxford University Press.

Burton, Sudweeks, Merrill y Wood (1991) How to Prepare Better Multiple-Choice Test Items: Guidelines for University Faculty. Ed. Brigham Young University Testing Services and The Department of Instructional Science. Disponible en https://testing.byu.edu/handbooks/betteritems.pdf

Diaz Barriga Ángel (1984) Tesis para una teoría de la evaluación y sus derivaciones en la docencia en., Didáctica y Curriculum. Ed. Nuevomar, México, 1984.

________________ (1993) El examen: textos para la historia y su debate. Ed ANUIES. CDMX.

El espectador, diario en línea (2014) Los mejores maestros critican la evaluación docente. Sección de educación. Disponible en http://www.elespectador.com/noticias/educacion/los-mejores-maestros-critican-evaluacion-docente-articulo-495823 recuperado el día 22 de Agosto de 2016.

H. Congreso de la Unión (2006) Benito Juárez Benemérito de las Américas. Consejo editorial de la cámara de diputados disponible en:
http://www.diputados.gob.mx/sedia/biblio/virtual/dip/benemerito/02_capitulo1.pdf obtenido el 16 de agosto de 2016.

Mendoza González Estela (2009) Comparación de Toefl y First Certificate: Validez y Confiabilidad. Tesis de Maestría en Lingüística. Universidad Autónoma de Querétaro.

Padua, Roberto N. y Santos, Rosa G. (1997) EDUCATIONAL EVALUATION AND MEASUREMENT: THEORY PRACTICE AND APPLICATION. Katha Publishing Company Incorporated. Ed. MG reprographics Inc. San Juan, Metro Manila.

University of Cambridge (1998) An Introduction to Language Testing. Cuadernillo de materiales del curso SEPAINGLES Item Writers Course.

 

---

* Francisco R. Rojas Caldelas:Licenciado en Diseño Industrial por la UAM-A, Maestro en Lingüística Aplicada de la UNAM y Doctor en Educación por la Universidad La Salle.

** Vida Valero Borrás: Licenciatura en Letras Inglesas por la UNAM. Estudios de Maestría en Aprendizaje Humano en la Universidad de Brunel, Inglaterra. Coordinadora de LE, UAM-A.

1 De aquí en adelante.

2 En la obra mencionada la sección 3.5.2 presenta una serie de casos para la reflexión desde la perspectiva del enfoque comunicativo.

3 Un fraile es un eclesiástico que todavía no hace votos de castidad ni de clausura, en algún momento deben de hacer votos de pobreza, castidad y obediencia, y no forzosamente tiene que ser un sacerdote. El sacerdote sí está facultado dado que es un hombre que ha recibido el sacramento del Orden Sacerdotal, y que en virtud del mismo puede celebrar el sacrificio de la misa y realizar otras tareas propias del ministerio pastoral.

4 Que es la postura que sigue Charles Alderson et al mencionada anteriormente.