Evaluación

Cuando 10 es mucho en comprensión de lectura: errores y desatenciones

Francisco Roberto Rojas Caldelas *
Vida Valero Borrás **
UAM - Azcapotzalco

Resumen El presente artículo muestra una serie de reflexiones en torno al examen de comprensión de lectura perteneciente al Examen de Certificación A2 de la UAM Azcapotzalco. Se trata de describir, sin juicio de valor, demandas directivas provenientes a nivel de coordinación que han tenido un efecto negativo en la elaboración de exámenes y que han influido en la evaluación lingüística de los estudiantes. Se describe un examen que comprende dos lecturas evaluadas por diez reactivos; en ambos documentos se encuentran una serie de desatenciones tanto en el plano de desarrollo de reactivos de opción múltiple como en el conocimiento de la evaluación de la comprensión lectora. Así mismo, se exponen tablas comparativas, se describen yerros en la elaboración de reactivos y la corrección de los mismos. Se discute de igual forma, la pertinencia de distractores como It doesn’t say, none of the above, all of the above, que hacen más compleja la labor lectora. En el mismo tono, se discute la falta de paralelismo entre el flujo de la lectura y secuencia de preguntas que algunos elaboradores de exámenes solo revuelven con los reactivos y promueven una lectura caótica, oscura y difícil que se deriva como un factor más de la denominada “confusión múltiple”.

Summary This article shows a series of reflections about the reading comprehension test belonging to the Certification Exam A2 of UAM Azcapotzalco. It is a matter of describing, without bias, directive demands coming from the Coordination of Foreign Languages that have had a negative effect in making exams and that have influenced the linguistic evaluation of the students. An examination comprising two readings evaluated by ten reactives each is described; in both documents there is a series of carelessness both in the development of multiple choice items and in the knowledge of the reading comprehension evaluation. Likewise, comparative tables are presented, errors are described in reactives’ construction and their correction. This article also discusses the relevance of distractors such as: It does not say, none of the above, all of the above, which make the reading task more complex. In the same way, the lack of parallelism between the flow of reading and the sequence of questions is discussed. Some test creators only shuffle the reactives and promote a chaotic, obscure and difficult reading that is derived as one more factor of the so-called "multiple confusion".

Palabras clave Opción múltiple / elaboración de reactivos / evaluación de comprensión lectora.

Keywords Multiple choice / reactives construction / reading comprehension evaluation.

---

La exigencia institucional

Casi todas las instituciones de educación superior exigen la comprensión de lectura en una lengua extranjera (LE) como requisito de titulación para obtener el grado de licenciatura. Hace 18 años entraron en vigor, en la UAM, las recomendaciones del Colegio Académico que establecen dicho requisito. Después de todos estos años, debemos hacer notar que, aunque cada campus ha tratado de llevar a cabo dicha encomienda, en el caso de la UAM Azcapotzalco, los diferentes criterios instituidos por las coordinaciones de las licenciaturas así como la de CELEX no han podido homologar los requisitos de titulación que debieran expresarse en los planes y programas de estudio de las licenciaturas.

Históricamente  la UAM Azcapotzalco se estructura en tres Divisiones, Ciencias Básicas de Ingeniería, con 10 licenciaturas: Ingeniería Ambiental, Ingeniería Civil, Ingeniería en Computación, Ingeniería Eléctrica, Ingeniería Electrónica, Ingeniería Física, Ingeniería Industrial, Ingeniería Mecánica, Ingeniería Metalúrgica, Ingeniería Química; Ciencias y Artes para el Diseño con 3 licenciaturas: Arquitectura, Diseño de la Comunicación Gráfica y Diseño Industrial y por último,  la División de Ciencias Sociales y Humanidades con 4 licenciaturas: Administración, Derecho, Economía, y Sociología. Estas tres Divisiones ofrecen un total de 17 licenciaturas y cada División con sus respectivas coordinaciones de carreras tienen puntos de vista particulares sobre el requisito de titulación. En este universo académico, CELEX lidia de modo constante con las visiones cambiantes de los coordinadores de estudios en cada gestión a fin de aportar soluciones idóneas.

La División de Ciencias Básicas de Ingeniería es la que, a pesar de tener incongruencias, estima una gama de alternativas.  Los requisitos para que los alumnos obtengan el título son: haber acreditado el conocimiento equivalente al nivel A2 del Marco Común Europeo de Referencia de los idiomas inglés, francés o alemán por medio de cursar los 3 primeros niveles de alguna de esas lenguas impartidas en CELEX; aprobar el examen de Certificación A o superior, o el examen de Comprensión de lectura que se aplica en CELEX; o bien presentar un certificado de una institución equivalente a los requisitos anteriores.

Sin embargo, en la División de Ciencias Sociales y Humanidades, dos de sus licenciaturas, Administración y Derecho requieren, para la titulación de sus alumnos, que hayan cursado los 3 primeros niveles de algunos de los 3 idiomas (inglés, francés o alemán) que se imparten en CELEX o aprobar el examen de Comprensión de lectura. La licenciatura de Sociología requiere el nivel III de cualquier idioma que se imparte en la CELEX o aprobar el examen de Comprensión de lectura que se aplica en dicha Coordinación, para que sus alumnos ingresen al área de concentración (materias que se cursarán durante tres trimestres el último año de la carrera). Y la licenciatura de Economía sólo requiere que sus alumnos aprueben el nivel III de inglés o el examen de Comprensión de lectura para ingresar a su área de concentración. De este modo, obtienen el requisito de idioma para su titulación con un año de antelación.

Ahora bien, todas las licenciaturas de la División de Ciencias y Artes para el Diseño requieren que sus alumnos hayan aprobado el nivel III de cualquiera de los 3 idiomas (inglés, francés o alemán) que se imparten en CELEX o el examen de Comprensión de lectura que se aplica en dicha Coordinación para entrar a sus áreas de concentración o troncos de integración y así obtener el requisito de idioma para su titulación.1

La propuesta de CELEX Azcapotzalco

En la examinación certificativa del inglés cada institución pone un énfasis particular en su modo de examinar. En ella se trata de ajustar con dificultad una metodología de enseñanza, un perfil de alumno, un método de evaluación que abarque su propia población, un ajuste a estándares internacionales y una serie de directivas específicas que determinan un formato de examen que satisfaga los requerimientos anteriores.

Los requerimientos para los exámenes de comprensión de lectura como requisito de titulación establecidos por la Coordinación de CELEX fueron los siguientes:

• Examen para aplicar en línea
• 20 reactivos en lengua meta.
• Tabla de especificaciones en español que indique los conocimientos específicos a profundidad del conocimiento que se evalúan a lo largo del examen.
• Glosario de 5 a 6 palabras máximo, en su caso.
• Texto entre 3 y 4 cuartillas si es a doble espacio o de dos cuartillas si el interlineado es menor.
• Puede llevar ilustraciones.
• Debe llevar siempre la fuente.
• El texto debe ser en la lengua que se va a evaluar.
• El tema debe estar relacionado con la licenciatura.
• Las instrucciones deberán ir en español.2

Derivado de estas demandas académicas de evaluación se desprendió un trabajo académico valioso que a nuestro modo de ver no cumplió cabalmente con lo establecido, en cuanto a la modalidad correcta de evaluación. Si uno observa ágilmente el examen desde la superficie no parece tener errores. Más en la profundidad y en su ponderación suceden fenómenos que ilustran esta discusión. De esta forma, surgieron realizaciones de exámenes poco afortunadas que influirán sobre la certificación lingüística de generaciones de alumnos.

Para los exámenes de comprensión de lectura se acordó por CELEX un formato de opción múltiple. Ello obedece a su facilidad de calificado.  A la posibilidad de analizar los reactivos y sobre todo que es un método usado en múltiples exámenes dentro de la trayectoria escolar de los alumnos. Pese a ser un formato familiar ofrece dificultades. De acuerdo con Paul (1993). Una dificultad es que cada reactivo diseñado debe contener un rationale. Este vocablo nos refiere a varias significaciones: razón primordial, lógica, o fundamento. (Merriam-Webster Dictionary, 2018).

En la visión didáctica de Susan Morrison y Kathleen Walsh Free (2001: 19) la persona que elabora un examen, bien sea de una prueba de comprensión de lectura o de conocimientos de una disciplina, aparte de construir la serie de reactivos de opción múltiple, cada reactivo debe ofrecer un rationale el cual debe ofrecer información sobre cada pregunta, afirmación incompleta o enunciado para completar,  en el cual se justifique con fundamento por qué cada distractor es incorrecto y por qué la respuesta idónea resuelve lo planteado.

En otros términos, se trata de una clave de respuestas en extenso la cual ofrece información sobre cada pregunta, afirmación incompleta o un enunciado para completar; en el rationale se justifica con fundamento por qué cada distractor es incorrecto y por qué la respuesta idónea resuelve la cuestión planteada. En el caso de la revisión de un examen por los pares o un comité se facilita la revisión y se aclara cualquier duda.

Esta condición es evidente, si algún profesor ha impartido el curso de TOEFL. En el apéndice del texto (Sharpe: 2016) se observa toda la galería de rationales para todas las lecturas. No obstante, en la práctica común este factor se omite y se realiza al soslayar el rationale de modo habitual, pues implica más trabajo y en su desarrollo se evidencia lo difícil que es construir reactivos bien realizados. Vale recordar las partes que constituyen un reactivo:

Figura 1. Partes que constituyen un reactivo.

De la misma forma, siguiendo a Morrison y Walsh Free (Ibíd.), a los estudiantes en los cursos impartidos y a lo largo de su progresión educativa se les debería permitir ver ejercicios similares a los de este tipo de prueba para que puedan aprender a realizar estos exámenes debidamente. Desafortunadamente, esta habilitación de aprendizaje en todos los niveles también se omite.

El examen de comprensión de lectura certificación A2

El examen de comprensión de lectura Certificación A2 versa sobre dos textos (Anexo 1). El primero despliega 267 palabras en 6 párrafos. Respecto al contenido de tiempos verbales se utilizan el presente, pasado y presente perfecto. Existe una oración condicional y algunas negaciones de distintos argumentos con las respectivas oraciones explicativas a continuación. Se trata de un texto descriptivo en un formato de entrevista y dos turnos discursivos. Observemos como se despliegan las tareas de lectura en el texto en la siguiente tabla:

Primera lectura en el examen de certificación A2
Reactivo	Ubicación	Tipo de pregunta	Contenido lingüístico	Valoración
1	Primer párrafo	Localización de Información específica	Comparativos	Incorrecto Distractores Erróneos
2	Tercer párrafo	Inferencia implícita sobre la línea de tiempo	Vocabulario	Correcto
3	Cuarto párrafo	Inferencia implícita sobre posesiones	Vocabulario	Correcto
4	Tercer párrafo	Localización información especifica	Identificación mismas palabras	Correcto
5	Sexto párrafo	Localización de información especifica	Identificación mismas palabras	Correcto
6	Sexto párrafo	Localización de información especifica	Presente perfecto	Incorrecto Distractores Erróneos  Raíz del reactivo es discordante
7	Cuarto párrafo	Causa y efecto	Enunciado argumentativo	Correcto
8	Cuarto párrafo	Inferencia información especifica	Enunciado sobre actividades frecuentes	Correcto
9	Cuarto párrafo	Inferencia implícita sobre parques	Sentido del texto	Correcto
10	Sexto párrafo	Localización de información especifica	superlativo	Correcto

Tabla 1. Primera lectura en el Examen de Certificación A2

El segundo texto presenta, en un formato conversacional de 245 palabras entre 2 hablantes (un detective y una víctima) y un narrador, un robo de varios pasteles. Se realizaron diez reactivos. En la extensión de esta lectura es visible que existen 4 reactivos que ofrecen signos de ser una añadidura a un ejercicio de comprensión de lectura ajustado para ser o parecer un examen, tomado de algún material editorial o realizado mediante un test crafter.

Segunda lectura en el examen de certificación A2
Reactivo	Ubicación	Tipo de pregunta	Contenido lingüístico	Valoración
1	1er turno conversacional narrador	Localización de Información específica	Presente	Correcto
2	2º turno conversacional narrador	Inferencia explícita sobre el estado emocional de un personaje	Presente	Correcto
3	4º turno conversacional Narrador	Localización de información específica	Presente perfecto	Correcto
4	Ejemplo y reescritura	Reescritura	Asociación de adverbios equivalentes	Incorrecto no es escritura
5	La ubicación puede ser múltiple	Inferencia implícita sobre el futuro	Causa y efecto	Incorrecto
6		Localización de información específica	Presente perfecto	Incorrecto Distractores erróneos  Raíz del reactivo es discordante
7	Ultimo turno conversacional detective	Causa y efecto	Enunciado argumentativo	Correcto
8	Título	Conocimiento del mundo extratextual	Definición	Incorrecto
9	Parte media del texto	Inferencia implícita sobre el robo	Sentido del texto	Correcto
10		Inferencia sobre  el sentir del personaje	Vocabulario	Incorrecto

Tabla 2. Segunda lectura en el Examen de Certificación A2.

Como se observó en la realización de este examen, respecto a la solicitud de la CELEX, se cumplió con la elaboración de veinte reactivos; diez reactivos para cada lectura. En la superficie de formato parece ser un examen sin fallas. Sin embargo, es valioso observar que, con los yerros descritos, las desatenciones sucedidas pueden ser solucionadas debidamente.

Faltas de realización encontradas

Al examinar con atención los problemas de los reactivos mencionados, se pueden observar las desatenciones y faltas, bien sea por descuido o por falta de conocimientos metodológicos de los realizadores del examen, hechos que impactan en los estudiantes que toman el examen de certificación A de la UAM Azcapotzalco. Este examen sirve según ciertas carreras para liberar el requisito de titulación.

Describamos con detenimiento cada falta de atención.

La resolución del reactivo está en el primer párrafo:

“Vancouver is the third biggest city in Canada.”

Si Vancouver es la tercera ciudad más grande de Canadá no exhibe elementos categóricos de superioridad sobre todas las otras ciudades.  Por ello el reactivo es erróneo, no se puede solucionar, pero si leemos un poco más en la lectura se obtienen elementos para elaborar un reactivo usando los superlativos.

“A recent study showed that is the best city in the world to live. The study looked at areas like weather, transportation, education, healthcare and safety. This study happens every year and Vancouver is usually number one.” 

De esta parte de la lectura es posible desarrollar por lo menos tres reactivos enfocados en superlativos o comparativos de distinta índole.  Por ejemplo: 

De esta forma queda resuelto este reactivo.

La subsiguiente falla encontrada surge de inmediato, en el segundo reactivo dado que despliega un sesgo de género que afecta la interpretación que una mujer hace del mismo.

Describamos esta situación:

Si uno aborda este reactivo desde una perspectiva fría y matemática del ser en el tiempo y, se visualiza como una línea lógica de tiempo, es fácil afirmar que la respuesta correcta es la alternativa 1. born, pero si uno lo analiza desde la visión femenina, desde la vida biológica y emocional de una mujer existen dos alternativas correctas, 3. a baby y 1.  born. Para una mujer, la vida de un ser que lleva en su vientre, desde ese momento y durante todo el embarazo, se denota como baby. En las visitas al ginecólogo, en las grabaciones de latidos del corazón, al momento de salir de su útero siempre se habla de un bebé y existe la frase a newborn baby (bebe recién nacido).

El reactivo se puede solucionar al utilizar la frase a child en lugar de baby.

La siguiente desatención se encontró en el sexto reactivo de este examen, la forma en que se presenta denota tanto problemas de mala lectura del texto como de redacción del mismo y su realización no es posible.

La información se encuentra en esta parte del texto:

“I’ve eaten wonderful dishes from China, India, Italy, Greece and Japan and I haven’t been to any of those places.”

El problema estriba en la redacción, por la forma en que está escrito el reactivo induce al estudiante a buscar una palabra que complete el enunciado. El factor de descontrol estriba en el uso del pronombre It del cuarto distractor. Éste nos refiere al texto. Lo cual hace que el alumno decida optar por esta alternativa sólo por contener una negación, a pesar de que el distractor y la raíz del reactivo están mal realizados.  El reactivo es corregible si se redacta de esta forma:

Vale la pena recordar que enunciados como: It doesn’t say, none of the above, all of the above, no pueden ser utilizados si en la raíz del reactivo se da la instrucción de “escoger la mejor opción” pues ésta no está presente en el texto. Utilizar este tipo de distractores obscurece el significado3, hace parecer al reactivo como una actividad truculenta y toma mucho tiempo la resolución del mismo (Heaton 1975; Nevo 1982; Frey, B. B., Petersen, S., Edwards, L. M., Pedrotti, J. T. y Peyton: 2005). En breve, se llevan cinco décadas de advertencia contra el uso de estos distractores y empero, persisten en exámenes y libros de texto.

Sin embargo, Rodriguez (2012) apunta la existencia de estudios que muestran que no hay un factor estadístico determinante de incremento o decremento en la resolución de estos reactivos. No se sabe bien, si en estas mediciones el distractor menos utilizado fue substituido por none of the above o se pensó realmente el reactivo para usar none of the above. Existen paradojas que muestran que si se utiliza este distractor como respuesta correcta   y el reactivo es difícil un porcentaje mayor de estudiantes lo selecciona como correcto. Es decir, fomenta en alumnos que se presentan sin estudiar el acto de adivinación.

Unos lo justifican al argumentar que no son muchos los reactivos que utilizan estas formas en un examen. He allí el fundamento de su utilización con objeto de hacer algo más difícil o deductivo un reactivo. De modo contrario, el mismo autor comenta (2005) que el mismo efecto deductivo se puede obtener más favorablemente en cuanto a discriminación y confiabilidad si los distractores tienen mayor calidad y se emplean menos distractores.

A continuación se muestra, en nuestro punto de vista, otro error del examen es tratar el orden de los reactivos aleatoriamente y que éstos hayan sido vertebrados en desorden, lo cual arroja múltiples regresiones en la lectura y desesperación del alumno por resolver todo el examen. Observemos la siguiente tabla comparativa: 

Secuencias de lectura comparativas
Reactivo	Secuencia de lectura por el autor para encontrar la información	Secuencia de lectura sugerida y ordenada.
1	Primer párrafo	Primer párrafo
2	Tercer párrafo	Tercer párrafo
3	Cuarto párrafo	Tercer párrafo
4	Tercer párrafo	Cuarto párrafo
5	Sexto párrafo	Cuarto párrafo
6	Sexto párrafo	Cuarto párrafo
7	Cuarto párrafo	Cuarto párrafo
8	Cuarto párrafo	Sexto párrafo
9	Cuarto párrafo	Sexto párrafo
10	Sexto párrafo	Sexto párrafo

Tabla 3. Secuencias de lectura comparativas

Ante los datos visibles de esta tabla, es fácil imaginar los orígenes del comentario de los alumnos sobre los exámenes denominados de “confusión múltiple”, en el cual se refiere a los cuatro reactivos. En este caso, además de los reactivos incorrectos sin solución, la vertebración caótica de los diez reactivos da como resultado un desafío para encontrar la respuesta en un intento deliberado de crear confusión. O tal vez, el realizador del examen es lo que él entiende por un examen de lectura.

Respecto a la segunda lectura se compone de diez reactivos y de ellos existen cinco reactivos erróneos por falta de atención, añadiduras a una lectura que parece terminada, alineación caótica y evaluar conocimientos que no corresponden a la lectura como son el conocimiento del mundo y la reescritura. Es válido puntualizar cada caso para observar esta gama de yerros y desecharlos o bien recuperarlos mediante la corrección.

Reactivo cuarto del segundo examen:

En primer lugar, la progresión de estudios de la lengua inglesa de distintos programas propone que la utilización de distintos verbos modales para expresar certeza es posterior a un nivel A2.  De la misma forma el uso de adverbios de tiempo para expresar duda, probabilidad certeza y prohibición son temas no contemplados en cursos básicos. Además, la oración propuesta no existe en la lectura lo cual tiene un efecto negativo en el próximo reactivo.

Reactivo quinto del segundo examen:

Al erróneamente existir una tarea escritural previa ya descrita, el alumno en el reactivo siguiente, no tiene una pista textual clara sobre cuál es el referente causal para derivar una respuesta. Entonces no sabe dónde ubicarse dentro del texto. Así comienza una labor deductiva de eliminación. Se descartan los dos primeros distractores por la imposibilidad de que el detective realice una actividad de repostería. Entonces si el referente propuesto es el reactivo anterior, una respuesta posible es que el detective haga más preguntas.  No obstante, si el referente es el último enunciado entonces se tendría que cambiar los distractores. Se propone la siguiente corrección:

Con estos ajustes es posible recuperar la intención del autor del examen. El distractor 1 se elimina por cierta imposibilidad de ejecutar la acción de repostería en ese lugar, pero se distrae al alumno por abordar el tema sobre los pasteles que es el último tópico. El distractor 2 no es posible, porque la Srita. Gervis es la víctima y se desecha un auto robo. El distractor 3 es la solución pues el detective tendrá que realizar más investigación de hechos y por tanto deberá realizar más preguntas. El distractor 4 sugiere que va examinar las ventanas de nuevo, pero según el texto, él está seguro que no se han abierto en meses, por tanto, este distractor se elimina.  Esta es una posibilidad de recuperar este reactivo.

En este examen, de acuerdo con la progresión de lectura, el texto se ha finalizado. No obstante, los últimos tres reactivos son añadiduras visibles para cumplir con la demanda de elaborar 10 reactivos. Entonces el realizador regresa al principio y toma el título de la lectura “A Mystery” y propone una pregunta “What is a Mistery?” y realiza un reactivo correcto, al preguntar “¿qué es un misterio?”, sin embargo, eso es conocimiento del mundo.

De nuevo comienza la confusión múltiple y a leer de nuevo el texto. El siguiente reactivo sigue el mismo tenor y se trata de localizar información específica ubicada a la mitad de la lectura siguiendo la segunda secuencia de lectura en orden. Por último, se observa la realización de un reactivo en el cual el autor del examen, en sus distractores, hace uso de la figura retórica hipérbole, que proviene del latín hyperbŏle, y ésta del griego  ὑπερβάλλω hyperbolḗ 4. Esta figura consiste en la exageración o disminución de una circunstancia para crear un efecto en el escucha y dar más fuerza al discurso. Como se presenta a continuación:

Como se observa todos los distractores del primero al último están bastante exagerados, cosa que los descalificaría por redundantes. Lo difícil en un examen de opción múltiple es que en estos reactivos para describir emociones, estados mentales o patrones de conductas, cada adjetivo tiene una definición bastante precisa y se cometen errores al utilizarlos. Describámoslos en español:

Si uno comprende bien la significación de cada término, la resolución del reactivo se torna fácil, pero en los alumnos cuyo vocabulario es restringido y aparte se incluyen expresiones como con “pitos y campanas”, que ni siquiera saben de ella en un nivel A2. El resultado es incierto. Sería más favorable la elaboración del reactivo de la siguiente manera:

De esta forma se disuelve la hipérbole y se elimina al mismo tiempo el distractor erróneo “With fear and panic”.  Que nos habla del temor,  un estado de miedo y del pánico que es un miedo mayor que inmoviliza. Es decir, estos estados son graduales, no simultáneos y que juntos resultarían ilógicos para un detective que investiga un robo de pasteles.

Una vez más en el análisis se evidencia que se harán dos lecturas, una primera con dos reactivos erróneos y la segunda con otros dos reactivos erróneos. Para solucionar esta falta de organización se propone la siguiente reordenación de los reactivos ya corregidos:

Arreglo de preguntas sugeridas en la segunda lectura
Ordenación del autor	Ordenación sugerida
Reactivo 8	1. What is a mystery?
NuevoReactivo	2. The word wrong on line 2 in  italics can be substituted for…
Reactivo1	3. Where does this story takes place?
Reactivo2	4. According to the following description, how does Ms.   Gervis feel?
Reactivo3	5. What makes the detective sure that the robber did not come through thewindows?
Reactivo9	6. What else did the robber steal from herapartment?
Reactivo5	7. What does Ms. Gervis do with her cakes?
Reactivo 10	8. “You can’t do that” says the detective with alarm.
Reactivo 6	9. “I must solve this case immediately” What will the detective do next?
Reactivo 7	10. What does the detective seem to think will happen, if he solves the mystery?

Tabla 4. Arreglo de preguntas en la segunda lectura.

Después de observar esta tabla y analizar la secuencia de preguntas ya organizadas para armonizar con el proceso de lectura. Se hace evidente el orden de eventos y un modo de leer no caótico propiciado por preguntas sin orden y falta comprensión del acto de leer. La estructura textual se hace evidente y se evita la confusión en los alumnos.

Se establece que para completar la exigencia de CELEX de tener diez reactivos por lectura se desarrolló el siguiente reactivo:

El reactivo despliega sus cuatro distractores con connotación negativa y tres de ellos son cognados verdaderos lo cual hace un poco más asequible la resolución y se ajusta bien al nivel A2. Con motivo de finalizar este análisis observemos la secuencia de preguntas en una tabla comparativa de las preguntas presentes para visualizar la problemática descrita:

Ordenación de la segunda lectura: autor y correcciones sugeridas
Preguntas del examen original	Sugerencias de ordenación propuesta
1. Where does this story takes place?	1. What is a mystery?
2. According to the following description, how does Ms.  Gervis feel?	2. The word wrong on line 2 in italics can be substituted for…
3. What makes the detective sure that the robber did not come through the windows?	3. Where does this story takes place?
4. Which is the best way to rewrite this sentence?	4. According to the following description, how does Ms.  Gervis feel?
5. What will the detective do next?	5. What makes the detective sure that the robber did not come through the windows?
6. What does Ms. Gervis do with her cakes?	6. What else did the robber steal from her apartment?
7.  What does the detective seem to think will happen, if he solves the mystery?	7. What does Ms. Gervis do with her cakes?
8. What is a mystery?	8. “You can’t do that” says the detective with alarm.
9. What else did the robber steal from her apartment?	9. “I must solve this case immediately” What will the detective do next?
10. “You can’t do that” says the detective with alarm.	10. What does the detective seem to think will happen, if he solves the mystery?

Tabla 5. Ordenación de la segunda lectura: autor y correcciones sugeridas.

Como se ha descrito y discutido existen una serie de desatenciones y equivocaciones que pueden ser atribuibles a distintas causas: falta de preparación del docente, tiempo necesario para la elaboración de exámenes, utilización de un test crafter, preparación insuficiente respecto al campo de la evaluación u otras. Pese a todo lo anterior es posible reparar los reactivos, pero se necesita una labor no individual sino de grupo en el cual participen los que sí saben sobre evaluación, lingüística aplicada y que estén oficiados en la tarea de enseñar.

Conclusiones

La investigación realizada sobre la parte de comprensión lectora del Examen de Certificación A2 hecha aquí arroja luz sobre los distintos procesos de elaboración de un examen de este estilo. Basta acotar que sólo se tomó la perspectiva del profesor y se intentó corregir respetuosamente bajo su misma óptica de presentación de material realizado. Es grave que en un examen de Certificación sucedan estas situaciones. Los examinadores se dieron cuenta por las observaciones hechas por los alumnos sobre este documento. Los alumnos solicitaron mayor tiempo de resolución el cual se concedió. Por otro lado, se hace evidente que una demanda de 10 reactivos sobre un texto puede resultar demasiado para textos que podrían ser básicos.

Es obvio que coordinadores de lenguas extranjeras van y vienen. En este continuo algunos están más preparados que otros y, que además de su preparación delegan con sapiencia las distintas actividades a la plantilla idónea para la realización de tales documentos. En la eventualidad de coordinaciones fallidas estos casos se suelen presentar y multiplicar en todos los niveles educativos. El profesor no puede saber todo.

Es necesario dejar en claro que los autores de este documento estamos contra la elaboración de reactivos que intenten engañar o hacer más difícil la ejecución de un examen bajo falsas premisas o en posturas como la falta de orden de las preguntas de examen. Pareciese que un profesor tiene el permiso de que “puedo preguntar: lo que quiera, lo que se me ocurra, en el orden que quiera y como quiera”. A aquellos profesores que piensen así, la didáctica, la evaluación, la metodología y la teoría los contradicen fuertemente.

Sería de interés a futuro realizar una investigación sobre el grupo meta que toma este examen y su preparación previa para el mismo. Afortunadamente, ya se está realizando el ajuste de los cursos de inglés para, posteriormente, elaborar reactivos en cuanto a contenidos para este examen en cada parte del mismo. Se deberá, también, hacer un estudio de los géneros literarios de lectura pertenecientes a este tipo de examen y sus razones que lo sostengan. Por último, el ajuste lingüístico de los textos presentados en cuanto a preguntas y respuestas para que esta situación no se repita. Pero eso será cuestión de otro encuentro a futuro con los autores de este artículo.

Bibliografía

Diccionario de la Real Academia Española (2018),  Disponible en http://dle.rae.es/?id=KQeGz9i . Recuperado el 10 de septiembre de 2018.

Frey, B. B., Petersen, S., Edwards, L. M., Pedrotti, J. T. and Peyton, V. 2005. Item-writing rules: Collective wisdom. Teaching and Teacher Education, 21: 357–364.
"rationale." Merriam-Webster.com. 2011. Recuperado de https://www.merriam-webster.com el 30 Mayo 2018hy.

Morrison S. y Walsh Free K. (2001), Writing Multiple Choice Test Items That Promote and Measure Critical Thinking en Journal of Nursing Education. January 200. Vol 40. No 1. Pp. 17-24. Recuperado de http://textos.pucp.edu.pe/pdf/3729.pdf  el 20 de septiembre de 2018.

Paul, R.W. (1993), Critical thinking: What every person needs to survive in a rapidly changing world. Santa Rosa, CA. The foundation for critical thinking (Ed.)

Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items : A metaanalysis of 80 years of research. Educational Measurement: Issues and Practice, 24, 3– 13. Disponible en http://dx.doi.org/10.1111/j.1745-3992.2005.00006.x recuperado el 14 de Agosto de 2018.

_____. (2011). “Item-writing practice and evidence”. In Handbook of accessible achievement tests for all students, Edited by: Elliott, S. N. 201–216. New York, NY: Springer.

Sharpe, J.P (2016) Barron’s TOEFL IBT. Ed. INGRAM.

 

---

* Francisco Roberto Rojas Caldelas: Licenciado en Diseño Industrial por la UAM-A, Maestro en Lingüística Aplicada de la UNAM y Doctor en Educación por la Universidad La Salle.

** Vida Valero Borrás: Profesora investigadora titular “C” en la UAM-A. Actual Coordinadora de la CELEX de UAM-A. Licenciada en Letras Inglesas por la UNAM y maestría en Aprendizaje Humano de la Universidad de Brunel.

1 Aunque la redacción de dichos requisitos se torna confusa.

2 Existen otros requerimientos de formato editorial que no se incluirán dados que no son relevantes al tópico a discutir en este documento.

3 Con excepción de las carreras de Derecho y Medicina en las cuales tienen variables, situaciones, signos y síntomas que pueden ser o no ser y determinan la pertinencia del caso o de una enfermedad.

4 Diccionario de la Real Academia Española. Disponible en http://dle.rae.es/?id=KQeGz9i . Recuperado el 10 de septiembre de 2018.