Distractores en preguntas de opción múltiple para estudiantes de medicina: ¿cuál es su comportamiento en un examen sumativo de altas consecuencias?

ResumenIntroducciónLos exámenes de opción múltiple son la herramienta más utilizada en la evaluación del conocimiento en estudiantes de medicina. Se ha demostrado que tres opciones para cada ítem son suficientes, sin embargo, muchos exámenes en nuestro medio aún están compuestos por preguntas con cinco opciones. El estudio de los distractores no funcionales (DNF) es necesario para mejorar la calidad de los exámenes.ObjetivoIdentificar los DNF y su comportamiento en una evaluación sumativa de altas consecuencias en estudiantes de medicina.MétodoSe realizó análisis psicométrico del Examen Profesional Teórico de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM), en la versión de 2008. Se calcularon dificultad, discriminación y correlación punto-biserial de cada ítem y de sus cuatro distractores. Se obtuvo la frecuencia de preguntas con cero a cuatro DNF y se valoraron las diferencias de DNF por ítem y sus características psicométricas. Se contrastó el comportamiento psicométrico del examen completo, con una versión en la que se eliminaron los ítems con cuatro DNF.ResultadosEl examen tuvo 420 reactivos de opción múltiple con cinco opciones de respuesta, fue contestado por 882 sustentantes. El instrumento tuvo un alfa de Cronbach de 0.93. De los 1 680 distractores evaluados, sólo 788 (46.9%) fueron funcionales. Más de dos tercios del total de ítems contaron con dos o más DNF. Se encontró un promedio de 2.12 ± 0.99 DNF por ítem, la mayoría de los cuales fueron elegidos por menos de 5% de los sustentantes. A mayor cantidad de DNF, mayor índice de dificultad y menor poder de discriminación de los ítems.ConclusionesLos ítems con dos distractores funcionales comprenden la mayoría de los reactivos del examen. Dos distractores plausibles representan una alternativa asequible para elaborar los ítems, manteniendo o mejorando la confiabilidad y el perfil psicométrico de este tipo de evaluaciones.

IntroductionMultiple-choice question (MCQ) exams are the most frequently used tool for knowledge assessment of medical students. It has been shown that three options in each item are enough; however, many tests in our country still use questions with five options. The study of non-functional distractors (NFD) is needed in order to improve the quality of our assessment instruments.ObjectiveTo identify NFD and their behavior in a high-stakes summative exam in medical students.MethodA psychometric analysis was performed of the Theoretical Professional Exam at UNAM Faculty of Medicine, the 2008 version. Difficulty, discrimination and point-biserial correlation were calculated for each item and its four distractors. The frequency of items with zero to four NFD was obtained, and the differences of NFD per item and their psychometric characteristics were assessed. The psychometric behavior of the whole exam was compared to a version where items with four NFD were removed.ResultsThe test had 420 MCQ items with five options, and was answered by 882 students. The instrument had a Cronbach’s alpha of 0.93. Of the 1 680 distractors evaluated, only 788 (46.9%) were functional. More than two-thirds of the total of items had two or more NFD. There was an average of 2.12 ± 0.99 NFD per item, the majority of which were chosen by less than 5% of the test takers. With higher quantity of NFD, the items’ difficulty index was higher and the discrimination index was lower.ConclusionsItems with two functional distractors were the majority in the exam. Two plausible distractors are a reasonable alternative for item development, maintaining or improving the reliability and psychometric profile of these types of tests.