Performance of an Objective Structured Clinical Examination in a National Certification Process of Trainees in Rheumatology

ObjectiveTo assess reliability and validity of the objectively structured clinical examination (OSCE) applied in postgraduate certification processes by the Mexican Board of Rheumatology.MethodThirty-two (2013) and 38 (2014) Rheumatology trainees (RTs) underwent an OSCE consisting of 12 and 15 stations respectively, scored according to a validated check-list, as well as 300 multiple-choice question examination (MCQ). Previously, 3 certified rheumatologists underwent a pilot-OSCE. A composite OSCE score was obtained for each participant and its performance was examined.ResultsIn 2013, OSCE mean score was 7.1 ± 0.6 with none of the RTs receiving a failing score while the MCQ score was 6.5 ± 0.6 and 7 (21.9%) RTs received a failing (<6) score. In 2014, the OSCE score was 6.7 ± 0.6, with 3 (7.9%) RTs receiving a failing score (2 of them also failed MCQ) while the MCQ score was 6.4 ± 0.5 and 7 (18.5%) RTs were disqualified (2 of them also failed OSCE). A significant correlation between the MCQ and the OSCE scores was observed in 2013 (r = 0.44; P = .006). Certified rheumatologists performed better than RTs at both OSCE.Overall, 86% of RTs obtaining an OSCE passing score also obtained a MCQ passing score, while this was only 67% (P = .02) among those who obtained an OSCE failing score.Nine stations were applied at both consecutive years. Their performance was similar in both certification processes, with correlation coefficients ranging from 0.81 to 0.95 (P ≤ .01).ConclusionThe OSCE is a valid and reliable tool to assess the Rheumatology clinical skills in RTs.

ResumenObjetivoDeterminar la validez de constructo y la confiabilidad de un examen clínico objetivo estructurado (ECOE) en la evaluación de una certificación nacional como reumatólogo.MétodoEn 2013 y 2014, se aplicaron sendos ECOE y evaluación teórica (ET) a 32 y 38 residentes aspirantes a la certificación de reumatólogo, respectivamente. Se incluyeron 12 y 15 estaciones calificadas mediante lista de cotejo validada. Previamente, 3 reumatólogos certificados realizaron sendas pruebas piloto. Se calculó la puntuación global del ECOE y se evaluó su desempeño.ResultadosEn 2013, la media ± DE del ECOE fue de 7,1 ± 0,6) y ningún aspirante tuvo calificación reprobatoria (CR); la media de la ET fue de 6,5 ± 0,6 y 7 aspirantes (21,9%) tuvieron CR (< 6). En 2014, la media del ECOE fue de 6,7 ± 0,6) y 3 aspirantes (7,9%) tuvieron CR, de los cuales 2 reprobaron la ET; la media de la ET fue de 6,4 ± 0,5) y 7 aspirantes (18,5%) tuvieron CR, 2 de los cuales reprobaron el ECOE.En 2013, la correlación entre el ECOE y la ET fue de r = 0,44, p = 0,006. En ambos años, los reumatólogos certificados obtuvieron mejores calificaciones en el ECOE que los residentes. El porcentaje de aprobados en la ET fue mayor entre quienes aprobaron el ECOE que entre quienes lo reprobaron: 86% vs. 67%, p = 0,02.Se aplicaron 9 estaciones en ambos años y sus puntuaciones mostraron correlación de 0,81 a 0,95, p ≤ 0,01.ConclusiónEl ECOE es una herramienta adecuada para evaluar las competencias clínicas de los aspirantes a la certificación.