Épreuve de lecture critique d'article scientifique des épreuves classantes nationales : pertinence de la correction

SummaryIntroductionIn 2008 the national ranking examination (NRE) will include a test on critical reading of scientific articles. This decision has provoked controversy about whether reproducible correction is possible. The aim of our study was to assess the consistency of grading between this two-part test (critical analysis and summarizing, analyzed separately), and the more classic tests.MethodsEight graders, all instructors at the Tours Medical School, corrected papers for each of the 3 tests. Papers for the critical reading test came from medical school final examinations and for the standard test from a practice examination. The instructors worked in pairs: each pair read 30 papers for each test, and both members separately graded each paper. The final grade was the mean of the two grades. The consistency of grading between the 4 pairs was estimated by Kendall's coefficient of concordance.ResultsKendall's coefficients of concordance were estimated at 0.94 (95% CI = [0.86; 0.97]) for the standard test, at 0.92 (95% CI = [0.81;0.97]) for the critical analysis test, and at 0.75 (95% CI = [0.62; 0.84]) for the summaries. Pairwise comparisons estimated the difference in concordance between the standard test and the summary at 0.18 (95% CI = [0.08; 0.32]) and that between the standard and critical reading test at 0.01 (95% CI= [-0.07; 0.12]). Finally the difference in concordance between the 2 new tests — summary and critical reading — was estimated at -0.17 (95% CI = [-0.32; -0.04]).ConclusionThe focus should be on the difficulty of reproducible correction of the summaries, to set up methods for appropriate correction and adequate grading. The elaboration of detailed scoring templates, including numerous items and specifying in which part of the summary each item must be placed, should help to improve the reproducibility of this test's correction.

RésuméIntroductionLes épreuves classantes nationales (ECN) doivent intégrer en 2008 une épreuve de lecture critique d'article scientifique, qui suscite des controverses quant à la possibilité d'une correction reproductible. Le but de notre étude a été d'évaluer la concordance de notation entre cette épreuve (épreuves d'analyse critique et de résumé analysées séparément), et l'épreuve de dossiers classiques d'autre part.MéthodesHuit correcteurs enseignant à la Faculté de médecine de Tours, couplés en binômes, ont corrigé 30 copies pour chacune des 3 épreuves, extraites d'examens de fin d'enseignement (pour la lecture critique) et d'un “internat blanc” pour l'épreuve de dossier classique. La note finale consistait en la moyenne de 2 notes du binôme. La concordance de classement entre les 4 binômes de correcteurs a été estimée par le coefficient de concordance de Kendall.RésultatsLes coefficients de concordance de Kendall ont été estimés à 0,94 (IC 95 % = [0,86 ; 0,97]) pour l'épreuve de dossier classique, à 0,92 (IC 95% = [0,81 ; 0,97]) pour l'épreuve d'analyse critique et à 0,75 (IC 95 % = [0,62 ; 0,84]) pour l'épreuve de résumé. En termes de comparaison 2 à 2, la différence de concordance entre le dossier classique et le résumé était estimée à 0,18 (IC 95 % = [0,08 ; 0,32]) et celle entre le dossier classique et l'épreuve d'analyse critique à 0,01 (IC95 % = [-0,07 ;0,12]). Enfin la différence de concordance entre les 2 nouvelles épreuves que sont le résumé et l'analyse critique était estimée à -0,17 (IC 95 % = [-0,32 ; -0,04]).ConclusionL'attention doit être portée sur la difficulté d'une correction reproductible de l'épreuve de résumé, afin de mettre en œuvre des moyens de correction et de notation adéquats. L'élaboration de grilles de correction détaillées, comportant de nombreux items et précisant dans quelle partie du résumé doit se situer chaque item, devrait permettre d'améliorer la reproductibilité de la correction de cette épreuve.