Fiabilité et validité d'une épreuve de lecture critique d'articles médicaux scientifiques

SummaryObjectivesThe aim of this study was to assess the reliability and validity of tests assessing medical students' ability to read medical journal articles critically.MethodsAll third-year students at our medical school (n=125) took three tests between December 2004 and June 2005 as part of a program to teach critical appraisal of medical literature. Each test required students to write a 250-word structured abstract and to answer a set of 6 to 8 appraisal questions. Interrater reliability was assessed with the intra-class correlation coefficient for the first test. Validity was assessed 1) by calculating the correlation coefficient between the mean scores on the three critical appraisal tests and 2) by calculating the correlation coefficient between these tests and eight other tests in other subjects that the students took over the same period.ResultsInterrater reliability was satisfactory for the overall score (ICC=0.72) and for the score for the questions alone (ICC=0.73). It was only moderate, however, for the structured abstract test (ICC=0.53) and varied markedly from question to question (ICC range: 0.29-0.86). Intertest correlations were all statistically significant (p<0.001) and the mean score on the critical reading tests was significantly correlated with the mean score on the tests for other subjects that year (r=0.60; p<0.001).ConclusionThe validity and reliability of the tests of critical reading of medical literature are satisfactory but can be improved by developing more explicit scoring templates.

RésuméObjectifsL'objectif de cette étude était d'évaluer les propriétés docimologiques d'une épreuve de lecture critique d'article à partir des notes d'une promotion d'étudiants sur 3 épreuves.MéthodesLes 125 étudiants d'une promotion de DCEM1 ont passé, dans l'année 2004-2005, 3 épreuves de lecture critique d'article. Les étudiants devaient résumer l'article et répondre à 6 à 8 questions. La reproductibilité a été étudiée à partir de la double correction en aveugle de la première épreuve et estimée par les coefficients de corrélation intraclasse (CCI). La validité externe de l'épreuve a été approchée par l'étude de la corrélation des notes obtenues aux 3 épreuves de lecture critique entre elles et avec les notes obtenues par les mêmes étudiants aux épreuves des 8 autres modules d'enseignement de la même année.RésultatsLa fiabilité intercorrecteur apparaissait satisfaisante pour la note globale (CCI = 0,72), et pour la note de l'ensemble des questions (CCI = 0,73). Cependant, la fiabilité intercorrecteur était modérée pour la note du résumé (CCI = 0,53) et variable selon les questions (CCI de 0,29 à 0,86). Il existait une corrélation significative des notes entre les 3 épreuves comparées 2 à 2 (p < 0,001). La moyenne des notes obtenues aux 3 épreuves de lecture critique était significativement corrélée à la moyenne des notes des 8 autres modules (r = 0,60 ; p < 0,001).ConclusionLes propriétés métrologiques de l'épreuve de lecture critique apparaissent satisfaisantes et peuvent être améliorées en élaborant des grilles de correction plus précises.