Épreuves informatisées de type ECNi : retour d'expérience sur un test multiuniversité

RésuméIntroductionL'année 2016 est une année charnière pour l'évaluation des étudiants en médecine avec la mise en place des premières épreuves classantes nationales informatisées (ECNi). Le SIDES, système informatique distribué d'évaluation en santé, a été créé dans cet objectif. Toutes les universités ont déjà réalisé des examens facultaires mais peu d'épreuves communes sur plusieurs universités. Nous rapportons ici l'organisation d'ECNi tests par les universités Paris Descartes, Paris Diderot et Paris 13.MéthodesDes groupes de travail commun docimologique, administratif et technique ont été créés pour mettre en place des ECNi tests multiuniversités. Les étudiants de DFASM2 (passant les premières ECNi en 2016) ont été invités à trois demi-journées représentant 50 % des dossiers cliniques progressifs et de lecture critique d'article qui seront proposés en 2016 et 100 % des questions isolées. Un questionnaire informatisé a permis une évaluation docimologique et organisationnelle par les étudiants. Une analyse des notes et classements a été réalisée.RésultatsSoixante-quatre pour cent des étudiants inscrits (soit 645) ont participé à l'ensemble des épreuves sur 4 sites. Nous n'avons pas observé de différence de notes et de classement entre les trois universités. Le retour des étudiants a été extrêmement positif sur le plan docimologique et technique. Normalisée sur 1000 points, 99 % des étudiants ont été notés sur 300 points seulement. Les dossiers cliniques progressifs ont été l'épreuve la plus discriminante.ConclusionL'organisation d'ECNi tests sur plusieurs universités a été une réussite docimologique et technique mais a nécessité un investissement administratif, technique et enseignant important.

BackgroundThe year 2016 will be pivotal for the evaluation of French medical students with the introduction of the first computerized National Ranking Test (ECNi). The SIDES, online electronic system for medical student evaluation, was created for this purpose. All the universities have already organized faculty exams but few a joint computerized ranking test at several universities simultaneously. We report our experience on the organization of a mock ECNi by universities Paris Descartes, Paris Diderot and Paris 13.MethodsDocimological, administrative and technical working groups were created to organize this ECNi. Students in their fifth year of medical studies, who will be the first students to sit for the official ECNi in 2016, were invited to attend this mock exam that represented more than 50% of what will be proposed in 2016. A final electronic questionnaire allowed a docimological and organizational evaluation by students. An analysis of ratings and rankings and their distribution on a 1000-point scale were performed.ResultsSixty-four percent of enrolled students (i.e., 654) attended the three half-day exams. No difference in total score and ranking between the three universities was observed. Students' feedback was extremely positive. Normalized over 1000 points, 99% of students were scored on 300 points only. Progressive clinical cases were the most discriminating test.ConclusionThe organization of a mock ECNi involving multiple universities was a docimological and technical success but required an important administrative, technical and teaching investment.