Using the CanMEDS roles when interviewing for an ophthalmology residency program a

Background: To improve the admissions process for the Université de Montréal (UdeM) ophthalmology residency program, the interview structure was modified to encompass the seven CanMEDS roles introduced by the Royal College of Physicians and Surgeons of Canada (RCPSC).These roles include an applicant’s abilities as a communicator, collaborator, manager, health advocate, professional, scholar, and medical expert.Methods: In this retrospective pilot study, the records of all applicants were reviewed by 8 members of the admissions committee, with a high intraclass correlation coefficient of 0.814. Four 2-person interview teams were then formed. The first 3 groups asked the applicants specific questions based on 2–3 of the CanMEDS roles, marking their impressions of each candidate on a visual analogue scale. The last group answered candidates’ questions about the program but assigned no mark.Results: The intraclass correlations for the teams were 0.900, 0.739, and 0.585, demonstrating acceptable interrater reliability for 2 of the teams. Pearson correlation coefficients between groups of interviewers were considered adequate at 0.562, 0.432, and 0.417 (p < 0.05). For each interviewer, the Pearson correlation coefficient between record marking and interview scoring was either not statistically significant or very low.Interpretation: By basing the 2006 interview process on the CanMEDS roles defined by the RCPSC, information was obtained about the candidates that could not have been retrieved by a review of the medical students' records alone. Reliability analysis confirmed that this new method of conducting interviews provided sound and reliable judging and rating consistency between all members of the admissions committee.

RésuméContexte: Afin d’améliorer la procédure d’admission au programme de résidence en ophtalmologie de l’Université de Montréal (UdeM), la structure des entrevues a été modifiée de façon à comprendre les sept rôles-compétences de CanMEDS introduits par le Collège royal des médecins et chirurgiens du Canada (CRMCC). Ces points permettent d’évaluer les capacités du candidat en tant que communicateur, collaborateur, gestionnaire, promoteur de la santé, professionnel, érudit et expert médical.Méthodes: Dans cette étude rétrospective pilote, le comité d’admission de 8 membres a examiné les dossiers de tous les candidats, avérant un coefficient élevé de corrélation intraclasse de 0,814. On a formé quatre équipes d’entrevue de 2 personnes chacune. Les 3 premiers groupes ont posé des questions spécifiques sur 2 ou 3 rôles-compétences de CanMEDS et noté leurs impressions sur chaque candidat suivant une échelle analogue visuelle. Le dernier groupe a répondu aux questions des candidats sur le programme mais n’ont attribué aucune note.Résultats: Les corrélations interclasses des équipes furent 0,900, 0,739 et 0,585, démontrant une fidélité interjuges acceptable pour 2 des équipes. Les coefficients de corrélation Pearson entre les groupes d’enterviewers ont été considérés adéquats à 0,562, 0,432 et 0,417 (p = 0,05). Pour chaque intervieweur, le coefficient de corrélation Pearson entre les notes des dossiers et celles de l’entrevue n’avaient pas de signification statistique ou étaient très faibles.Interprétation: En fondant le processus d’entrevue 2006 sur les rôles-compétences CanMEDS définis par le CRMCC, l’information sur les candidats n’aurait pu être obtenue entièrement par le seul examen des notes des étudiants en médecine. L’analyse de fiabilité a confirmé que la nouvelle méthode d’entrevue donnait un jugement sain et fiable et permettait d’évaluer la cohérence entre tous les membres du comité d’admission.