Validation of the Queen’s University Ophthalmoscopy Objective Structured Clinical Examination Checklist to predict direct ophthalmoscopy proficiency

ABSTRACTObjectiveTo validate the Queen’s University Ophthalmoscopy Objective Structured Clinical Examination (OSCE) Checklist (QUOOC) by correlating the score derived from this instrument to the ability of a candidate to correctly identify retinal pathology.DesignEducational Instrument Validation Study.ParticipantsThirteen second-year medical students and 4 ophthalmology residents participated in an OSCE station examining the posterior segment of a series of patients’ left eyes with the direct ophthalmoscope.MethodsParticipants were asked to evaluate the cup-disc ratio, disc margins, and the macula for the presence of pathology. They were also evaluated for proper direct ophthalmoscopy skills. Each participant was assigned a composite clinical proficiency score. Participants’ skills were scored using the QUOOC. Based on this evaluation, we correlated clinical proficiency (QUOOC) score to diagnostic accuracy.ResultsQUOOC was completed successfully within a 3-minute time frame that was deemed to be practical given the physical and time constraints of OSCE stations. Significant (P<0.01) differences were noted between medical students and residents with regard to both technique and clinical proficiency. A strong correlation was found between QUOOC score and a participant’s ability to correctly detect retinal pathology (r = 0.71; P = 0.001).ConclusionsQUOOC was successful in discriminating between more and less experienced and competent participants. Using the QUOOC to evaluate proficiency at direct ophthalmoscopy is a good predictor of correctly detecting retinal pathology when present. We believe that using the QUOOC with standardized patients without physical findings is an accurate and feasible way of measuring students’ proficiency in using direct ophthalmoscope in OSCE stations.

RésuméObjetValidation de la Liste de contrôle des examens objectifs cliniques structurés (EOCS) en ophtalmoscopie de l'Université Queen's (EOCUQ) en établissant la corrélation entre cet instrument et la capacité d'un candidat d'identifier correctement la pathologie rétinienne.NatureÉtude de validation d'un outil pédagogique.MéthodesTreize étudiants de deuxième année de médecine et quatre résidents en ophtalmologie ont participé dans un poste de EOCS, à l'examen du segment postérieur de l'il gauche d'une série de patients avec ophtalmoscopie directe. Les participants ont été invités à évaluer le rapport cupule-disque, les marges des disques et la macula pour l'état pathologique. On a aussi évalué leur aptitude personnelle en ophtalmoscopie directe. Chaque participant a reçu une note composite de compétence clinique. Les compétences des participants ont été mesurées selon la liste de contrôle (EOCUQ). À partir de cette évaluation, nous avons corrélé la note de compétence clinique (EOCUQ) à celle d'exactitude du diagnostic.RésultatsLa liste de contrôle EOCUQ a été complétée avec succès dans un cadre de 3 minutes ce qui a été considéré pratique vu les contraintes physiques et de temps des postes de EOCS. Des écarts significatifs (P<0,01) ont été notés entre les étudiants en médecine et les résidents concernant à la fois la technique et la compétence clinique. Une forte corrélation a été trouvée entre le résultat EOCUQ et la capacité d'un participant de détecter correctement la pathologie rétinienne (r=0,71, P=0,001).ConclusionL'EOCUQ a réussi dans la distinction entre les participants plus ou moins expérimentés et compétents. Le recours à l'EOCUQ pour évaluer la compétence en ophtalmoscopie directe permet bien de prévoir correctement la présence d'une pathologie rétinienne. Nous croyons que l'utilisation du EOCUQ avec des patients standardisés sans résultat physique offre un moyen précis et applicable de mesurer le degré de compétence des étudiants avec l'ophtalmoscopie directe dans les postes de l'EOCS.