Measuring the educational environment in ambulatory settings

Background and objectivesStudents’ perceptions of their educational environment (EE) have been studied in undergraduate and postgraduate curricula. The Ambulatory Care Learning Educational Environment Measure (ACLEEM) is an inventory that was recently developed to measure the EE in postgraduate ambulatory settings. The aim of this study was to assess the psychometric properties of the inventory.MethodsA mixed methodology was used to develop the ACLEEM including: Grounded theory (8 focus groups); a two-round Delphi technique to identify consensus; and a pilot study. The inventory was refined to 50-items after the pilot study and it was prospectively administered to a large cohort of clerks and residents in Chile during 2010-2011. Psychometric measurements included factor analysis followed by Varimax rotation for construct validity, Cronbach's alpha coefficients for internal consistency and Generalizability theory for test reliability.ResultsFour-hundred and eleven students responded: 151 clerks (83.9% of the target population) and 260 residents (74% of the target population) from 31 postgraduate programs. The factor analyses showed an eight factor instrument. ACLEEM was found highly reliable with a Cronbach's alpha of 0.94 and D-study revealed a reliable outcome for residency programs with at least 15 respondents with a G coefficient of 0.831. The EE perceived by residents and clerks was positive without differences between groups: 152.52 ± 23.36 (76.26%) and 150.61 ± 24.62 (75.30%), respectively (p=0.761).ConclusionsThe 50-item ACLEEM inventory is a multidimensional and valid instrument requiring only 15 respondents for reliable results. We recommend using it to measure the EE in the ambulatory postgraduate Spanish-speaking programs.

ResumenIntroducción y objetivosLas percepciones de los estudiantes sobre el ambiente educacional (AE) han sido estudiadas en programas de pregrado y posgrado. El cuestionario Ambulatory Care Learning Educational Environment Measure (ACLEEM) es un instrumento desarrollado para medir el ambiente educacional en programas de posgrado ambulatorios. El objetivo de este estudio fue evaluar las propiedades psicométricas de este instrumento.MétodosSe utilizó metodología mixta para desarrollar el instrumento ACLEEM, incluyendo: teoría fundada (8 grupos focales) y panel Delfi de 2 rondas (consenso). Se realizó un estudio piloto y luego se refinó el cuestionario a 50 ítems, que fue administrado prospectivamente en una cohorte de internos y residentes chilenos durante los años 2010-2011. Las evaluaciones psicométricas incluyeron análisis factorial seguido de rotación Varimax (validez de constructo), coeficiente alfa de Cronbach (consistencia interna) y teoría de la generalizabilidad (confiabilidad).ResultadosSe obtuvieron 411 respuestas: 151 internos y 260 residentes (tasa de respuesta: 83,9% y 74%, respectivamente) correspondientes a rotaciones de internado y 31 programas de posgrado en Medicina. El análisis factorial mostró un instrumento de 8 categorías. ACLEEM presentó una alta confiabilidad (alfa de Cronbach 0,94) y un estudio de generalizabilidad que mostró resultados confiables en programas con al menos 15 encuestados (coeficiente G de 0,831). El ambiente educacional percibido por los residentes e internos fue positivo, sin diferencias entre ambos grupos: 152,52 ± 23,36 (76,26%) y 150,61 ± 24,62 (75,30%), respectivamente (p = 0,761).ConclusionesEl cuestionario ACLEEM de 50 ítems es un instrumento multidimensional y válido, que requiere solo 15 encuestados para contar con resultados confiables. Recomendamos su uso para medir el ambiente educacional en programas de posgrado ambulatorios de habla hispana.