Ärztliche Fachzeitschriften als implizite Vorbilder für gute Multiple-Choice-Fragen – in welchem Maß erfüllen die Tests der continous medical education inzwischen formale Gütekriterien?

ZusammenfassungHintergrundDie große Bedeutung von MC-Fragen in der Medizin macht hohe Qualität bei der Fragenerstellung erforderlich. Insbesondere die an Universitätskliniken und den assoziierten akademischen Lehrkrankenhäusern tätigen Ärzte sind in zwei ganz unterschiedlichen Rollen mit diesem Prüfungsformat konfrontiert: zum einen als Fragenautoren für ihre Studierenden, und zum anderen als Fortbildungsteilnehmer im Rahmen der cme-Programme der Fachzeitschriften. Somit wäre für diesen Personenkreis implizite Vorbildfunktion der ärztlichen Fachzeitschriften in Bezug auf hohe formale Qualität der MC-Fragen wünschenswert.MethodeAnhand einer aus der Literatur und den Vorgaben des in Deutschland verbreiteten Item Management Systems zusammengestellten Checkliste mit 11 formalen Gütekriterien, 5 Qualitätskategorien und einem Globalkriterium wurden 370 MC-Fragen aus drei unterschiedlichen ärztlichen Fachzeitschriften des Jahrgangs 2011 untersucht.ErgebnisseIn den Qualitätskategorien „Sprache“, „Aufgabenstruktur“ und „Fragentypkennzeichnung“ waren die untersuchten MC-Fragen hochwertig formuliert. „Konkreter Fall-, Problembezug“ und „Analyse, Interpretation, Problemlösung“ waren allerdings in weniger als 20% der Fragen realisiert.Ungewollte Lösungshinweise fanden sich in knapp der Hälfte der Fragen.Eine Subgruppenanalyse ergab für jede der Zeitschriften ein jeweils unterschiedliches Qualitätslevel der MC-Tests.SchlussfolgerungenUm implizite Vorbildfunktion bezüglich formaler MC-Fragen-Qualität zu realisieren, ist es notwendig, den Fragenautoren verbindliche Qualitätskriterien mit zugeordneten Beispielen zur Verfügung zu stellen und stärker als bisher verbindlich auf deren Einhaltung zu achten. Auch die Erarbeitung zeitschriftenübergreifender Standards könnte sinnvoll sein.

SummaryBackgroundMany clinicians, particularly those from university hospitals and associated teaching hospitals, use multiple-choice questions in different professional roles: as examiners for student assessment and as life-long learners in respect to the CME programmes of medical journals. For this group of physicians it might thus be desirable that medical journals serve as implicit role models for formulating high-quality multiple-choice questions.Method370 multiple-choice questions taken from the 2011 volumes of three different medical journals were reviewed. A checklist consisting of 11 formal quality criteria, 5 quality categories and one global criterion, taken from the literature and from the German Item Management System, was used.ResultsHigh-quality questions were found in the categories “language”, “structure”, and “signposting the question type.” However, “application to cases or problems” and “analysis, interpretation, problem solving” were realised in less than 20 %, and “cues” were detected in almost half of the questions. A subgroup analysis showed different quality levels between the journals.ConclusionsTo serve as role models for high-quality multiple-choice questions (MCQ) German medical journals should deliver formal quality criteria and good writing examples to their MCQ authors and ensure strict adherence to these criteria. The development of journal-independent formal standards might prove worthwhile.