Welchen Einfluss haben Autorenrichtlinien der Verlage auf die formale Qualität von CME-Fragen in der ärztlichen Fortbildung?

ZusammenfassungHintergrundEin weit verbreitetes Format in der ärztlichen Fortbildung (Continuous Medical Education, CME) stellt die Bearbeitung von Fachartikeln in Online- und Printmedien mit Lernerfolgskontrolle in Schriftform (CME-Fragen) dar. In den letzten Jahren wurden verschiedene Qualitätssicherungsmaßnahmen für CME-Fragen im Multiple Choice-Format von Seiten der deutschen Fachzeitschriftenverlage eingeführt.Ziel der ArbeitDie vorliegende Studie untersucht, ob sich die formale Qualität der CME-Fragen seit der Einführung von Qualitätssicherungsmaßnahmen verbessert hat und inwiefern eine Korrelation zur Ausführlichkeit der Autorenhinweise besteht.Material und MethodenInsgesamt wurden 720 Fragen aus sechs wissenschaftlichen Fachzeitschriften unterschiedlicher Verlagshäuser ausgewertet. Eine 10 Kriterien umfassende Fehlerliste, die in einer Vorarbeit verwendet wurde, wurde modifiziert und erweitert. Die vorhandenen Autorenhinweise der sechs Fachzeitschriften wurden auf ihre Ausführlichkeit hin untersucht.ErgebnisseDie Analyse der CME-Fragen zeigte große Unterschiede in der formalen Qualität. Der Anteil formal fehlerhafter Fragen lag 2012 zwischen 34% und 92%. Bei einer Zeitschrift zeigte sich eine deutliche Verbesserung der formalen Qualität der CME-Fragen nach Einführung von Autorenhinweisen (61% fehlerhafte Fragen in 2006 vs. 33% in 2012). Es zeigte sich eine negative Korrelation zwischen der Ausführlichkeit der Autorenhinweise und dem Anteil formal fehlerhafter Fragen.DiskussionEs wird vermutet, dass die Veröffentlichung und Ausarbeitung von Autorenhinweisen einen positiven Einfluss auf die formale Qualität von CME-Fragen hat, auch wenn der Begutachtungsprozess im Rahmen der Qualitätssicherung ebenfalls einen großen Einfluss haben könnte.

IntroductionThe widespread use of flawed multiple choice questions (MCQs) in continuing medical education (CME) has been demonstrated in different studies. In recent years, quality control measures have been established by some German publishing houses to ensure the quality of MCQs.ObjectivesThe purpose of the present study is to evaluate whether the quality of author's guidelines and the quality of MCQs correlate and whether the quality of MCQs in CME has improved following the implementation of quality control measures.Materials and MethodsA set of 720 items from 6 journals was selected for analysis. A list of 10 item-writing flaws provided by Kühne-Eversmann et al. was modified. The existing guidelines for authors of the six selected journals were categorized by their comprehensiveness.ResultsThere were substantial differences in item quality with the percentage of flawed items ranging between 34 % and 92 % of all items published by a journal.One journal showed considerable improvement of item quality following the implementation of guidelines for authors (61 % flawed items in 2006 vs. 33% in 2012). The comprehensiveness of the author's guidelines correlated negatively with the number of item-writing flaws.ConclusionsThe correlation between the existence of elaborate guidelines for authors and the absence of item-writing flaws in MCQs suggests that the publication of guidelines for authors could result in a higher quality of MCQs, even though the review process might have a major influence.