Development and validation of the “FrOCK”: Frankfurt Observer Communication Checklist

SummaryObjectivesAppropriate communication behaviour during medical consultations has been shown to improve doctor-patient relationships, and should therefore be an integral part of medical training. In Germany, though, there are almost no reliable and validated checklists for assessing communication skills during medical examinations. Our aim was to develop and validate the first German checklist to examine communication skills that can be used during examinations: the Frankfurt Observer Communication Checklist (FrOCK).MethodsThe checklist was developed according to a set of requirements that would need to be met by medical training checklists. It was pilot tested, revised and validated over several steps. Data analyses are provided for 371 assessments (371 students) by 17 examiners. After reviewing face validity and comprehensibility, we also checked for validity by comparing a trained and an untrained group of students and testing for both inter- and intrarater reliability. Interrater reliability was analysed by means of 37 interviews that were simultaneously assessed by five examiners. Intrarater reliability was calculated by having three examiners assess the same 37 students at two different points in time.ResultsThe final version of FrOCK consists of 31 items for conducting medical interviews which can be broadly divided into four areas: “beginning and conclusion of the interview”, “interview technique”, “contact skills /empathy” and “history taking”. Several aspects of validity could be demonstrated, and both intra- and interrater reliability were high.ConclusionsThe results of this study have shown that FrOCK is a clear and concise checklist for assessing communication skills in medical examinations and one that satisfies psychometric requirements as well. It takes only 3 to 5 minutes to complete and thus is particularly useful for assessing communication skills in medical examinations.

ZusammenfassungEinleitungGutes ärztliches Kommunikationsverhalten wirkt sich positiv auf die Arzt-Patient Beziehung aus und gewährleistet eine vertrauensvolle und konstruktive Zusammenarbeit. Daher sollten kommunikative Kompetenzen in der Ausbildung von Medizinstudierenden gelehrt, geübt und geprüft werden. Zur Bewertung der kommunikativen Kompetenzen in praktischen Prüfungen existieren in Deutschland kaum reliable und valide Checklisten. Das Ziel unserer Studie bestand in der Entwicklung und Validierung einer Checkliste zu Überprüfung kommunikativer Kompetenzen: der Frankfurter Observer Communication Checklist (FrOCK).MethodenDie Checkliste wurde entsprechend den in der medizinischen Ausbildung gestellten Anforderungen an Prüfungsinstrumente entwickelt. In mehreren Schritten wurde sie pilotiert, überarbeitet und validiert. Datenanalysen liegen für 371 Prüfungen mit 17 Prüfern vor. Nach dem Überprüfen der face Validität wurden außerdem Validitätsüberprüfungen anhand einer Vergleichsgruppe vorgenommen. Die Interrater-Reliabilität wurde anhand von 37 Interviews analysiert, welche fünf Prüfer gleichzeitig bewerteten. Die Intrarater-Reliabilität wurde berechnet, indem drei Prüfer dieselben 37 Studierenden zu zwei verschiedene Zeitpunkten bewerteten.ErgebnisseDie Ergebnisse dieser Studie zeigen, dass die FrOCK eine übersichtliche und gut handhabbare Checkliste zur Bewertung kommunikativer Kompetenzen in Prüfungen von Medizinstudierenden ist. Die finale Version der FrOCK zur Bewertung eines Anamnesegespräches besteht aus 31 Items. Diese sind in die Bereiche „Beginn und Abschluss des Gesprächs“, „Gesprächsführung“, Kontaktfähigkeit/Empathie“ und „Fachliches“ eingeteilt. Eine Überprüfung der Validität zeitigte gute Ergebnisse, die Interrater- und Intrarater-Reliabilitäten waren hoch.