Stichproben in der ambulanten Qualitätssicherung am Beispiel der Koloskopie

ZusammenfassungHintergrundStichproben sind ein vom Gesetzgeber vorgesehenes und etabliertes Instrument zur Sicherung und Förderung der Qualität ärztlicher Leistungen. Dabei werden ärztliche Dokumentationen erbrachter Leistungen zufällig ausgewählt und in einem Peer-Review-Verfahren nach definierten Qualitätskriterien gutachterlich bewertet. Stichproben sind zum Beispiel vorgesehen für ambulant im Rahmen der vertragsärztlichen Versorgung durchgeführte Koloskopien zur Aufrechterhaltung der fachlichen Befähigung von koloskopierenden Ärzten.ZielIn der Koloskopie besonderes erfahrene Ärzte bewerten im Auftrag der zuständigen Kassenärztlichen Vereinigung regelmäßig die bildlichen Dokumentationen zufällig ausgewählter und im Rahmen der vertragsärztlichen Versorgung durchgeführter Koloskopien. Aus medizinischen Gründen ist dabei eine bestimmte Rate mangelhafter Koloskopien grundsätzlich zu tolerieren. Wird diese Mängelrate überschritten, kann die Kassenärztliche Vereinigung Maßnahmen ergreifen. Die Frage ist, wie Umfang und Verfahren der Stichprobenziehung zu wählen sind, um eine hinreichende Testgüte im Sinne von Sensitivität und Spezifität bei vertretbarem Aufwand zu gewährleisten.MethodeBerechnet werden wesentliche Kenngrößen von Stichproben, wie die falsch-positive Rate (dem Arzt wird zu unrecht eine mangelhafte Qualität unterstellt) und falsch-negative Rate (vorhandene Mängel werden fälschlicherweise nicht erkannt). Die Berechnungen erfolgen analytisch beziehungsweise, bei komplexen Stichprobenszenarien, numerisch mittels Computersimulationen.ErgebnisseDie Berechnungen zeigen, dass einstufige Stichprobenziehungen zu kaum akzeptablen Werten für die falsch-positiven und falsch-negativen Raten führen, wenn der Aufwand für Gutachter und Arzt begrenzt bleiben soll. Plausible Annahmen für die tatsächlich vorhandene Mängelrate resultieren zum Beispiel bei einer Stichprobe, in der 20 Koloskopien zufällig ausgewählt werden, zu einer falsch-positiven Rate von 6% und einer falsch-negativen Rate von 47%. Die aus juristischer Sicht besonders problematische falsch-positive Rate kann reduziert werden durch ein zweistufiges Verfahren, bei dem, nach einer ersten positiven Stichprobe, weitere Koloskopien aus derselben Grundgesamtheit ausgewählt werden. Eine deutliche Reduktion der falsch-negativen Rate wird erreicht durch (mehrmaliges) Wiederholen der Stichprobenziehung (insbesondere bei wechselnder Grundgesamtheit) und Betrachtung kumulativer Wahrscheinlichkeiten.SchlussfolgerungenIm Gegensatz zu Vollerhebungen erlauben Stichproben lediglich Wahrscheinlichkeitsaussagen. Im Rahmen der Qualitätssicherung wird in der Regel die falsch-negative Rate von Stichproben betrachtet, das heißt, die Wahrscheinlichkeit, dass vorhandene Mängel nicht erkannt werden. Sobald jedoch aus praktischen oder prinzipiellen Gründen eine bestimmte in der Stichprobe entdeckte Mängelrate grundsätzlich zu akzeptieren ist, ist auch die falsch-positive Rate zu berücksichtigen, insbesondere, wenn auf der Basis einer positiven Stichprobe Konsequenzen zu ergreifen sind. Auf die jeweilige Problemstellung angewandte Wahrscheinlichkeitsrechnungen gestatten es, einen für die erwarteten Ziele einer Stichprobenprüfung günstigen Arbeitspunkt hinsichtlich Umfang und Verfahren der Stichprobenziehung zu finden.

SummaryBackgroundSampling inspections are an approved instrument for assuring and promoting the quality of healthcare. Individual documentations of medical services are requested from physicians and randomly selected for quality rating by experienced peer reviewers. For example, sampling inspections are stipulated by law for certain ambulatory services (e.g., colonoscopies) delivered by SHI-authorised physicians in order to maintain professional performance standards of colonoscopists.ObjectivesOn behalf of the regional Association of Statutory Health Insurance Physicians (ASHIP) experienced colonoscopists regularly rate selected visual documentations (videotapes, photographs) of colonoscopies performed by SHI-authorised physicians in the ambulatory care sector. For anatomical reasons, however, a certain proportion of colonoscopies of inadequate quality will generally be tolerated. Whenever this value is exceeded, ASHIP may impose sanctions against the physician. The question is how sampling inspections have to be performed and dimensioned in order to ensure that the tests be sufficiently meaningful in terms of sensitivity and specificity.MethodsRelevant sampling test parameters such as the false-positive rate (physicians are wrongly accused of inadequate quality) and the false-negative rate (existing deficiencies are not identified) are calculated. The calculations are performed analytically or, in the case of complex sampling test scenarios, numerically by means of computer simulations.ResultsThe calculations show that single-stage sampling tests usually do not result in acceptable values for the false-positive and the false-negative rates. For example, a sampling test which requires the documentation of 20 colonoscopies will – assuming some reasonable tolerance of inadequately performed colonoscopies – result in a false-positive rate of 6% and a false-negative rate of 47%. The false-positive-rate, which is particularly relevant from a legal point of view, can be reduced by providing a two-stage sampling test. A significant reduction of the false-negative-rate may be achieved by (multiple) repetition of the single-stage sampling test and consideration of cumulative probabilities.ConclusionsIn principle, sampling inspections permit statements in terms of probabilities only. In sampling inspections of healthcare quality false-negative rates are usually considered, i.e., the probability that the test is unable to identify existing quality deficiencies. However, false-positive rates also need to be considered in cases where sanctions may be imposed against the physician on the basis of a positive sampling test. Numerical calculations of false-positive and false-negative rates for simple and complex sampling test scenarios should be performed in order to choose the optimum procedure and dimension of a sampling test.