When is enough evidence enough? – Using systematic decision analysis and value-of-information analysis to determine the need for further evidence

SummaryDecision analysis (DA) and value-of-information (VOI) analysis provide a systematic, quantitative methodological framework that explicitly considers the uncertainty surrounding the currently available evidence to guide healthcare decisions. In medical decision making under uncertainty, there are two fundamental questions: 1) What decision should be made now given the best available evidence (and its uncertainty)?; 2) Subsequent to the current decision and given the magnitude of the remaining uncertainty, should we gather further evidence (i.e., perform additional studies), and if yes, which studies should be undertaken (e.g., efficacy, side effects, quality of life, costs), and what sample sizes are needed?Using the currently best available evidence, VoI analysis focuses on the likelihood of making a wrong decision if the new intervention is adopted. The value of performing further studies and gathering additional evidence is based on the extent to which the additional information will reduce this uncertainty. A quantitative framework allows for the valuation of the additional information that is generated by further research, and considers the decision maker's objectives and resource constraints.Claxton et al. summarise: “Value of information analysis can be used to inform a range of policy questions including whether a new technology should be approved based on existing evidence, whether it should be approved but additional research conducted or whether approval should be withheld until the additional evidence becomes available.” [Claxton K. Value of information entry in Encyclopaedia of Health Economics, Elsevier, forthcoming 2014.]The purpose of this tutorial is to introduce the framework of systematic VoI analysis to guide further research. In our tutorial article, we explain the theoretical foundations and practical methods of decision analysis and value-of-information analysis. To illustrate, we use a simple case example of a foot ulcer (e.g., with diabetes) as well as key references from the literature, including examples for the use of the decision-analytic VoI framework by health technology assessment agencies to guide further research.These concepts may guide stakeholders involved or interested in how to determine whether or not and, if so, which additional evidence is needed to make decisions.

ZusammenfassungDie Entscheidungsanalyse (EA) und Value-of-Information (VoI) Analyse sind systematische und quantitative, methodische Ansätze, die explizit die Unsicherheit in der vorliegenden Evidenz für Entscheidungen in der Gesundheitsversorgung berücksichtigen. In der medizinischen Entscheidungsfindung unter Unsicherheit gibt es zwei fundamentale Fragen: (1) „Gegeben die bestverfügbaren Evidenz (und ihre Unsicherheit), welche Entscheidung sollte zum jetzigen Zeitpunkt getroffen werden?“. (2) Im Anschluss an die jetzige Entscheidung stellt sich die Frage: „Soll unter Berücksichtigung der verbleibenden Unsicherheit weitere Evidenz (z.B. mittels Durchführung zusätzlicher Studien) gesammelt werden und wenn ja, welche Art von Studien (z.B. Wirksamkeit-, Nebenwirkungs-, Lebensqualität-, Kostenstudien) sind durchzuführen und welche Stichprobengröße werden benötigt?“ Unter Verwendung der derzeitig bestmöglich verfügbaren Evidenz fokussiert VoI auf die Wahrscheinlichkeit, falsch entschieden zu haben, wenn die neue Intervention angewendet wird. Der Wert der Durchführung weiterer Studien und des Erhebens von weiterer Evidenz richten sich nach dem Ausmaß, mit dem zusätzliche Information diese bestehende Unsicherheit reduzieren würde. Das quantitative Konzept der systematischen VoI Analyse ermöglicht die Bewertung der zusätzlichen Information, die durch zusätzliche Forschung gewonnen werden könnte, und berücksichtigt die Ziele und begrenzten Mittel der Entscheidungsträger.Nach Claxton et al. kann Value-of Information Analyse eingesetzt werden um eine Reihe von gesundheitspolitischen Fragestellungen zu beantworten, u.a. ob eine neue Technologie basierend auf der verfügbaren Evidenz zugelassen werden soll, ob die Technologie zugelassen wird und zusätzliche Forschung durchgeführt werden soll, oder ob die Zulassung aufgeschoben werden soll, bis zusätzliche Evidenz verfügbar ist. [Claxton K. Value of information entry in Encyclopaedia of Health Economics, Elsevier, forthcoming 2014.]Unser Ziel ist die Einführung des Konzepts der systematischen VoI Analyse in die evidenzbasierte Medizin und Forschung und damit Patientenversorgung. In unserem tutoriellen Artikel erklären wir die theoretischen Grundlagen und praktischen Methoden der Entscheidungs- und VoI Analyse mittels eines vereinfachten Fallbeispiels zum Fußulcus (z.B. bei Diabetes) und geben darüber hinaus einschlägige Literaturverweise, u.a. zur Nutzung des entscheidungsanalytischen VoI Ansatzes im Rahmen von Health Technology Assessment-Institutionen für weitere Forschung.Das Konzept der entscheidungsanalytischen VoI Analyse kann in die Entscheidungsfindung eingebundene Stakeholder dabei unterstützen, zu entscheiden, ob und welche weitere Evidenz benötigt wird oder nicht.