Model selection for time-activity curves: The corrected Akaike information criterion and the F-test

Data analysis often requires a multi model approach, i.e. the best model or models are selected from a well chosen set of candidate models and subsequent parameter inference is conducted. The selection of the model or models which are best supported by the data can be accomplished using various criteria. The present work focuses on the comparison of two approaches namely the corrected Akaike information criterion (AICc) and the F-test for sparse data sets, which are common in medical research. The selection of the true model and the determination of relevant pharmacokinetic parameters as the clearance, the volume of distribution and the mean residence time are examined using Monte Carlo simulations with 10000 replications. The data (N=10 per replication) are generated from a sum of two exponentials, which parameters were determined by fitting to time-concentration data of 111In labelled anti-CD66 antibody in blood serum. Four different normal distributed multiplicative statistical errors (0.05, 0.1, 0.15, 0.2) were examined.The set of candidate models consists of sums of up to 3 exponentials. Comparisons with two different model set sizes were conducted. All candidate models are fitted to the generated data and selected according to the AICc and the F-test.Both selection criteria perform well for our data. The selection frequency of functions of lower dimension increases proportionally to the statistical error for both criteria, while for higher errors, the AICc tends to choose a model of lower dimension more frequently than the F-test. In addition, the overfitted fraction decreases proportionally to the statistical error for both methods but selection frequency of function of higher dimension is larger using the F-test.The choice of the adequate model set is important for the positive effect of model averaging concerning the bias and the variability of the estimated parameters. It is in general assumed and has been confirmed in this study that parameter estimation using the AICc has clear advantages over the F-test.

ZusammenfassungZur Datenanalyse müssen oft mehrere in Frage kommende Modelle in Betracht gezogen werden. Die Auswahl des am besten zu den Daten passenden Modells kann anhand verschiedener Kriterien durchgeführt werden. Diese Arbeit vergleicht zwei Modellauswahlverfahren, den F-Test und das korrigierte Akaike-Informationskriterium (AICc), am Beispiel kleiner Datensätze wie sie in der Medizin häufig vorkommen. Die richtige Auswahl der „wahren“ Funktion und die Bestimmung relevanter Parameter wie der Clearance CL, des Verteilungsvolumens Vss und der mittleren Verweildauer MRT wurde mit Hilfe von Monte-Carlo-Simulationen (10000 Replikationen) untersucht. Die Daten (N=10 pro Replikation) wurden von einer Summe zweier Exponentialfunktionen (F(t)=83 (0,76 exp(-0,45 t)+0,24 exp(-0,013 t)) exp(-0,0103 t)) generiert, deren Parameter durch Anpassung an Zeitaktivitätsdaten von 111In-markiertem Anti-CD66-Antikörper bestimmt wurden. Daten mit vier verschieden großen Fehlern (normal verteiltes multiplikatives Rauschen, Faktoren 0,05; 0,1; 0,15 und 0,2) wurden untersucht.Der Modellsatz besteht aus Summen von bis zu drei Exponentialfunktionen. Die Vergleiche wurden für zwei verschieden große Modellsätze durchgeführt. Alle Modelle des Modellsatzes wurden an die generierten Modelle angepasst und dann anhand der Selektionsverfahren ausgewählt.Beide Modellauswahlkriterien zeigen gute Ergebnisse für unsere Daten. Die Auswahlhäufigkeit von Funktionen niedrigerer Dimension nimmt proportional zum statistischen Fehler bei beiden Ansätzen zu, während das AICc deutlich häufiger eine Funktion niedriger Dimension auswählt. Die Auswahl von Funktionen höherer Dimension nimmt bei beiden Verfahren mit zunehmendem Fehler ab, wobei der F-Test stärker dazu neigt eine komplexere Funktion zu selektieren.Die Auswahl eines passenden Modellsatzes ist wichtig für den positiven Effekt der Modellmittelung was den systematischen Fehler und die Variabilität der bestimmten Parameter anbelangt. Es wird generell angenommen und wurde in dieser Studie bestätigt, dass die Verwendung des AICc bei der Parameterbestimmung klare Vorteile aufweist.