Two simple strategies of analysis to increase the power of experiments with multiple response variables

SummaryAnalyzing ecological experiments with many response variables is challenging because most statistical tools have low efficiency with such a design. It is widely known that introducing statistical control, i.e. testing one variable for significance while other response variables are held constant, increases the power of the analysis. Here we propose a very simple way to include statistical control to analyze experiments and show through simulations how, at least in simple experiments, the variable power rate (i.e. the power to detect an effect for each response variable) may increase 4× using our approach vs. using ANOVAs following a significant MANOVA. For simple experiments (i.e. one experimental treatment and a control) we propose the use of what we call Inverse Logistic Regression (ILR), named such because relative to the experimental design, the roles of dependent and independent variables become reversed. Using this approach one can obtain a multivariate p-value (i.e. full model) and univarite p-values (single variables) with a single analysis. In addition, our simulations show that when out of many possible response variables only a few correlated variables respond strongly to the treatment, the multivariate statistical power is doubled relative to that of MANOVA by iterative exploratory searching for the best subset of response variables using ILR. We also give an example of ILR with data from a field experiment in which ILR is more likely than MANOVA/ANOVA to uncover the pattern of treatment effects. Our approach can be extended to more complex unifactorial designs by using ordinal and/or multinomial distributions in generalized linear models or linear discriminant analysis when assumptions are met.

ZusammenfassungÖkologische Experimente mit vielen abhängigen Variablen zu analysieren ist schwierig, weil die meisten statistischen Methoden geringe Effizienz für solch ein Design haben. Es ist weithin bekannt, dass durch statistische Kontrolle (d.h., eine Variable wird auf Signifikanz getestet, während die anderen konstant gehalten werden) die Leistungsfähigkeit der Analyse gesteigert wird. Hier schlagen wir eine sehr einfache Möglichkeit vor, statistische Kontrolle in die Analyse von Experimenten einzubauen und zeigen durch Simulationen wie durch unseren Ansatz, zumindest in einfachen Experimenten, die Fähigkeit, einen Effekt für die einzelnen abhängigen Variablen zu entdecken, auf das Vierfache zunehmen kann gegenüber einer Methode, bei der nach einer signifikanten MANOVA mehrere ANOVAs durchgeführt werden. Für einfache Experimente (eine experimentelle Behandlung plus Kontrolle) schlagen wir eine “Inverse Logistische Regression “(ILR) vor, die wir so genannt haben, weil, bezogen auf das experimentelle Design, die Rollen von abhängigen und unabhängigen Variablen vertauscht werden. Mit diesem Ansatz erhält man aus einer einzigen Analyse einen multivariaten p-Wert (für das Gesamtmodell) und univariate p-Werte (für die einzelnen Variablen). Außerdem zeigen unsere Simulationen, dass in Konstellationen mit vielen abhängigen Variablen, von denen nur wenige miteinander korrellierte stark auf die Behandlung reagieren, sich die multivariate Leistungsfähigkeit verglichen mit einer MANOVA verdoppelt, wenn man mittels ILR den besten Satz abhängiger Variablen durch iterative Suche ermittelt. Wir geben auch ein Beispiel für ILR mit Daten aus einem Freilandexperiment: ILR entdeckte mit höherer Wahrscheinlichkeit das Muster des Behandlungseffekts als der MANOVA-ANOVA-Ansatz. Unsere Methode kann auf komplexere einfaktorielle Designs ausgedehnt werden, indem man ordinale und/oder multinomiale Verteilungen in GLIM-Modellen oder bei der linearen Diskriminanzanalyse einsetzt, soweit die Voraussetzungen erfüllt sind.