Model selection via testing: an alternative to (penalized) maximum likelihood estimators

This paper is devoted to the definition and study of a family of model selection oriented estimators that we shall call T-estimators (“T” for tests). Their construction is based on former ideas about deriving estimators from some families of tests due to Le Cam [L.M. Le Cam, Convergence of estimates under dimensionality restrictions, Ann. Statist. 1 (1973) 38–53 and L.M. Le Cam, On local and global properties in the theory of asymptotic normality of experiments, in: M. Puri (Ed.), Stochastic Processes and Related Topics, vol. 1, Academic Press, New York, 1975, pp. 13–54] and Birgé [L. Birgé, Approximation dans les espaces métriques et théorie de l'estimation, Z. Wahrscheinlichkeitstheorie Verw. Gebiete 65 (1983) 181–237, L. Birgé, Sur un théorème de minimax et son application aux tests, Probab. Math. Statist. 3 (1984) 259–282 and L. Birgé, Stabilité et instabilité du risque minimax pour des variables indépendantes équidistribuées, Ann. Inst. H. Poincaré Sect. B 20 (1984) 201–223] and about complexity based model selection from Barron and Cover [A.R. Barron, T.M. Cover, Minimum complexity density estimation, IEEE Trans. Inform. Theory 37 (1991) 1034–1054].It is well-known that maximum likelihood estimators and, more generally, minimum contrast estimators do suffer from various weaknesses, and their penalized versions as well. In particular they are not robust and they require restrictive assumptions on both the models and the underlying parameter set to work correctly. We propose an alternative construction, which derives an estimator from many simultaneous tests between some probability balls in a suitable metric space. In many cases, although not in all, it results in a penalized M-estimator restricted to a suitable countable set of parameters.On the one hand, this construction should be considered as a theoretical rather than a practical tool because of its high computational complexity. On the other hand, it solves many of the previously mentioned difficulties provided that the tests involved in our construction exist, which is the case for various statistical frameworks including density estimation from i.i.d. variables or estimating the mean of a Gaussian sequence with a known variance. For all such frameworks, the robustness properties of our estimators allow to deal with minimax estimation and model selection in a unified way, since bounding the minimax risk amounts to performing our method with a single, well-chosen, model. This results, for those frameworks, in simple bounds for the minimax risk solely based on some metric properties of the parameter space. Moreover the method applies to various statistical frameworks and can handle essentially all types of models, linear or not, parametric and non-parametric, simultaneously. It also provides a simple way of aggregating preliminary estimators.From these viewpoints, it is much more flexible than traditional methods and allows to derive some results that do not presently seem to be accessible to them.

RésuméCet article est consacré à la défintion et à l'étude d'une classe d'estimateurs, que nous appellerons T-estimateurs (“T” pour test), destinés à faire de la sélection de modèle. Leur construction se fonde sur d'anciennes méthodes de fabrication d'estimateurs à partir de tests dues à Le Cam [L.M. Le Cam, Convergence of estimates under dimensionality restrictions, Ann. Statist. 1 (1973) 38–53 et L.M. Le Cam, On local and global properties in the theory of asymptotic normality of experiments, in: M. Puri (Ed.), Stochastic Processes and Related Topics, vol. 1, Academic Press, New York, 1975, pp. 13–54] et Birgé [L. Birgé, Approximation dans les espaces métriques et théorie de l'estimation, Z. Wahrscheinlichkeitstheorie Verw. Gebiete 65 (1983) 181–237, L. Birgé, Sur un théorème de minimax et son application aux tests, Probab. Math. Statist. 3 (1984) 259–282 et L. Birgé, Stabilité et instabilité du risque minimax pour des variables indépendantes équidistribuées, Ann. Inst. H. Poincaré Sect. B 20 (1984) 201–223] et sur des idées de Barron et Cover [A.R. Barron, T.M. Cover, Minimum complexity density estimation, IEEE Trans. Inform. Theory 37 (1991) 1034–1054] à propos de l'utilisation de notions de complexité pour faire de la sélection de modèle.Il est bien connu que les estimateurs du maximum de vraisemblance et, plus généralement, les estimateurs par minimum de contraste, souffrent de diverses limitations de même que leurs versions pénalisées. Parmi celles-ci, on peut noter qu'ils ne sont généralement pas robustes et ne donnent de bons résultats que moyennant des hypothèses restrictives portant à la fois sur les modèles et sur l'ensemble des paramètres. Nous proposons ici une construction alternative à partir d'une famille de tests entre les boules de l'espace des probabilités muni d'une métrique convenable. Dans un certain nombre de situations, l'estimateur obtenu n'est autre qu'un M-estimateur pénalisé défini sur un certain ensemble dénombrable de paramètres.Cette construction doit être considérée davantage comme un outil théorique que pratique, compte-tenu de sa complexité numérique, mais elle permet de régler la plupart des problèmes précités dès que les tests robustes requis existent, ce qui est le cas dans divers problèmes statistiques tels que l'estimation d'une densité à partir d'un échantillon ou l'estimation de la moyenne d'une suite de variables gaussiennes indépendantes de même variance connue. Dans de telles situations, les propriétés de robustesse de nos estimateurs permettent de traiter simultanément les problèmes de minimax et de sélection de modèle dans la mesure où l'évaluation du risque minimax revient à utiliser notre méthode sur un modèle unique, convenablement choisi. Nous obtenons alors des bornes du risque minimax qui ne dépendent que de la structure métrique de l'espace des paramètres. Cette construction s'applique à des problèmes statistiques variés et permet de considérer divers types de modèles, linéaires ou non, paramétriques ou non, simultanément. La même construction permet également de sélectionner ou combiner divers estimateurs préliminaires.Pour toutes ces raisons, notre méthode est bien plus flexible que les méthodes traditionnelles et permet en particulier d'obtenir certains résultats qui ne semblent pas leur être actuellement accessibles.