Estimation consistante de l'architecture des perceptrons multicouches

RésuméOn considère des modèles de régression impliquant des perceptrons multicouches (MLP) avec une couche cachée et un bruit gaussien. L'estimation des paramètres du MLP peut être faite en maximisant la vraisemblance du modèle. Dans ce cadre, il est difficile de déterminer le vrai nombre d'unités cachées parce que la matrice d'information de Fisher n'est pas inversible si ce nombre est surestimé. Cependant, si les paramètres du MLP sont dans un ensemble compact, nous prouvons que la minimisation d'un critère d'information convenable permet l'estimation consistante du vrai nombre d'unités cachées. Pour citer cet article : J. Rynkiewicz, C. R. Acad. Sci. Paris, Ser. I 342 (2006).

We consider regression models involving multilayer perceptrons (MLP) with one hidden layer and Gaussian noise. The estimation of the parameters of the MLP can be made by maximizing the likelihood of the model. In this framework, it is difficult to determine the true number of hidden units because the information matrix of Fisher is not invertible if this number is overestimated. However, if the parameters of the MLP are in a compact set, we prove that the minimization of a suitable information criteria leads to consistent estimation of the true number of hidden units. To cite this article: J. Rynkiewicz, C. R. Acad. Sci. Paris, Ser. I 342 (2006).