Article ID | Journal | Published Year | Pages | File Type |
---|---|---|---|---|
8905369 | Comptes Rendus Mathematique | 2018 | 11 Pages |
Abstract
Nous étudions dans cette note le comportement asymptotique d'algorithmes du gradient appliqués à des problèmes de classification basés sur des modèles élémentaires de réseaux neuronaux à apprentissage supervisé. Nous prouvons que ces algorithmes divergent au sens mathématique strict, puisque la suite de paramètres définissant le classifieur est non bornée. Toutefois, en développant des méthodes d'entropie-production d'entropie, notre approche conduit à des taux explicites qui montrent, au moins lorsque les classes peuvent être bien séparées, que les paramètres divergent seulement logarithmiquement alors que la fonction coût converge vers 0 polynomialement. En conséquence, d'un point de vue pratique, l'algorithme permet effectivement d'obtenir un classifieur avec de bonnes performances, et peut même sembler converger.
Related Topics
Physical Sciences and Engineering
Mathematics
Mathematics (General)
Authors
Leonid Berlyand, Pierre-Emmanuel Jabin,