Ranking Academic Research Performance: A Recipe for Success?

En s'appuyant sur l'exemple du système anglais d'allocation de fonds publics à la recherche qui, depuis trois décennies, est basé sur des palmarès établis à partir de critères d'impact et de qualité de la recherche, on explore ici trois conditions d'efficacité de ces classements en termes d'amélioration réelle de la performance des institutions de recherche. Tout d'abord, les mesures sous-jacentes doivent permettre de distinguer de façon significative la performance des institutions évaluées. En second lieu, la base de l'évaluation doit être suffisamment stable pour qu'il soit possible de suivre l'évolution des performances au fil du temps. Enfin, le système doit pouvoir éviter les effets pervers des comportements stratégiques d'adaptation des institutions évaluées. À travers l'exemple hypothétique d'une série d'évaluations formelles d'universités, cet article démontre la difficulté de remplir ces trois conditions en même temps. Il souligne aussi le dilemme entre la recherche de fiabilité et celle de validité auquel les évaluateurs sont confrontés. Ce cas éclaire les problèmes que posent toutes les tentatives d'évaluer de façon comparative la performance des institutions.