Dynamic programming for mean-field type control

For mean-field type control problems, stochastic dynamic programming requires adaptation. We propose to reformulate the problem as a distributed control problem by assuming that the PDF ρ   of the stochastic process exists. Then we show that Bellman's principle applies to the dynamic programming value function V(τ,ρτ)V(τ,ρτ), where the dependency on ρτρτ is functional as in P.-L. Lions' analysis of mean-field games (2007) [10]. We derive HJB equations and apply them to two examples, a portfolio optimization and a systemic risk model.

RésuméPour les problèmes de contrôle stochastique à champs moyen, la programmation dynamique ne s'applique pas sans adaptation ; mais si l'on reformule le problème avec l'équation de Fokker–Planck, on peut le faire en utilisant une fonctionnelle valeur {τ,ρτ(⋅)}→V(τ,ρτ){τ,ρτ(⋅)}→V(τ,ρτ) comme dans l'analyse des problèmes de jeux à champs moyen par P.-L. Lions (2007) [10]. Les résultats sont appliqués à un problème d'optimisation de portefeuille et à un problème de risque systémique.