Analysis of restrictions of unitary representations of a nilpotent Lie group

Soit G un groupe de Lie nilpotent connexe et simplement connexe, K un sous-groupe analytique de G et π une représentation unitaire et irréductible G. Soit Dπ(G)K l'algèbre des opérateurs différentiels qui laissent invariant l'espace des vecteurs C∞ de π et qui commutent avec l'action de K sur cet espace. Nous prouvons dans ce papier que sous l'hypothèse que la restriction de π àK est à multiplicités finies, l'algèbre Dπ(G)K est isomorphe à une sous-algèbre du corps des fonctions rationnelles K-invariantes sur l'orbite co-adjointe Ω(π) associée àπ, et dans certains cas particuliers que Dπ(G)K est même isomorphe à l'algèbre des fonctions polynomiales K-invariantes sur Ω(π). Nous prouvons aussi la réciprocité de Frobenius pour quelques classes de groupes de Lie nilpotents, particulièrement les cas oùK est normal ou abélien.