Sharp bounds on the rate of convergence of the empirical covariance matrix

Let X1,…,XN∈RnX1,…,XN∈Rn be independent centered random vectors with log-concave distribution and with the identity as covariance matrix. We show that with overwhelming probability one hassupx∈Sn−1|1N∑i=1N(|〈Xi,x〉|2−E|〈Xi,x〉|2)|⩽CnN, where C   is an absolute positive constant. This result is valid in a more general framework when the linear forms (〈Xi,x〉)i⩽N,x∈Sn−1(〈Xi,x〉)i⩽N,x∈Sn−1 and the Euclidean norms (|Xi|/n)i⩽N exhibit uniformly a sub-exponential decay. As a consequence, if A   denotes the random matrix with columns (Xi)(Xi), then with overwhelming probability, the extremal singular values λminλmin and λmaxλmax of AA⊤AA⊤ satisfy the inequalities 1−CnN⩽λminN⩽λmaxN⩽1+CnN which is a quantitative version of Bai–Yin theorem (Z.D. Bai, Y.Q. Yin, 1993 [4]) known for random matrices with i.i.d. entries.

RésuméSoient X1,…,XN∈RnX1,…,XN∈Rn des vecteurs aléatoires indépendants centrés, de matrice de covariance l'identité et à densité log-concave. On démontre qu'avec une grande probabilité, on asupx∈Sn−1|1N∑i=1N(|〈Xi,x〉|2−E|〈Xi,x〉|2)|⩽CnN, où C>0C>0 est une constante numérique. Ce résultat reste vrai dans le cadre beaucoup plus général où les formes linéaires (〈Xi,x〉)i⩽N,x∈Sn−1(〈Xi,x〉)i⩽N,x∈Sn−1 et les normes euclidiennes (|Xi|/n)i⩽N vérifient des inégalités de type sous-exponentiel. Il en résulte que si A   désigne la matrice dont les colonnes sont (Xi)(Xi), alors avec grande probabilité, les valeurs singulières extrêmes λminλmin et λmaxλmax de AA⊤AA⊤ vérifient 1−CnN⩽λminN⩽λmaxN⩽1+CnN, ce qui est une version quantitative du théorème de Bai–Yin (Z.D. Bai, Y.Q. Yin, 1993 [4]) bien connu pour les matrices aléatoires à coefficients i.i.d.