Average performance of the approximation in a dictionary using an ℓ0 objective

We consider the minimization of the number of non-zero coefficients (the ℓ0 “norm”) of the representation of a data set in a general dictionary under a fidelity constraint. This (nonconvex) optimization problem leads to the sparsest approximation. The average performance of the model consists in the probability (on the data) to obtain a K-sparse solution—involving at most K nonzero components—from data uniformly distributed on a domain. These probabilities are expressed in terms of the parameters of the model and the accuracy of the approximation. We comment the obtained formulas and give a simulation. To cite this article: F. Malgouyres, M. Nikolova, C. R. Acad. Sci. Paris, Ser. I 347 (2009).

RésuméNous étudions la minimisation du nombre de coefficients non-nuls (la « norme » ℓ0) de la représentation d'un ensemble de données dans un dictionnaire arbitraire sous une contrainte de fidélité. Ce problème d'optimisation (non-convexe) mène naturellement aux représentations les plus parcimonieuses. La performance moyenne du modèle est décrite par la probablilité que les données mènent à une solution K-parcimonieuse – contenant pas plus de K composantes non-nulles – en supposant que les données sont uniformément distribuées sur un domaine. Ces probabilités s'expriment en fonction des paramètres du modèle et de la précision de l'approximation. Nous commentons les formules obtenues et fournissons une illustration. Pour citer cet article : F. Malgouyres, M. Nikolova, C. R. Acad. Sci. Paris, Ser. I 347 (2009).