SOCP based variance free Dantzig Selector with application to robust estimation

Sparse estimation methods based on ℓ1 relaxation, such as Lasso and Dantzig Selector, are powerful tools for estimating high dimensional linear models. However, in order to properly tune these methods, the variance of the noise is often used. In this paper, we propose a new approach to the joint estimation of the sparse vector and the noise variance in a high dimensional linear regression. The method is closely related to the maximum a posteriori estimation and has the attractive feature of being computable by solving a simple second-order cone program (SOCP). We establish nonasymptotic sharp risk bounds for the proposed estimator and show how it can be applied in the problem of robust estimation.

RésuméLa calibration des méthodes dʼestimation parcimonieuses, telles que le Lasso et le sélecteur de Dantzig, nécessite souvent la connaissance a priori de la variance des erreurs. Nous proposons une méthode qui permet de sʼaffranchir de cette hypothèse, en estimant le vecteur de régression et la variance des erreurs de façon conjointe. Lʼestimateur qui en découle est calculable de manière efficace en résolvant un programme conique du second ordre. De plus, nous fournissons des garanties de risque pour cet estimateur presque aussi fortes que celles de lʼestimateur utilisant la connaissance de la variance des erreurs.