Résumé 230 :
Agrégation PAC-bayésienne d'estimateurs par projection
Montuelle, Lucie ; Le Pennec, Erwan
Select, Inria Saclay Idf / LM Orsay
Nous considérons le modèle de régression $$Y_i=f(x_i)+W_i, \quad i=1,\ldots, n, $$ où le design $(x_i)_{1\leq i \leq n}$ est fixe, la fonction réelle $f$ est inconnue et les variables aléatoires de bruit $W_i$ sont centrées, indépendantes, de loi normale de variance $\sigma^2$ connue. Notre but est d'estimer la fonction $f$ à partir de l'observation des $(x_i,Y_i)_{1\leq i \leq n}$. Pour cela, nous disposons d'une collection d'estimateurs par projection $\{\hat{f}J\}_J=\{P_J Y \}_J$, où $J$ parcourt l'ensemble des parties de $\{1,\ldots,n\}$. Nous allons construire à l'aide de ce dictionnaire un nouvel estimateur, appelé estimateur agrégé, qui mimera les performances du meilleur estimateur de la collection.
Nous nous concentrons sur la moyenne des $\hat{f}J$ à l'aide de poids exponentiels de la forme $\exp (-r_J/\lambda)$, où $r_J$ désigne un estimateur du risque de $\hat{f}J$ et $\lambda$ est un paramètre à calibrer, appelé température.
Un contrôle du risque de l'estimateur agrégé est fourni en moyenne mais ne peut être obtenu en probabilité.
Nous proposons de pénaliser le risque utilisé dans les poids pour avoir une inégalité oracle inexacte en probabilité. Si de plus la pénalité prend en compte la norme de $f$, une inégalité exacte est accessible.