Régression linéaire#
La régression linéaire est le modèle prédictif le plus simple et celui qu’on préfère quand il marche car il est facilement interprétable à l’inverse des modèles non linéaires qui gardent leurs secrets si on s’en tient seulement à leurs coefficients. Concrètement, on dispose d’un nuage de point \((X_i, y_i)\) où \(X_i \in \mathbb{R}^d\) est un vecteur de dimension d et \(y_i \in \mathbb{R}\) un réel. La régression linéaire consiste à construire une fonction prédictive \(\hat{y_i} = f(X_i) = <X_i, \beta> = X_i \beta\) où \(\beta\) est un vecteur de dimension d. Dans le cas le plus courant, on modélise les données de telle sorte que : \(y_i = X_i \beta + \epsilon_i\) où \(\epsilon_i\) suit une loi normale de moyenne nulle et de variance \(\sigma\). Sous cette hypothèse, il “agit de trouver le vecteur \(\beta\) qui minimise la vraisemblance du modèle, ce qui revient à résoudre le problème d’optimisation :
En dérivant, on sait exprimer explicitement la solution. On note \(X = (X_1, ..., X_i, ...)\) la matrice où chaque ligne est une observation \(X_i\) et \(y = (y_1, ..., y_i, ...)\). \(X'\) est la transposée de X. Alors :
Les chapitres suivants explorent d’autres aspects de ce problèmes comme la régression quantile, la régression linéaire par morceaux, ou encore l’expression de \(\beta\) sans calculer de matrice inverse ni de valeurs propres.