Régression logistique

La régression logistique est le modèle prédictif le plus simple et celui qu’on préfère quand il marche car il est facilement interprétable à l’inverse des modèles non linéaires qui gardent leurs secrets si on s’en tient seulement à leurs coefficients. Concrètement, on dispose d’un nuage de point (X_i, y_i) où X_i \in \mathbb{R}^d est un vecteur de dimension d et y_i \in \acc{0, 1} un entier binaire. Le problème de la régression linéaire consiste à construire une fonction prédictive \hat{y_i} = f(X_i) = <X_i, \beta> = X_i \beta où \beta est un vecteur de dimension d (voir classification). Le signe de la fonction f(X_i) indique la classe de l’observation X_i et la valeur \frac{1}{1 + e^{f(X)}} la probabilité d’être dans la classe 1.