Économétrie — Régression simple et moindres carrés

Économétrie — les MCO tracent une droite passant par les moyennes, ils ne désignent pas une cause

Dans la régression simple $Y = \beta_0 + \beta_1 X + U$ , les MCO choisissent le couple $(\beta_0, \beta_1)$ qui minimise la somme des carrés des résidus. Pour que ce résultat coïncide avec l’ATE du chapitre 1, $X$ et $U$ doivent être non corrélés. Ce chapitre fixe d’abord le calcul et renvoie au suivant le rôle de cette hypothèse.

1. La pente découle des équations normales

Pour un échantillon de $n$ observations, on ajuste de sorte que $\sum \hat u_i = 0$ et $\sum X_i \hat u_i = 0$ . Autrement dit, la moyenne des résidus est nulle et leur covariance empirique avec $X$ aussi.

Pente des MCO

\hat\beta_1 = \widehat{\mathrm{Cov}}(X,Y) / \widehat{\mathrm{Var}}(X)

La mesure dans laquelle Y s'écarte de sa moyenne quand X le fait, divisée par la dispersion de X. Sans variation de X, la division est impossible.

Constante

\hat\beta_0 = \bar Y - \hat\beta_1 \bar X

La droite de régression passe par le point moyen de l'échantillon.

Si les années d’études valent 12, 14 et 16 et les salaires (en dizaines de milliers de wons) 280, 320 et 390, alors $\bar X=14$ et $\bar Y=330$ . La somme des produits des écarts vaut $(-2)(-50)+0+(2)(60)=220$ et la somme des carrés des écarts de $X$ vaut 8 : la covariance empirique est de 110 et la variance empirique de 4 (toutes deux divisées par $n-1$ ). D’où $\hat\beta_1=220/8=27{,}5$ (275 000 wons par an) et $\hat\beta_0=330-27{,}5×14=-55$ . Covariance et variance doivent être divisées par le même dénominateur. La constante est négative parce que zéro année d’études est une extrapolation hors échantillon ; mieux vaut ne pas l’interpréter.

2. Le R² est une part d’ajustement, pas la preuve que le modèle est juste

Coefficient de détermination

R^2 = 1 - SSR/SST

SSR est la somme des carrés des résidus et SST la somme totale des carrés de Y. Ajouter des variables ne fait jamais baisser le R².

Dire que l’éducation explique 40 % de la variation des salaires signifie que, dans cet échantillon, la droite de régression sur l’éducation représente cette part de la somme totale des carrés. Si une aptitude omise agit sur les salaires à travers l’éducation, le R² peut augmenter alors que l’interprétation causale se dégrade.

Ce que les MCO garantissent et ce qu'ils ne garantissent pas
Garanti	Non garanti
Résidus ⊥ X dans l'échantillon	U ⊥ X dans la population
Passage par le point moyen	Sens économique de la constante
Meilleure approximation linéaire de l'espérance conditionnelle (sous hypothèses)	Effet du traitement

3. Les résidus ne sont pas l’erreur inobservée U

Le résidu $\hat u$ est ce qui reste de la régression estimée. $U$ est la perturbation quand le modèle est vrai. Si le modèle est mal spécifié, $\hat u$ peut être petit alors que $U$ n’a aucun sens. Si le nuage de points est courbe et qu’on trace une droite, les résidus se concentrent d’un côté. Il faut alors non pas ajouter des variables, mais réécrire la forme fonctionnelle.

Exercice

Standardiser $X$ modifie-t-il $\hat\beta_1$ ? Oui. Diviser $X$ par son écart-type $s_X$ transforme la pente en $\hat\beta_1 s_X$ . Dans l’exemple de la section 1, $s_X=2$ , donc la pente standardisée vaut 55 (550 000 wons) : c’est la variation de Y pour un écart-type de X. Elle diffère de 27,5 en unités d’origine, mais décrit la même relation dans d’autres unités.

Références

Jeffrey Wooldridge, Introductory Econometrics, ch. 2
MIT OpenCourseWare, 14.32 Econometrics
Statistics Korea, Enquête sur les finances et les conditions de vie des ménages (en coréen)