계량경제학 — 단순회귀와 최소제곱

계량경제학 — OLS는 평균선을 긋는 계산이지 원인이 아니다

단순회귀 Y = β₀ + β₁X + U에서 OLS는 잔차 제곱합을 최소로 만드는 (β₀, β₁)을 고른다. 그 식이 1장의 ATE와 같아지려면 X와 U가 상관없어야 한다. 이 장은 계산을 먼저 고정하고, 그 가정이 하는 일을 다음 장으로 미룬다.

1. 정규방정식에서 기울기가 나온다

표본 n개에 대해 Σ û_i = 0, Σ X_i û_i = 0이 되게 맞추면 된다. 이는 잔차 평균이 0이고 잔차가 X와 표본 공분산 0이라는 뜻이다.

OLS 기울기

\hat\beta_1 = Cov(X,Y) / Var(X)

X가 평균에서 벗어날 때 Y가 같이 벗어나는 정도를, X의 퍼진 정도로 나눈 값이다. X의 변동이 없으면 나눌 수 없다.

절편

\hat\beta_0 = \bar Y - \hat\beta_1 \bar X

회귀선은 표본 평균점 (\bar X, \bar Y)를 지난다.

교육 연수(년)가 12, 14, 16이고 임금(만 원)이 280, 320, 390이면 X̄=14, Ȳ=330이다. Cov=110, Var=2.67이므로 β̂₁≈41.3만 원/년, β̂₀≈330-41.3×14≈-248이다. 절편이 음수인 것은 연수 0년을 표본 밖으로 외삽했기 때문이다. 해석하지 않는 편이 낫다.

2. R²는 맞춤의 비율이지 모형의 옳음이 아니다

결정계수

R^2 = 1 - SSR/SST

SSR은 잔차 제곱합, SST는 Y의 총제곱합이다. 변수를 추가하면 R²는 줄지 않는다.

임금 변동의 40%를 교육이 설명한다는 말은, 이 표본에서 교육 회귀선이 그 비율의 제곱합을 가져간다는 뜻이다. 누락된 능력이 교육을 통해 임금을 움직이면 R²는 높아지고 인과 해석은 더 나빠질 수 있다.

OLS가 보장하는 것과 보장하지 않는 것
보장	보장하지 않음
표본에서 잔차⊥X	모집단에서 U⊥X
평균점 통과	절편의 경제적 의미
선형 조건부평균의 최량 근사(가정 하)	처치효과

3. 잔차는 관측되지 않은 오차 U가 아니다

잔차 û는 추정 회귀에서 남는 조각이다. U는 모형이 참일 때의 교란이다. 모형을 잘못 적으면 û는 작아도 U의 의미가 없다. 산점도가 곡선인데 직선을 긋면 잔차가 한쪽으로 몰린다. 그때 해야 할 일은 변수를 더 넣는 홍보가 아니라, 함수 형태를 다시 적는 것이다.

확인문제

X를 표준화하면 β̂₁이 바뀌는가. Var(X)와 Cov(X,Y)가 같은 비율로 바뀌지 않으면 기울기 단위가 바뀐다. 표준화 회귀계수는 “X 1표준편차”당 Y 변화를 말하므로, 원래 단위의 β̂₁과 다른 숫자다.

참고 자료

Jeffrey Wooldridge, Introductory Econometrics, ch. 2
MIT OpenCourseWare, 14.32 Econometrics
통계청, 가계금융복지조사