경제학•챕터 2•약 3분

계량경제학 — 단순회귀와 최소제곱

O
Oiyo기여자
2/6

계량경제학 — OLS는 평균선을 긋는 계산이지 원인이 아니다

단순회귀 Y=β0+β1X+UY = \beta_0 + \beta_1 X + U에서 OLS는 잔차 제곱합을 최소로 만드는 (β0,β1)(\beta_0, \beta_1)을 고른다. 그 식이 1장의 ATE와 같아지려면 XX와 UU가 상관없어야 한다. 이 장은 계산을 먼저 고정하고, 그 가정이 하는 일을 다음 장으로 미룬다.

1. 정규방정식에서 기울기가 나온다

표본 nn개에 대해 ∑u^i=0\sum \hat u_i = 0, ∑Xiu^i=0\sum X_i \hat u_i = 0이 되게 맞추면 된다. 이는 잔차 평균이 0이고 잔차가 XX와 표본 공분산 0이라는 뜻이다.

OLS 기울기
β^1=Cov^(X,Y)/Var^(X)\hat\beta_1 = \widehat{\mathrm{Cov}}(X,Y) / \widehat{\mathrm{Var}}(X)
X가 평균에서 벗어날 때 Y가 같이 벗어나는 정도를, X의 퍼진 정도로 나눈 값이다. X의 변동이 없으면 나눌 수 없다.
절편
β^0=Yˉ−β^1Xˉ\hat\beta_0 = \bar Y - \hat\beta_1 \bar X
회귀선은 표본의 평균점을 지난다.

교육 연수(년)가 12, 14, 16이고 임금(만 원)이 280, 320, 390이면 Xˉ=14\bar X=14, Yˉ=330\bar Y=330이다. 편차곱의 합은 (−2)(−50)+0+(2)(60)=220(-2)(-50)+0+(2)(60)=220, XX 편차제곱합은 8이므로 표본공분산 110, 표본분산 4(둘 다 n−1n-1로 나눔)이고 β^1=220/8=27.5\hat\beta_1=220/8=27.5만 원/년, β^0=330−27.5×14=−55\hat\beta_0=330-27.5×14=-55만 원이다. 공분산과 분산은 같은 분모로 나눠야 한다. 절편이 음수인 것은 연수 0년을 표본 밖으로 외삽했기 때문이다. 해석하지 않는 편이 낫다.

2. R²는 맞춤의 비율이지 모형의 옳음이 아니다

결정계수
R2=1−SSR/SSTR^2 = 1 - SSR/SST
SSR은 잔차 제곱합, SST는 Y의 총제곱합이다. 변수를 추가하면 R²는 줄지 않는다.

임금 변동의 40%를 교육이 설명한다는 말은, 이 표본에서 교육 회귀선이 그 비율의 제곱합을 가져간다는 뜻이다. 누락된 능력이 교육을 통해 임금을 움직이면 R²는 높아지고 인과 해석은 더 나빠질 수 있다.

OLS가 보장하는 것과 보장하지 않는 것
보장보장하지 않음
표본에서 잔차⊥X모집단에서 U⊥X
평균점 통과절편의 경제적 의미
선형 조건부평균의 최량 근사(가정 하)처치효과

3. 잔차는 관측되지 않은 오차 U가 아니다

잔차 u^\hat u는 추정 회귀에서 남는 조각이다. UU는 모형이 참일 때의 교란이다. 모형을 잘못 적으면 u^\hat u는 작아도 UU의 의미가 없다. 산점도가 곡선인데 직선을 그으면 잔차가 한쪽으로 몰린다. 그때 해야 할 일은 변수를 더 넣는 것이 아니라, 함수 형태를 다시 적는 것이다.

확인문제

XX를 표준화하면 β^1\hat\beta_1이 바뀌는가. 바뀐다. XX를 표준편차 sXs_X로 나누면 기울기는 β^1sX\hat\beta_1 s_X가 된다. 1절 예에서 sX=2s_X=2이므로 표준화 기울기는 55만 원이고, “X 1표준편차당 Y 변화”를 말한다. 원래 단위의 27.5와 다른 숫자지만, 같은 관계를 다른 단위로 적은 것이다.

참고 자료

O

Oiyo

편집부

OIYO 편집부는 경제·법률·생활·자기이해 주제를 1차 자료와 공개 통계로 검증해 정리합니다. 모든 글은 출처 표기와 정기 점검을 거쳐 실용성과 정확성을 함께 유지합니다.