상관관계와 회귀분석: 관계의 과학

상관관계와 회귀분석: 데이터의 연결고리

데이터는 혼자 존재하지 않습니다. 키와 몸무게, 교육 수준과 소득, 기온과 아이스크림 판매량처럼 서로 영향을 주고받는 경우가 많습니다. 통계학은 이 ‘관계’를 수치화하고 미래를 예측하는 데 활용합니다.

두 변수가 함께 변하는 정도를 나타냅니다. 상관계수 $r$ 은 -1에서 +1 사이의 값을 가집니다.

r = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2 \cdot \sum (y_i - \bar{y})^2}}

상관계수(r)의 해석 기준
r 값 범위	관계의 방향	강도 해석	사례
r ≈ +1.0	양의 상관	완전 양의 상관	측정 오차 없는 물리 실험
+0.7 ~ +0.9	양의 상관	강한 양의 상관	학습시간 → 성적
+0.3 ~ +0.7	양의 상관	중간 수준	소득 → 주택 규모
−0.1 ~ +0.1	없음	거의 무상관	신발 사이즈 → 지능
−0.3 ~ −0.7	음의 상관	중간 수준	실업률 → 소비 지출
r ≈ −1.0	음의 상관	완전 음의 상관	결근율 → 생산성

상관관계가 단순히 “관련이 있다”를 보여준다면, 회귀분석은 “얼마나 관련이 있고, 미래를 어떻게 예측하는가”를 보여줍니다.

\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x

최소자승법(OLS: Ordinary Least Squares)을 사용하여 잔차(Residuals)의 제곱합을 최소화하는 계수를 추정합니다.

공부 시간과 시험 점수의 관계 — 회귀 예시
공부 시간 (x)	실제 점수 (y)	예측 점수 (ŷ)	잔차 (y−ŷ)
2시간	55점	58점	−3점
5시간	75점	73점	+2점
8시간	92점	88점	+4점
10시간	95점	98점	−3점

R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2} = \frac{\text{회귀로 설명된 분산}}{\text{전체 분산}}

$R^2$ 는 0에서 1 사이의 값으로, 회귀모델이 데이터 변동의 몇 %를 설명하는지 나타냅니다.

R² 값의 해석 가이드
R² 범위	설명력	활용 분야	판단 기준
0.9 이상	매우 높음 (90%+)	물리·공학 실험	뛰어난 모델
0.7 ~ 0.9	높음	경제학 계량 모델	우수한 모델
0.5 ~ 0.7	중간	사회과학 연구	수용 가능
0.3 ~ 0.5	낮음	심리학·마케팅	참고 수준
0.3 미만	매우 낮음	복잡 시스템	개선 필요