상관관계와 회귀분석: 데이터의 연결고리

데이터는 혼자 존재하지 않습니다. 키와 몸무게, 교육 수준과 소득, 기온과 아이스크림 판매량처럼 서로 영향을 주고받는 경우가 많습니다. 통계학은 이 ‘관계’를 수치화하고 미래를 예측하는 데 활용합니다.

1. 상관관계의 수치화 — 피어슨 상관계수 ($r$)

두 변수가 함께 변하는 정도를 나타냅니다. 상관계수 $r$은 -1에서 +1 사이의 값을 가집니다.

$r = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2 \cdot \sum (y_i - \bar{y})^2}}$

2. 단순 선형 회귀분석 (Simple Linear Regression)

상관관계가 단순히 “관련이 있다”를 보여준다면, 회귀분석은 “얼마나 관련이 있고, 미래를 어떻게 예측하는가”를 보여줍니다.

$\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x$

최소자승법(OLS: Ordinary Least Squares)을 사용하여 잔차(Residuals)의 제곱합을 최소화하는 계수를 추정합니다.

3. 회귀모델의 성능 평가: $R^2$ (결정계수)

$R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2} = \frac{\text{회귀로 설명된 분산}}{\text{전체 분산}}$

$R^2$는 0에서 1 사이의 값으로, 회귀모델이 데이터 변동의 몇 %를 설명하는지 나타냅니다.

4. 회귀분석의 한계와 주의사항