Ch5. 회귀 분석과 시계열 분석

선형 회귀

수치형 연속 변수를 예측하는 가장 기본적인 지도학습.

단순 선형 회귀

Y = β₀ + β₁X + ε
β₀: 절편, β₁: 기울기(계수), ε: 오차

최소제곱법(OLS): 잔차 제곱합을 최소화하는 β₀, β₁ 추정.

다중 선형 회귀

Y = β₀ + β₁X₁ + β₂X₂ + ... + βₙXₙ + ε

가정 확인:

• 선형성: X와 Y의 선형 관계
• 정규성: 잔차가 정규 분포
• 등분산성: 잔차의 분산이 일정
• 독립성: 잔차 간 자기상관 없음
• 다중공선성 없음: 독립변수들이 서로 독립

---

규제 회귀(Regularization)

과적합을 방지하기 위해 계수에 패널티를 부과:

릿지(Ridge, L2 정규화)

비용함수 = MSE + λΣβᵢ²

• 계수를 0에 가깝게 축소하지만 0으로 만들지 않음
• 다중공선성 문제에 효과적

라쏘(Lasso, L1 정규화)

비용함수 = MSE + λΣ|βᵢ|

• 일부 계수를 정확히 0으로 만듦 → 자동 특성 선택
• 중요 특성만 남기는 희소 모델

ElasticNet

L1 + L2 혼합. 특성이 많고 상관관계 있을 때 유용.

---

시계열 분석

시계열 데이터: 시간 순서로 수집된 데이터 (주가, 기온, 판매량)

시계열 분해

시계열 = 추세(Trend) + 계절성(Seasonality) + 잔차(Residual)

추세(Trend): 장기적 방향성 (증가/감소) 계절성(Seasonality): 주기적 패턴 (여름 에어컨 판매 증가) 잔차(Residual): 설명되지 않는 변동

ARIMA 모델

AR(자기회귀): 과거 값으로 현재 예측

Yₜ = c + φ₁Yₜ₋₁ + φ₂Yₜ₋₂ + ... + φₚYₜ₋ₚ + εₜ

I(적분): 차분(Differencing)으로 정상성 확보

MA(이동평균): 과거 오차로 현재 예측

ARIMA(p, d, q): AR차수 p, 차분 횟수 d, MA차수 q

SARIMA: 계절성까지 고려한 ARIMA

---

핵심 개념 카드

릿지 vs 라쏘 ★★★★★ : 릿지=L2, 계수 축소(0에 가깝게), 다중공선성 해결. 라쏘=L1, 계수 0으로(특성 선택), 희소 모델.

시계열 분해 ★★★★★ : 추세+계절성+잔차. 계절성 있으면 제거 후 분석.

ARIMA(p,d,q) ★★★★☆ : AR(자기회귀)+I(차분)+MA(이동평균). 정상 시계열에 적용. 비정상=차분 먼저.

---

실전 퀴즈

Q1. 주택 가격 예측 모델에서 방 수, 면적, 주변 학교 수, 건물 연도 등 50개 특성이 있다. 중요 특성을 자동 선택하려면?

라쏘(Lasso) 회귀를 사용합니다. L1 정규화가 중요하지 않은 특성의 계수를 정확히 0으로 만들어 자동으로 특성을 선택합니다. 릿지는 계수를 0에 가깝게 줄이지만 완전히 0으로 만들지 않아 특성 선택 효과가 없습니다.

Q2. 월별 판매 데이터를 분석하니 매년 12월에 급증하는 패턴이 있다. ARIMA 대신 어떤 모델을 사용해야 하는가?

SARIMA(계절성 ARIMA)를 사용해야 합니다. 일반 ARIMA는 계절성을 처리하지 못합니다. 또는 Facebook Prophet 모델도 계절성과 휴일 효과를 자동으로 처리하는 시계열 모델입니다.