선형대수학 — 4강: 선형 변환·내적공간·최소제곱법

선형 변환

선형 변환 (Linear Transformation):
→ T: V → W (벡터공간 V에서 W로)
→ 두 조건:
  ① T(u + v) = T(u) + T(v) (가산성)
  ② T(cu) = cT(u) (동차성)

선형 변환 예시:
→ 회전 변환: R_θ: R² → R²
  R_θ(x,y) = (x cosθ - y sinθ, x sinθ + y cosθ)
→ 투영: P(x,y,z) = (x,y,0) (xy-평면으로 투영)
→ 미분: T(f) = f' (다항식 공간에서)

행렬과 선형 변환:
→ T: Rⁿ → Rᵐ 는 항상 행렬로 표현 가능
→ T(x) = Ax (A: m×n 행렬)
→ A의 j번째 열 = T(eⱼ) (표준 기저 상)

합성 변환:
→ (T₂ ∘ T₁)(x) = T₂(T₁(x))
→ 행렬: A₂A₁ (순서 주의!)

역 변환:
→ T가 전단사 → 역변환 T⁻¹ 존재
→ 행렬: (AB)⁻¹ = B⁻¹A⁻¹

핵(Kernel)과 상(Image)

핵 (Kernel / Null Space):
→ ker(T) = {v ∈ V : T(v) = 0}
→ 행렬 A의 경우: Ax = 0의 해 집합
→ V의 부분공간

영공간의 기저 구하기:
→ Ax = 0 → 행 축소 → 자유변수 표현

상(Image / Column Space):
→ im(T) = {T(v) : v ∈ V}
→ 행렬 A의 경우: 열 공간 (column space)
→ W의 부분공간

차원 정리 (Rank-Nullity Theorem):
→ dim(ker T) + dim(im T) = dim(V)
→ nullity(A) + rank(A) = n (A: m×n)

행렬의 rank:
→ 행 공간의 차원 = 열 공간의 차원
→ 행 축소 후 피벗 행의 수
→ rank(A) = rank(Aᵀ)

전사·단사 조건:
→ T 단사 (1-1): ker(T) = {0} ↔ rank = n
→ T 전사 (onto): im(T) = W ↔ rank = m
→ m×n 행렬에서 m < n → 전사 불가

내적 공간

내적 (Inner Product):
→ 실수 내적: <u,v> = u·v = Σ uᵢvᵢ
→ 내적 공리:
  ① <u,v> = <v,u> (대칭성)
  ② <u+v,w> = <u,w> + <v,w> (선형성)
  ③ <cu,v> = c<u,v>
  ④ <u,u> ≥ 0, <u,u> = 0 ↔ u = 0

벡터 길이 (Norm):
→ ||u|| = sqrt(<u,u>)

코시-슈바르츠 부등식:
→ |<u,v>| ≤ ||u|| · ||v||
→ 등호: u와 v가 평행할 때

각도:
→ cos θ = <u,v> / (||u|| · ||v||)

직교 (Orthogonal):
→ <u,v> = 0 ↔ u와 v는 직교
→ 직교 집합: 모든 쌍이 직교
→ 정규 직교 집합: 직교 + 모든 벡터 길이 1

직교 여공간:
→ W⊥ = {v : <v,w> = 0 for all w ∈ W}
→ (W⊥)⊥ = W
→ Rⁿ = W ⊕ W⊥ (직합)

직교 투영:
→ W에 대한 u의 투영:
  proj_W u = Σ (<u,wᵢ>/||wᵢ||²) wᵢ
  (w₁,...,wₖ: W의 직교 기저)

그람-슈미트 직교화와 QR 분해

그람-슈미트 과정 (Gram-Schmidt):
→ 임의의 기저 → 정규 직교 기저

과정:
v₁ = u₁
v₂ = u₂ - proj_v₁ u₂
v₃ = u₃ - proj_v₁ u₃ - proj_v₂ u₃
...
eᵢ = vᵢ / ||vᵢ|| (정규화)

QR 분해:
→ A = QR
→ Q: 직교 행렬 (열이 정규 직교 벡터)
  Qᵀ Q = I
→ R: 상삼각 행렬 (대각선 > 0)
→ 응용: 선형 방정식 풀기, 최소제곱법

직교 행렬 성질:
→ QᵀQ = QQᵀ = I
→ Q⁻¹ = Qᵀ
→ det(Q) = ±1
→ ||Qx|| = ||x|| (길이 보존)
→ Qx · Qy = x · y (내적 보존)

최소제곱법 (Least Squares)

배경:
→ Ax = b가 해를 갖지 않을 때 (over-determined)
→ 잔차 r = b - Ax 의 크기 ||r||² 최소화

정규 방정식 (Normal Equations):
→ AᵀAx = Aᵀb
→ x̂ = (AᵀA)⁻¹Aᵀb (AᵀA 역행렬 존재 시)

기하학적 의미:
→ Ax̂ = 열공간 col(A)에 b의 직교 투영
→ 잔차 r = b - Ax̂ 는 col(A)에 수직

응용: 선형 회귀
→ 데이터 (x₁,y₁), ..., (xₙ,yₙ)에 y = ax + b 피팅
→ 행렬 형태: b = Ax (A: [x_i, 1] 행렬)
→ 최소제곱해: 회귀계수 a, b

의사역행렬 (Pseudoinverse):
→ A⁺ = (AᵀA)⁻¹Aᵀ (A: full column rank)
→ x̂ = A⁺b
→ SVD로 일반화: A⁺ = V Σ⁺ Uᵀ

정사영 행렬 (Projection Matrix):
→ P = A(AᵀA)⁻¹Aᵀ
→ Pb = Ax̂ (b의 col(A)로 정사영)
→ 성질: P² = P, Pᵀ = P (멱등·대칭)

Q. 최소제곱법이 실제로 어떻게 활용되나요? A. 가장 친숙한 응용은 회귀 분석입니다. 수십 개의 데이터 포인트에 직선이나 곡선을 맞출 때 각 점과 직선의 거리(잔차) 제곱합을 최소화하는 직선을 찾는 것이 최소제곱법입니다. 머신러닝의 선형 회귀, 컴퓨터 그래픽의 곡면 피팅, GPS 위치 추정, 신호 처리에서 노이즈 제거 등 다양한 분야에서 핵심 기법으로 사용됩니다.

Q. 그람-슈미트 과정이 수치적으로 불안정하다는 말은 무슨 뜻인가요? A. 컴퓨터의 부동소수점 연산에서는 반올림 오차가 누적되어 직교성이 서서히 손실될 수 있습니다. 이를 개선한 수정 그람-슈미트(Modified Gram-Schmidt) 알고리즘이 더 수치 안정적입니다. 실제 소프트웨어에서는 하우스홀더 변환이나 기번스 회전을 이용한 QR 분해 알고리즘이 수치적으로 더 안정하므로 주로 사용됩니다.