선형대수학 — 3강: 고유값, 고유벡터, 대각화

고유값과 고유벡터

정의:
→ n×n 행렬 A에 대해
  Av = λv를 만족하는 스칼라 λ와 영벡터 아닌 v가 있으면
  λ: A의 고유값 (eigenvalue)
  v: λ에 대응하는 고유벡터 (eigenvector)

의미:
→ 선형 변환 A를 적용해도 방향이 바뀌지 않는 벡터
→ 길이만 λ배 변함

고유값 계산:
→ Av = λv → (A - λI)v = 0
→ v ≠ 0이려면: det(A - λI) = 0

특성 다항식 (Characteristic Polynomial):
→ p(λ) = det(A - λI) = 0
→ n차 방정식 → 최대 n개 고유값

2×2 행렬 예시:
→ A = [[3, 1], [0, 2]]
→ det(A - λI) = (3-λ)(2-λ) - 0 = 0
→ λ₁ = 3, λ₂ = 2

고유벡터 계산 (λ₁=3):
→ (A - 3I)v = 0
→ [[0, 1], [0, -1]]v = 0 → v = [1, 0]^T

특성 다항식의 성질

고유값의 성질:

대각합 (Trace):
→ tr(A) = λ₁ + λ₂ + ... + λₙ
→ A의 대각 원소 합 = 고유값 합

행렬식 (Determinant):
→ det(A) = λ₁ · λ₂ · ... · λₙ
→ 고유값 중 0이 있으면 → 행렬 특이 (역행렬 없음)

중복도:
→ 대수적 중복도: 특성 다항식에서 근의 중복 수
→ 기하적 중복도: 고유공간의 차원 (≤ 대수적 중복도)

복소 고유값:
→ 실수 행렬도 복소 고유값 가능
→ 항상 켤레쌍으로 나옴: a+bi, a-bi

고유값이 가지는 의미:
→ 모든 |λ| < 1: 반복 적용 시 수렴
→ |λ| > 1: 발산
→ λ = 0: A는 특이 행렬 (비가역)

행렬 대각화

대각화의 정의:
→ A = PDP⁻¹로 분해
→ D: 고유값이 대각에 있는 대각 행렬
→ P: 고유벡터를 열로 배열한 행렬

대각화 가능 조건:
→ n×n 행렬이 n개의 선형 독립인 고유벡터 보유
→ 모든 고유값의 기하적 중복도 = 대수적 중복도

대각화 절차:
1. 특성 다항식 det(A - λI) = 0 계산
2. 고유값 λ₁, λ₂, ..., λₙ 구하기
3. 각 고유값에 대응하는 고유벡터 계산
4. P = [v₁ | v₂ | ... | vₙ], D = diag(λ₁, λ₂, ..., λₙ)

대각화의 활용:
→ 행렬의 거듭제곱: Aᵏ = PDᵏP⁻¹
  Dᵏ = diag(λ₁ᵏ, λ₂ᵏ, ..., λₙᵏ) (계산 쉬움)
→ 미분방정식 시스템 풀기
→ 주성분 분석 (PCA)

직교 대각화

대칭 행렬의 스펙트럼 정리:
→ 대칭 행렬(A = Aᵀ)은 항상 직교 대각화 가능
→ 모든 고유값 실수
→ 다른 고유값의 고유벡터는 직교

직교 대각화:
→ A = QDQᵀ
→ Q: 열이 정규직교(orthonormal)인 행렬
→ Qᵀ = Q⁻¹ (직교 행렬)

그람-슈미트 직교화:
→ 선형 독립인 벡터 집합을 직교 정규화
→ v₁, v₂ 주어졌을 때:
  u₁ = v₁ / |v₁|
  u₂ = (v₂ - (v₂·u₁)u₁) / |v₂ - (v₂·u₁)u₁|

이차 형식 (Quadratic Form):
→ xᵀAx (A는 대칭 행렬)
→ 직교 변환 x = Qy로:
  xᵀAx = yᵀDy = λ₁y₁² + λ₂y₂² + ...
→ 양정치(Positive Definite): 모든 고유값 > 0
→ 음정치(Negative Definite): 모든 고유값 < 0

특이값 분해 (SVD)

SVD (Singular Value Decomposition):
→ 임의 m×n 행렬 A를 분해
→ A = UΣVᵀ
→ U: m×m 직교 행렬 (좌 특이벡터)
→ Σ: m×n 대각 행렬 (특이값 σ₁≥σ₂≥...≥0)
→ V: n×n 직교 행렬 (우 특이벡터)

특이값의 계산:
→ σᵢ = √(AᵀA의 고유값)
→ σᵢ ≥ 0 (항상)

SVD의 응용:

저랭크 근사 (Low-rank Approximation):
→ A ≈ σ₁u₁v₁ᵀ + σ₂u₂v₂ᵀ + ... (상위 k개만)
→ 이미지 압축: 중요한 특이값만 사용
→ 잡음 제거

주성분 분석 (PCA):
→ 데이터 행렬의 공분산 행렬 고유벡터 = 주성분
→ SVD와 깊이 연결
→ 차원 축소, 데이터 시각화

추천 시스템:
→ 행렬 분해 (Matrix Factorization)
→ 사용자-아이템 행렬 → 잠재 요인 추출

Q. 고유값과 고유벡터는 실제로 어디에 쓰이나요? A. 실용적 응용이 매우 많습니다. 구글 페이지랭크는 웹 링크 행렬의 고유벡터로 페이지 중요도를 계산합니다. PCA(주성분 분석)는 공분산 행렬의 고유벡터를 이용해 데이터 차원을 축소합니다. 구조물 진동 분석에서 고유진동수(고유값)와 진동 모드(고유벡터)를 구합니다. 양자역학에서는 연산자의 고유값이 측정 가능한 물리량입니다.

Q. 대각화가 불가능한 행렬도 있나요? A. 네, 있습니다. 고유값이 중복되고 기하적 중복도가 대수적 중복도보다 작으면 대각화 불가능합니다. 예를 들어 [[1, 1], [0, 1]]은 고유값 λ=1이 두 번이지만 고유벡터가 하나뿐입니다. 이런 경우 조르당 표준형(Jordan Canonical Form)을 사용합니다.