Ch8. 텍스트 마이닝과 빅데이터 플랫폼 — 빅데이터분석기사 완성

텍스트 마이닝

비정형 텍스트에서 의미 있는 패턴과 정보를 추출하는 기술.

응용: 감성 분석, 토픽 모델링, 스팸 필터, 문서 분류, 정보 추출

텍스트 전처리

토큰화(Tokenization): 텍스트를 단어/구 단위로 분리

형태소 분석(한국어):

"맛있는 음식을 먹었다" →
["맛있-", "-는", "음식", "-을", "먹-", "-었다"]
형태소 = 의미를 가진 최소 언어 단위

불용어(Stop Words) 제거: “은”, “는”, “이”, “가” 같은 의미 없는 단어 제거

어근화(Stemming/Lemmatization): “studying” → “study”

TF-IDF

TF (Term Frequency): 문서 내 특정 단어 등장 빈도

TF(t, d) = 단어 t가 문서 d에 등장하는 횟수 / 문서 d의 총 단어 수

IDF (Inverse Document Frequency): 희귀한 단어일수록 중요

IDF(t) = log(전체 문서 수 / 단어 t가 포함된 문서 수)

TF-IDF = TF × IDF: 해당 문서에서 자주 나오지만 전체에서는 드문 단어 → 높은 점수

TF-IDF의 직관: “의”, “가”, “은” 같은 조사는 모든 문서에 등장(IDF→0). “인공지능”은 관련 문서에만 등장(IDF 높음). TF-IDF로 문서의 핵심 키워드를 자동으로 추출할 수 있습니다.

감성 분석 (Sentiment Analysis)

텍스트의 감성(긍정/부정/중립)을 분류.

규칙 기반: 감성 사전(긍정어/부정어 목록) 머신러닝 기반: TF-IDF 특성 + 분류 모델 딥러닝 기반: BERT, RoBERTa 등 사전학습 언어 모델

응용: 상품 리뷰 분석, SNS 여론 모니터링, 고객 만족도 측정

LDA 토픽 모델링

문서 집합에서 잠재된 토픽(주제)을 발견하는 확률 모델.

가정: 각 문서는 여러 토픽의 혼합, 각 토픽은 단어의 분포

토픽 1 (경제): 금리, 물가, GDP, 환율, 투자
토픽 2 (기술): AI, 알고리즘, 데이터, 모델, 학습
토픽 3 (건강): 운동, 식단, 체중, 칼로리, 수면

Apache Spark 핵심

RDD(Resilient Distributed Dataset): Spark의 기본 데이터 구조.

DataFrame/Dataset: SQL-like 인터페이스, 최적화된 실행 계획

주요 기능:

Spark SQL: 분산 SQL 쿼리
Spark Streaming: 실시간 스트리밍
MLlib: 분산 머신러닝
GraphX: 그래프 처리

핵심 개념 카드

TF-IDF ★★★★★ : 문서-단어 가중치. TF=문서 내 빈도, IDF=전체 희귀도. 정보 검색·문서 분류의 기본.

감성 분석 ★★★★★ : 텍스트의 감성 분류. SNS 모니터링, 리뷰 분석의 핵심 기술. BERT 기반이 현재 최고 성능.

LDA ★★★★☆ : 비지도 토픽 모델링. 문서 집합의 잠재 주제 발견. 뉴스 분류, 문서 군집화에 활용.

실전 퀴즈

Q1. “사랑”이라는 단어가 10,000개 문서 중 5,000개에 등장한다. 이 단어의 IDF가 낮은 이유는?

IDF = log(10000/5000) = log(2) ≈ 0.3으로 낮습니다. 절반의 문서에 등장하는 흔한 단어이기 때문입니다. IDF는 단어가 드물수록 높아집니다. “AI” 같은 단어가 100개 문서에만 등장한다면 IDF = log(10000/100) = log(100) = 2로 높습니다. TF-IDF는 문서를 구별하는 핵심 단어에 높은 가중치를 부여합니다.

Q2. 10만 건의 고객 상품 리뷰에서 주요 불만 유형을 자동으로 분류하려면 어떤 기법이 적합한가?

LDA(Latent Dirichlet Allocation) 토픽 모델링이 적합합니다. 레이블 없이 비지도 방식으로 리뷰에서 자동으로 주요 토픽(불만 유형)을 발견합니다. 예를 들어 “배송”, “품질”, “AS” 등의 토픽 클러스터가 자동으로 나타납니다. 이후 토픽별 대표 단어와 문서를 확인해 불만 유형을 해석할 수 있습니다.