제4강: AI의 한계와 위험 — 환각, 편향, 개인정보

AI를 맹신하는 것의 위험

ChatGPT와 Claude 같은 AI는 놀라운 능력을 보여주지만, 치명적인 한계도 있습니다. AI 리터러시의 핵심은 AI의 능력과 한계를 동시에 이해하는 것입니다.

AI의 능력 vs 한계 — 현실적 평가
영역	AI가 잘하는 것	AI가 못하는 것
지식	방대한 학습 데이터 패턴 재현	최신 정보, 전문 검증 지식
언어	유창하고 구조적인 텍스트 생성	진정한 이해, 의도 파악
추론	논리적 단계 밟기	새로운 개념의 창의적 추론
신뢰성	일관된 스타일 유지	자신의 오류 인식 및 수정

환각 (Hallucination)

AI가 가장 위험한 방식으로 실패하는 패턴입니다.

LLM이 없는 사실을 있는 것처럼 자신 있게 생성하는 현상입니다. ‘환각’이라고 부르지만, AI가 실제로 헷갈리는 것이 아닙니다. 단지 다음에 올 그럴듯한 토큰을 생성할 뿐인데, 그것이 사실과 다를 수 있습니다.

환각의 유형과 실제 사례
유형	설명	실제 사례
존재하지 않는 인용	없는 논문·책을 인용	미국 변호사 ChatGPT 사건 — 존재하지 않는 판례 인용으로 법정 제재
날짜·숫자 오류	사실과 다른 수치 자신감 있게 제시	기업 재무 수치, 통계 오류
혼재 정보	여러 사실을 잘못 결합	두 인물의 이력을 섞어 제시
최신 정보 부재	학습 데이터 이후 사건 모름	훈련 컷오프 이후 사건 '잘못 추측'

환각 방지 전략:
→ 중요한 사실은 반드시 원본 소스 확인
→ "출처를 알려줘"는 효과 없음 — AI가 출처도 만들어냄
→ 고위험 영역(법률·의료·금융)은 전문가 검토 필수
→ 구체적이고 검증 가능한 질문으로 좁히기
→ AI 답변을 '초안'으로 활용하고 검증은 사람이

AI 편향 (Bias)

AI는 학습 데이터의 편견을 그대로 흡수하고, 증폭시킬 수 있습니다.

AI 편향의 유형과 실제 피해
편향 유형	원인	실제 사례
데이터 편향	학습 데이터가 특정 집단 과대/과소 표현	안면 인식 흑인 여성 오인식률 35% (MIT 연구)
역사적 편향	과거 차별적 패턴 학습	아마존 채용 AI — 여성 이력서 감점 (2018)
확증 편향 증폭	기존 믿음 강화하는 콘텐츠 추천	소셜미디어 필터 버블, 극단화
언어적 편향	영어 중심 학습 데이터	비영어권 언어에서 성능·정확도 저하

편향 인식

AI 결과물이 특정 집단(성별, 인종, 나이, 국적)에 유리하거나 불리하게 작용하는지 의식적으로 확인합니다.

출력 다양화

여러 AI 도구의 결과를 비교하고, 다양한 관점의 프롬프트를 시도합니다.

고위험 의사결정 주의

채용, 대출 심사, 의료 진단 등 중요한 결정에서 AI를 유일한 판단 기준으로 사용하지 않습니다.

피드백 제공

잘못된 AI 결과물에 피드백을 남깁니다. 집단적 피드백이 모델 개선에 기여합니다.

개인정보와 AI

AI 사용 시 개인정보 위험
위험 유형	설명	예방
훈련 데이터 포함	입력한 정보가 미래 학습 데이터로 활용 가능	서비스 약관 확인, 데이터 학습 거부 설정
민감 정보 유출	AI가 타인의 개인정보를 재생성할 수 있음	실명·주민번호·계좌 번호 입력 금지
기업 기밀 유출	업무 정보를 외부 AI에 입력 시 위험	기업 전용 AI 사용 또는 입력 내용 최소화
저작권 침해	AI 생성물이 학습 데이터 저작권 침해 가능	상업적 사용 전 AI 서비스 정책 확인

딥페이크와 AI 허위정보

AI 생성 허위정보 유형
유형	기술	피해 사례
딥페이크 영상	GAN·Diffusion으로 얼굴 합성	유명인 사칭 사기, 선거 허위정보
음성 복제	5초 음성으로 목소리 복제	가족 납치 사칭 사기 전화
AI 생성 텍스트	대량 허위 뉴스·댓글 자동 생성	여론 조작, 가짜 리뷰
합성 이미지	존재하지 않는 이벤트 사진	전쟁·재난 허위 정보 확산

완벽한 식별은 어렵지만: (1) 얼굴 경계·머리카락 자연스러운지, (2) 눈깜박임·입모양 싱크, (3) 귀걸이·안경 대칭, (4) 배경 일관성, (5) 발원 계정 확인. AI 탐지 도구(Deepware, Microsoft Video Authenticator) 활용도 가능합니다.

핵심 암기 포인트

환각: AI는 없는 사실을 자신 있게 생성 → 중요한 정보는 원본 확인 편향: 데이터 편견이 AI에 흡수·증폭 → 고위험 의사결정에 AI 단독 사용 금지 개인정보: 외부 AI에 민감 정보 입력 금지 → 기업 기밀은 전용 AI 활용 딥페이크: AI 생성 허위정보 급증 → 정보 출처와 맥락 비판적 검증