Ch2. 알고리즘 편향과 공정성

편향은 악의가 없어도 생긴다

AI 편향은 개발자가 일부러 차별하려고 만들 때만 생기지 않습니다. 과거 데이터가 이미 한쪽으로 치우쳐 있거나, 측정 방식이 특정 사람을 덜 반영하거나, 모델의 목표가 현실의 공정성과 맞지 않을 때도 생깁니다.

예를 들어 과거 채용 데이터에서 특정 학교나 경력 경로가 과하게 우대되었다면, 모델은 그 패턴을 “좋은 지원자의 특징”으로 배울 수 있습니다. 모델은 과거를 배웠을 뿐이지만, 그 결과는 미래의 기회를 제한할 수 있습니다.

---

데이터 편향의 주요 원인

원인	설명	예시
대표성 부족	특정 집단의 데이터가 적음	일부 연령대 음성 인식 오류 증가
과거 차별 반영	기존 제도의 불균형을 학습	과거 승인 이력 기반 평가
측정 기준 문제	측정값이 목표를 제대로 대변하지 않음	근무 시간으로 생산성 평가
라벨 오류	사람이 붙인 정답이 일관되지 않음	감정 분류 기준 차이

편향을 줄이려면 모델만 보지 말고 데이터가 만들어진 사회적 맥락도 함께 봐야 합니다.

---

공정성은 하나의 공식이 아니다

공정성은 상황에 따라 다른 의미를 가질 수 있습니다. 모든 집단의 승인율을 같게 할 것인지, 같은 조건의 사람은 같은 결과를 받게 할 것인지, 오류율을 비슷하게 맞출 것인지가 서로 충돌할 수 있습니다.

그래서 AI 공정성 논의에서는 “어떤 공정성을 기준으로 삼는가”를 먼저 밝혀야 합니다. 입학, 대출, 복지, 추천 콘텐츠처럼 영역이 달라지면 공정성 기준도 달라질 수 있습니다.

---

편향 점검은 배포 후에도 계속된다

모델을 만들 때 검증했다 해도 끝이 아닙니다. 서비스 사용자층이 바뀌거나 사회적 표현 방식이 달라지면 성능과 공정성도 변합니다. 배포 후 오류 사례를 모으고, 사용자 이의제기 통로를 열고, 민감한 결정은 사람이 검토할 수 있어야 합니다.

알고리즘 편향은 한 번 제거하는 먼지가 아니라 계속 관리해야 하는 운영 리스크에 가깝습니다.

---

핵심 요약

• AI 편향은 악의가 없어도 데이터와 목표 설정에서 생길 수 있다.
• 대표성 부족, 과거 차별, 잘못된 측정 기준, 라벨 오류가 주요 원인이다.
• 공정성은 하나의 공식이 아니라 영역과 가치 판단에 따라 달라진다.
• 편향 점검은 개발 단계뿐 아니라 배포 후 운영 단계에서도 계속되어야 한다.

다음 장에서는 AI 서비스에서 개인정보와 프라이버시를 어떻게 보호해야 하는지 다룹니다.