Ch4. 투명성과 설명가능성

투명하다는 것은 무엇을 공개한다는 뜻일까

AI 투명성은 모든 코드를 공개한다는 뜻만은 아닙니다. 사용자가 AI가 쓰였는지 알 수 있는지, 어떤 데이터 범주와 기준이 결과에 영향을 줬는지, 결과에 이의를 제기할 수 있는지까지 포함합니다.

예를 들어 추천 콘텐츠가 표시될 때 “최근 본 글과 관심 주제를 바탕으로 추천됨”이라고 알려주는 것만으로도 사용자는 결과를 더 잘 이해할 수 있습니다. 반대로 AI가 사람의 판단처럼 숨어 있으면 사용자는 선택권을 잃습니다.

---

설명가능성과 정확도의 균형

설명가능성은 AI 결과를 사람이 이해할 수 있게 만드는 능력입니다. 어떤 모델은 단순해서 설명하기 쉽지만 성능이 낮을 수 있고, 어떤 모델은 성능이 높지만 내부 작동을 직관적으로 설명하기 어렵습니다.

상황	필요한 설명 수준
영화 추천	대략적인 추천 이유로 충분한 경우가 많음
고객 상담 자동 분류	주요 분류 기준과 수정 방법 필요
대출 심사 보조	결과에 영향을 준 요인과 이의제기 절차 필요
의료 판단 보조	전문가 검토와 근거 설명이 매우 중요

피해 가능성이 큰 영역일수록 설명 요구도 높아집니다.

---

좋은 설명은 사용자를 위한 설명이다

개발자에게 유용한 설명과 사용자에게 유용한 설명은 다를 수 있습니다. “모델 가중치가 이렇게 작동했다”는 설명은 기술자에게 의미가 있지만, 사용자는 “왜 내 신청이 거절되었고 무엇을 수정할 수 있는지”를 알고 싶어 합니다.

좋은 설명은 세 가지를 담습니다. 첫째, 결과가 무엇인지. 둘째, 어떤 주요 요인이 영향을 줬는지. 셋째, 사용자가 취할 수 있는 다음 행동이 무엇인지입니다.

---

투명성의 한계도 인정해야 한다

모든 것을 공개한다고 좋은 것은 아닙니다. 개인정보, 영업비밀, 보안 악용 가능성 때문에 공개 범위를 제한해야 할 때도 있습니다. 또한 설명이 너무 길거나 복잡하면 오히려 사용자가 이해하지 못합니다.

따라서 투명성은 “많이 공개하기”가 아니라 “필요한 사람이 필요한 수준으로 이해하게 하기”에 가깝습니다. AI 관련 규제와 요구사항은 국가와 시기에 따라 달라질 수 있으므로, 서비스 맥락에 맞는 최신 기준도 함께 확인해야 합니다.

---

핵심 요약

• AI 투명성은 AI 사용 여부, 판단 기준, 이의제기 가능성을 알리는 것까지 포함한다.
• 설명가능성은 결과를 사람이 이해하고 검토할 수 있게 만드는 능력이다.
• 위험이 큰 영역일수록 더 구체적이고 행동 가능한 설명이 필요하다.
• 투명성은 무조건 전부 공개하는 것이 아니라 맥락에 맞는 이해를 제공하는 일이다.

다음 장에서는 생성형 AI가 만든 글, 이미지, 코드와 저작권 문제를 살펴봅니다.