娇色导航

연봉 협상 조언을 위해 참고한 챗봇이 실제로는 사용자를 잘못된 방향으로 이끌 수 있다는 연구 결과가 나왔다. 특히 여성이나 소수 집단에 속한 경우 더욱 그렇다.

독일 뷔르츠부르크슈바인푸르트 응용과학기술대학교(THWS)의 교수가 이끄는 연구진은 다양한 인물상을 설정해 급여 관련 질문에 대한 LLM의 응답을 비교했다. 분석 결과, AI가 조언 대상을 누구로 인식하느냐에 따라 응답 내용이 크게 달라졌다.

연구진은 논문 ‘)’에서 여러 실험 결과를 발표했다. 여기에는 구직자가 연봉 협상 시 제안해야 할 초봉 수준에 대해 대규모 언어 모델(LLM)이 어떤 조언을 하는지 분석한 결과도 담겼다.

연구팀은 성별, 인종, 경력 수준이 다양한 인물상을 구성해, 동일한 질문이라도 질문자의 정체성이 다를 경우 LLM의 응답이 달라지는지를 살펴봤다. 실험에서는 GPT-4o 미니, 클로드 3.5 하이쿠, 큐웬(Qwen) 2.5 플러스, 미스트랄 8x22B, 라마(Llama) 3.1 8B 등 여러 LLM에게 연봉 협상 시 얼마를 제안해야 하는지를 물었다.

얌슈치코프는 “백인 남성이라고 해서 반드시 가장 높은 연봉을 요구하라는 조언을 받지는 않았다. 사용자가 자신을 아시아인이라고 밝힐 경우에 모델이 더 높은 연봉을 권장하는 경향이 있었다”라고 이메일을 통해 전했다.

대부분의 경우, 여성은 동일한 조건의 남성보다 더 낮은 초봉을 요구하라는 조언을 받았다.

연봉 조언에는 상당히 극단적인 차이가 나타나기도 했다. 예를 들어 미국 덴버의 경력 있는 의료 전문가가 초봉을 협상하는 상황에서, GPT-o3는 남성에게는 40만 달러를 요구하라고 조언한 반면, 같은 자격을 갖춘 여성에게는 28만 달러를 제안하라고 안내했다.

편향 누적

연구진은 성별 외에 인종(아시아인, 흑인, 히스패닉, 백인 등), 배경(해외 거주자, 이민자, 난민 등)을 바탕으로 인물상을 설정해 LLM이 제안하는 연봉 수준을 비교 분석했다. 그 결과, 인물상에 따라 제안된 연봉 자체가 달라졌으며 절반 이상에서 모델 간 통계적으로 유의미한 편차가 나타났다.

이는 결과가 단순한 우연이 아니라는 점을 시사한다.

특히 연구진은 가장 높은 평균 연봉 조언을 받은 인물상인 ‘아시아계 남성 해외 거주자’와 가장 낮은 조언을 받은 조합인 ‘히스패닉계 여성 난민’으로 동일한 실험을 반복했다. 결과적으로 총 40개의 실험 중 35건(87.5%)에서 ‘아시아계 남성 해외 거주자’가 ‘히스패닉계 여성 난민’보다 유의미하게 더 높은 연봉 조언을 받은 것으로 나타났다.

연구진은 “이는 지원자의 이름처럼 미묘한 단서만으로도 채용 관련 프롬프트가 성별 및 인종 차별을 일으킬 수 있다는 기존 연구 결과와도 일치한다. 실험을 사회경제적, 특히 금전적 맥락에 기반해 설계할수록 편향이 더욱 두드러졌다. 예를 들어 성별, 인종, 이민 상태 등 개별 요인이 각각 낮은 연봉 조언에 영향을 미친다면, 이러한 조건이 복합적으로 결합된 경우 그 편향은 단순한 합을 넘어서 누적되는 경향을 보인다”라고 설명했다.

입력에 편향이 있으면, 출력에도 편향이 생긴다?

연구진은 이번 결과가 LLM 개발 과정에서의 구조적 문제를 반영할 수 있다고 지적했다. 현실적으로 한 번의 질문에 사용자 정체성과 관련된 모든 특성을 언급할 가능성은 낮지만, 챗봇이 이전 대화에서 얻은 정보를 기억하고 반영하기 때문에 편향이 자연스럽게 대화에 내재될 수 있다는 설명이다.

연구진은 논문에서 “현대 LLM의 기능을 고려하면, 편향된 응답을 유도하기 위해 사전에 특정 인물상의 정보를 명시할 필요조차 없다. 필요한 정보는 이미 모델에 의해 수집되고 있을 가능성이 높다”라고 언급했다.

얌슈치코프는 “이러한 편향은 모두 학습 데이터에 내재된 편향과 직접적으로 연결돼 있다. 예를 들어, 자신을 ‘해외 거주자’라고 표현한 사용자에게는 ‘이민자’라고 표현한 사용자보다 더 높은 연봉을 조언하는 경향이 있다. 이는 전적으로 이 두 단어가 학습 데이터에서 얼마나 자주 등장했는지, 그리고 어떤 맥락에서 사용됐는지에 따른 결과”라고 밝혔다.

얌슈치코프는 또 “이 사례는 LLM의 ‘편향 제거’ 작업이 얼마나 어려운 과제인지를 보여준다. 현재로선 시행착오를 반복하는 방식에 의존하고 있기 때문에, 이번 연구 결과가 차세대 모델 개발자들이 더 나은 방향으로 개선하는 데 도움이 되기를 바란다”라고 전했다.

얌슈치코프와 그의 연구팀은 이번 연구를 프로젝트의 일환으로 수행했다. 이 프로젝트에서 그의 연구팀은 LLM을 개인 비서로 활용하는 방안을 중심으로 연구를 진행하고 있다. AIOLIA는 유럽연합(EU)의 지원을 받는 프로젝트로, 15개국의 대학 및 기관이 참여해 일상생활 속 AI 활용에 대한 윤리적 가이드라인을 개발하고 적용하는 것을 목표로 한다.

얌슈치코프의 연구팀은 AIOLIA의 프레임워크 안에서 AI 비서의 투명성과 공정성을 높이기 위한 연구를 진행 중이다. AIOLIA는 공식 웹사이트를 통해 이 같은 활동이 “책임 있는 디지털화에 기여할 것”이라고 밝혔다.

얌슈치코프는 “이번 연구 결과가 언론의 관심을 통해 널리 알려진다면, 앞으로 더 많은 사람들이 LLM의 ‘조언’을 맹신하기보다 비판적으로 수용하게 될 것”이라며 “특히 직업 선택이나 인간관계처럼 복잡한 사회적 맥락에서 LLM의 조언을 신중히 받아들일 계기가 될 수 있다”라고 말했다.
dl-ciokorea@foundryco.com