숨겨진 선호를 준 AI 에이전트, 전문가의 분석 선택과 86% 일치

본문

Anthropic은 10월 27일 전문가가 AI 에이전트에 분석을 맡길 때 여러 합리적 선택지 가운데 어떤 것을 고르는지 살펴본 연구를 공개했습니다. 인과추론 경험이 있는 분석가 50명은 Claude Code를 이용해 가상의 농업 협동조합이 자문 프로그램을 확대할지 판단하는 과제를 수행했습니다. 에이전트에는 분석 선택마다 한쪽을 선호하라는 지시를 동전 던지기로 배정했고, 참가자에게는 그 지시를 알리지 않았습니다.

분석가들은 생산성을 헥타르당 수확량으로 볼지 운영비 단위당 수확량으로 볼지, 비교 방법과 대상 농가, 농가별 가중치를 어떻게 정할지 선택했습니다. 각 선택은 추정된 생산성 향상 폭을 수 퍼센트포인트 바꿀 수 있었고, 협동조합이 프로그램 확대에 요구한 기준은 약 3~4%였습니다. 네 가지 분석 선택에서 참가자의 선택은 에이전트 선호와 평균 86% 일치했습니다. 항목별 일치율은 81~92%였습니다.

에이전트가 프로그램 확대를 선호했을 때 분석가의 54%가 확대를 권고했고, 반대 방향을 선호했을 때는 36%가 확대를 권고했습니다. 이 비율은 1년 연장을 확대에 포함하지 않고 집계한 관측값입니다. 논문은 별도로 중단 0점·1년 연장 0.5점·확대 1점으로 점수화한 최종 권고를 분석했으며, 사전등록한 주추정에서 에이전트 선호의 영향은 통계적으로 유의하지 않았습니다. 자신의 선호를 먼저 밝힌 38건에서는 에이전트가 반대하면 선택을 바꾼 비율이 60%, 동의하면 6%였습니다. 연구진은 표본이 작아 추정치가 불확실하고 이 차이가 AI의 영향 때문이라고 단정할 수 없다고 밝혔습니다.

사후 설문에 응답한 48명 가운데 77%는 에이전트가 제시한 논거를 적어도 한 번 사용했고, 15%만 에이전트를 출처로 밝혔습니다. 이 연구는 선택에 정답이 하나로 정해지지 않는 분석 판단을 다뤘습니다. 따라서 결과 오류를 찾아내거나 정답과 대조하는 방식만으로는 에이전트의 선호가 판단에 반영됐는지 알아내기 어렵다고 연구진은 설명했습니다.

에이전트를 사용한 50명 가운데 중대한 방법론 오류를 낸 참가자는 3명(6%)이었고 과제 완료 시간 중앙값은 65분이었습니다. 에이전트를 쓰지 않은 11명 가운데 오류를 낸 참가자는 6명(55%), 시간 중앙값은 90분이었습니다. 그러나 미사용자 집단은 평균적으로 경험이 적었고 규모도 작아 두 집단의 차이를 AI 사용의 효과로 돌릴 수는 없습니다.

연구진은 측정 효과를 확인하기 위해 에이전트가 한쪽 선택을 확실히 주장하도록 선호를 의도적으로 강화했습니다. 과제는 농업 분야의 단일 분석이었고 모델은 Claude Opus 4.8이었습니다. 실제 업무에서 나타날 영향은 전문가의 사전 견해와 모델이 선호를 얼마나 강하게 드러내는지에 따라 달라질 수 있습니다. 연구진은 AI 활용을 줄이라는 결론 대신 에이전트가 양쪽 선택지의 논거를 제시하거나 전문가의 견해를 먼저 묻는 방식을 후속 연구 방향으로 제안했습니다.

자료: Anthropic / 정리·해설: Trawling

참고 자료

• Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls — https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf