영국 망명 심사 AI 요약, 검토 표본 5건 중 1건에서 오류

영국 내무부가 망명 인터뷰 요약 도구를 전면 도입한 뒤 전문가가 확인한 203건 중 45건이 초기 검토를 통과하지 못했습니다. 전체 사건의 약 0.3%만 표본 검사했고 이후 전문가 검사가 중단돼, 오류가 실제 심사에 미친 영향은 확인되지 않았습니다.

주제: AI 공공 정책 보안

에디터 노트

현재 확인된 수치는 전문가 표본 검사에서 요약 203건 중 45건이 초기 기준을 통과하지 못했다는 내용이며, 잘못된 망명 결정이 발생했다는 증거는 아닙니다. 하지만 검사 비율이 전체 처리 건수의 약 0.3%이고 이후 전문가 검사가 중단돼 전체 오류율을 가늠하기 어렵습니다. 오류 유형과 사람 요약의 동일 기준 비교도 공개되지 않았습니다. 댓글에서는 요약 문장마다 녹취록 근거를 연결하자는 제안과 사람 검토를 매번 하자는 의견이 나왔습니다. AI를 추가해 오류를 줄이자는 주장에는 검증 자료가 없고, 망명 신청자를 비하하는 댓글도 근거 있는 반론으로 볼 수 없습니다. 현재 자료로 판단할 수 있는 쟁점은 AI가 최종 결정을 내렸는지가 아니라, 오류가 있는 요약을 검토하는 절차와 신청자가 이를 확인하고 다툴 방법이 확보됐는지입니다.

AI 요약

영국 내무부가 망명 신청자 인터뷰를 요약하는 AI 도구를 전면 도입한 뒤 전문가가 확인한 요약 203건 중 45건이 초기 검토에서 부정확하거나 불완전하다는 판정을 받았습니다. 표본 실패율은 약 22%로, 정부 시범 운영 때 기록한 9%보다 높습니다. 다만 검토 표본은 4~7월 처리된 약 7만 건의 0.3%에 해당하며, 이 수치만으로 잘못된 망명 거부가 발생했다고 볼 수는 없습니다.

내무부가 쓰는 AI 도구와 검사 수치

내무부는 인터뷰 기록을 결정 담당자에게 요약하는 Asylum Case Summarisation(ACS)과 국가별 정보를 찾는 챗봇형 도구 Asylum Policy Search(APS)를 사용합니다. Open Rights Group(ORG)이 확보한 문서에 따르면 두 도구는 Microsoft Foundry 플랫폼에서 OpenAI GPT-4 계열 모델을 구동합니다. ORG는 의회 질의 11건, 장관 서한 2건과 정보 공개 요청 10건을 바탕으로 6개월간 조사했습니다.

정부의 시범 평가에서는 ACS 요약의 9%가 부정확하거나 불완전했습니다. 2026년 4월 전면 도입 뒤 전문가가 살펴본 203건 중 45건이 초기 검토에 실패했습니다. 내무부는 2025년 4월 평가에서 부정확하거나 불완전한 요약을 시범 사업에서 제외했다고 밝혔지만, 이후 전문가 검사를 중단했습니다. 앞서 의회에는 검사를 계속한다고 설명한 바 있습니다. 표본이 전체 사건을 대표하는지, 실패 판정이 어떤 오류 유형을 가리키는지는 자료에 제시되지 않았습니다.

내무부는 ACS가 사건당 약 23분, APS가 약 37분을 절약한다고 시범 평가에서 추산했습니다. 2025년 9월 망명 신청 적체가 6만2천 건을 넘은 상황에서 정부는 심사 속도를 높일 방안을 찾고 있었습니다. 내무부는 훈련받은 담당자가 결정을 내리며 도구만으로 신청을 판단하지 않는다고 밝혔습니다. OpenAI는 GPT-4를 1월에 퇴역시킬 계획이라고 WIRED에 전했습니다.

신청자 통지와 법적 쟁점

ORG는 신청자에게 인터뷰 요약에 AI를 사용했다고 알리지 않으며, 신청자가 오류를 확인하거나 이의를 제기할 명확한 절차도 없다고 지적합니다. 요약에서 진술의 조건이나 세부 내용이 빠지거나 뜻이 달라지면 담당자가 불완전한 기록을 바탕으로 심사를 시작할 수 있습니다. 담당자가 원본 녹취록을 확인할 수 있는지는 기사에서 구체적으로 설명하지 않습니다.

ORG가 의뢰한 84쪽 법률 의견서에서 Cloisters와 Doughty Street 소속 변호사들은 신청자가 AI 사용 여부와 방식을 통지받고 요약을 받아야 한다고 주장했습니다. 의견서는 내무부의 AI 사용이 위법일 가능성이 높다고 결론 내렸지만, 이는 ORG가 의뢰한 법률 평가이며 법원 판결은 아닙니다. 영국 정보 규제기관은 도구 사용 방식과 직원 교육 내용을 공개하지 않은 내무부를 별도로 조사하고 있습니다.

재판부가 제기한 다른 의문

7월 14일 판결에서 상급심 재판관은 모로코 여성의 망명 신청을 거부한 내무부 서한에 AI 사용의 흔적과 일치하는 특징이 있다고 언급했습니다. 서한은 2021년 7월자 모로코 국가 정보 자료를 인용했지만, 재판관은 해당 자료가 실제로 존재한 적이 없는 것으로 보인다고 적었습니다. 재판관은 AI가 서한을 작성했다고 결론 내리지 않았으며, 해당 서한이 ACS나 APS와 연관됐다는 보도도 없습니다.

이민 감찰관은 2027년 조사 주제를 검토하며 ORG에 도구 관련 추가 정보를 요청했습니다. 정식 조사를 시작한 것은 아니며, 도구를 조사 계획에 포함할지도 아직 확정되지 않았습니다. 기사에 제시된 수치는 요약의 초기 검사 결과이고, 실제 망명 결정의 오류율이나 신청자에게 미친 결과를 보여주지는 않습니다.

Reddit 반응

@sihere0 — 망명 결정에 영향을 주는 작업에서 5건 중 1건이 실패한다니 심각합니다. 이런 요약은 매번 사람이 확인해야 합니다.
@duckrollin — AI를 하나 더 써서 검토하면 안 되나요? 이런 일이 생기는 이유를 모르겠습니다. 형편없는 모델을 쓰고 결과를 다시 확인하지 않은 경우가 아니라면요. 최소한 실패 비율을 30건 중 1건으로 낮추고 사람의 검토 부담도 줄일 수 있을 겁니다. 추가: GPT-4를 쓰고 있다니요. 틀리는 게 당연하네요. 내무부에서는 누가 이런 결정을 내리나요?
@parbaner24 — 신청자는 AI가 사용됐는지 알 수 있어야 하고, 자기 인터뷰의 부정확한 요약에 의미 있게 이의를 제기할 방법도 있어야 합니다.
@Few-Coconut2548 — 어떤 오류가 있었는지 알고 싶습니다. 요약에서 위험한 오류는 대개 날짜나 장소, 누가 무엇을 했는지 같은 세부 내용이 빠지거나 약해지는 경우입니다. 문장은 자연스러워서 대충 훑는 검토자는 그냥 통과시킬 수 있습니다. 망명 인터뷰라면 요약의 각 주요 주장이 녹취록의 해당 문장을 가리키게 해 검토자가 몇 초 만에 확인하도록 하고, 근거가 없는 내용은 신뢰하는 대신 표시해야 합니다. 표본 검사에서 5건 중 1건이 실패했다면 검사하지 않은 요약의 실제 오류율을 아무도 모른다는 점이 더 큰 문제입니다.
@FaceDeer — 같은 기준으로 사람이 작성한 요약의 실패율도 궁금합니다.
@vytah — 이 문제는 몇 년 전부터 알려져 있었습니다. ChatGPT가 요약할 때 실제로는 요약하지 않는다는 글과 AI 뉴스 요약의 30% 이상에서 상당한 부정확성을 발견했다는 BBC 보도를 참고하세요. LLM은 요약하지 못하고 줄이기만 한다고들 합니다. 별로 나아지지 않은 것 같습니다.
@reefine — 이 기사의 결과가 GPT-4에서 나온 건데, 글을 읽는 건 정말 잘하는 분야인가요? 추가: 됐습니다. 분명 봇 계정이네요. 이 계정의 글은 전부 AI로 썼습니다. 아이러니하네요.
@OpeningHappy9692 — 그리고 88이라는 숫자도 그렇고요.
@reefine — 반AI 헛소리에 낚여서 좋아요를 누른 사람이 이렇게 많다니 황당하네요. 아니면 여기서 AI에 반대하는 봇들이 여론을 밀고 있나요?
@ICantBelieveItsNotEC — 누가 신경이나 쓰나요? 망명 신청을 고려해 주는 것만으로도 고마워해야 합니다.
@LoudDavid — 망명 신청을 전부 거부하면 간단히 해결됩니다.

원문: IBTimes Singapore, WIRED, The Register 보도 인용 / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗