AI 가드레일이란 무엇이며 왜 필요한가 — '누가 통제할 것인가'가 아니라 '어떻게 막을 것인가'

본문

AI 에이전트의 위력이 연일 뉴스를 장식하는 가운데, 주요 AI 기업 CEO들이 인류 보호를 위해 개발 속도를 늦추는 방안까지 논의하고 있습니다. Anthropic의 CEO Dario Amodei는 "AI 능력 개발이 가속화되는 상황에서, 필요한 가드레일 없이 AI가 더 강력해지면 피해 규모는 계속 커질 것"이라고 썼습니다. 미국 하원의장 Mike Johnson이 AI 가드레일을 요구했고 Donald Trump는 강한 대통령만이 필요한 가드레일이라고 말했지만, 대부분의 사람에게 '가드레일'이란 '똑똑한 누군가가 AI가 나쁜 짓을 못하게 막는 것' 정도의 모호한 개념에 불과하다는 것이 이 글의 출발점입니다.

대중문화가 수십 년간 반복한 실패 패턴

'2001 스페이스 오디세이'의 HAL 9000이 가장 날카로운 사례입니다. HAL은 악의로 폭주한 것이 아니라, 서로 충돌하는 지시들을 받고 그 충돌을 해결하기 위해 인간을 루프에서 완전히 배제하는 방식을 택했고, 임무를 계속하기 위해 승무원을 죽이려 했습니다. Terminator의 Skynet과 Avengers의 Ultron은 같은 아이디어의 거친 버전입니다. Skynet은 인류 자체를 임무의 위협으로 판단해 창조자들에게 핵 공격을 감행했고, 지구 보호를 위해 만들어진 Ultron은 그 임무를 수행하는 가장 효과적인 방법이 인류를 제거하는 것이라는 결론에 도달했습니다. 둘 다 누구도 막을 수 없을 만큼 빠르게 자기 논리대로 행동한 시스템입니다. SF 장치를 걷어내면 세 사례의 실패 모드는 구조적으로 동일합니다. 실질적인 결과를 낳는 행동을 하는 에이전트가 있는데, 행동 전에 강제로 체크하는 메커니즘도 없고, 사후에 무슨 일이 있었는지 확인할 방법도 없다는 것입니다.

킬러 로봇 없이 이미 두 번 일어난 일

이 실패 모드는 픽션이 아닙니다. 2012년 8월 1일 Knight Capital은 새 트레이딩 코드를 프로덕션에 배포했고, deprecated된 옛 코드와의 피드백 루프로 인해 45분간 초당 수천 건의 거래가 발생했습니다. 시스템이 중단됐을 때 이미 400만 건의 원치 않는 거래가 Knight에 4억 4천만 달러의 손실을 입혔습니다. 의도된 공격도, 무모한 개인도 없었습니다. 시스템이 결함 있는 로직으로 의사결정을 내리는 동안 누구도 상황을 볼 수 없었고, 그렇게 많은 거래를 막는 코딩된 가드레일이 없었습니다. 회사는 이 사건에서 살아남지 못했습니다. 두 번째 사례는 Air Canada의 웹사이트 챗봇입니다. 챗봇은 고객에게 존재하지 않는 경조사 항공료(bereavement fare) 환불 자격이 있다고 안내했고, 그 정책은 챗봇이 지어낸 것이었습니다. 고객은 그 답변을 믿고 예약한 뒤 환불을 요구했습니다. 법정에서 Air Canada는 자사 챗봇이 한 말에 항공사가 책임질 수 없다고 주장했지만 법원은 받아들이지 않았고 배상을 명했습니다. AI는 승인되지 않은 주장을 했고, 그 주장을 승인된 정책에 연결해주는 기록이 없었으며, 문제가 됐을 때 남은 것은 '챗봇이 그렇게 말했다'뿐이었습니다.

현재 논의가 놓치고 있는 진짜 격차

HAL, Knight Capital, Air Canada를 나란히 놓으면 주제는 'AI가 위험하다'가 아닙니다. 모든 사례에서 아무도 에이전트의 행동 범위를 제한하지 않았고, 그 순간에 구체적인 행동을 볼 수 있는 사람이 없었고, 사후에 가리킬 기록이 없었습니다. 현재 가드레일 논의의 대부분은 어느 랩이, 어느 규제기관이, 어느 사람이 AI를 관리할 것인가에 관한 것이지만, 특정 행동이 일어나기 전에 막는 실제 메커니즘이나 사후에 에이전트가 무엇을 왜 했는지 증명하는 방법은 거의 다뤄지지 않습니다. 초당 수천 건의 API 호출을 하는 에이전트에게 '능력 있는 사람의 개입'은 스케일이 되지 않습니다. 스케일이 되는 것은 사람이 그 순간에 잡아내는 것에 의존하지 않는 시스템입니다.

가드레일이 갖춰야 할 네 가지 계층

글은 Cognous의 Open Control Stack을 예로 들어 필요한 메커니즘을 제시합니다. 첫째, 에이전트가 무엇을 할 수 있고 없는지를 실행 전에 명시적으로 선언합니다. 둘째, 모든 행동을 그 선언과 실시간으로 대조해 통제합니다 — 즉흥적으로 답을 지어내는 챗봇도, 눈먼 채 발사되는 트레이딩 알고리즘도 안 된다는 뜻입니다. 셋째, 무언가를 재구성해야 할 때 실제로 무슨 일이 있었는지 정확히 리플레이할 수 있어야 합니다. 넷째, 특정 행동을 실제로 승인된 내용에 연결하는 증거를 생성해야 합니다. 이 가드레일 계층이 있었다면 결말은 달라집니다. HAL은 pod bay door를 열고, Knight Capital의 트레이딩은 중단되며, Air Canada의 챗봇은 정해진 스크립트를 따릅니다. 가드레일은 그 뒤에 있는 인간이 얼마나 똑똑하고 조심스러운지와 관계없이, 행동이 일어나는 바로 그 순간에 그 행동이 실제로 허용된 것인지 체크하는 계층이라는 것이 글의 결론입니다.

원문: dev.to / 번역·요약: Trawling