애디 오스마니, AI 에이전트 결과를 검증할 기준을 작업 전에 세우자고 제안

Anthropic의 Claude Code 팀에서 일하는 애디 오스마니(Addy Osmani)는 2026년 11월 3일 X에 올린 글에서 에이전트가 처리하는 업무가 늘수록 일상에서 비판적 사고를 요구하는 일이 줄었다고 썼습니다. 모델의 출력이 그럴듯하고 대체로 맞아 보이면 추가 검토를 부르는 신호가 약해질 수 있고, 에이전트를 여러 개 돌려도 결과를 살펴보는 사람은 한 명이라는 설명입니다.

오스마니는 AI에 일을 맡기는 태도를 인지적 오프로딩, 유예, 인지적 항복으로 이어지는 연속선으로 설명합니다. 오프로딩은 일을 위임해도 결과에 대한 판단과 소유권을 유지하는 상태입니다. 유예는 AI의 출력이 다음 작업의 입력이 되면서 그 결과를 가설로 검토하지 않고 받아들이는 단계입니다. 인지적 항복은 AI의 출력이 자신의 답처럼 받아들여져 더 확인할 필요를 느끼지 않는 상태입니다. 오스마니가 인용한 ‘인지적 항복’이라는 용어는 와튼스쿨의 스티븐 쇼와 기디언 네이브가 만들었습니다. 오스마니는 5월 5일 개인 사이트에도 같은 주제를 다룬 글을 올렸고, 이번 X 글에서는 검증과 코드 검토 방법을 구체적으로 제안했습니다.

그가 제시한 기준은 틀렸을 때의 결과입니다. 오스마니는 강의 촬영 장소로 평점이 비슷한 호텔 세 곳 중 하나를 고르는 일은 AI에 맡겼고, 같은 선택을 다시 해도 좋다고 썼습니다. 반면 투자, 자녀의 진로 조언, 어떤 제품을 만들지와 그 제품이 이용자에게 미칠 영향, 안전하게 출시할 수 있는지 같은 문제에는 사람의 판단이 필요하다고 봅니다. 질문의 답을 에이전트의 도움을 받아서도 설명할 수 없다면 결과에 대한 소유권을 넘긴 셈이라는 설명입니다.

중요한 일을 맡기기 전에는 자신의 가설을 먼저 적어 보라고도 제안합니다. 답을 정확히 예상할 필요는 없지만, 예상이 있어야 에이전트의 결과와 대조해 다시 살펴볼 지점을 찾을 수 있기 때문입니다. 이어 무엇이 사실이면 답이 틀리는지 묻고, 실제로 시험할 방법을 찾으라고 합니다. 쟁점이 열려 있다면 다른 모델에 반대 논리를 제시하게 한 뒤 그 내용을 검토해 자신의 의견을 정하는 방법도 들었습니다. 모델이 자신 있다고 말하는 정도보다 결과를 시험하는 일이 더 유용하다는 취지입니다.

에이전트가 검증 수단을 사용할 수 있게 하면 코드 변경, 테스트 실행, 결과 확인, 재시도를 사람이 결과를 보기 전에 이어서 수행할 수 있습니다. 오스마니는 종단 간 테스트, 속성 테스트, 실제 앱 조작을 예로 들며, 모든 코드를 한 줄씩 읽는 대신 검증 과정과 근거를 살펴보는 방식을 제안합니다. 다만 테스트가 통과했다는 사실은 검사가 확인한 한 가지 속성에 관한 증거입니다. 코드와 테스트가 같은 잘못된 가정을 공유하면 기능이 깨진 상태에서도 테스트를 통과할 수 있습니다. 그래서 그는 작업 전에 검증 완료의 기준을 정하고, 검사 결과가 무엇을 증명했으며 무엇을 다루지 않았는지 살피라고 합니다. 완료 기준은 테스트 통과, 화면 캡처, 로그나 추적 기록처럼 확인할 수 있는 결과로 정하고, 완료 요약보다 먼저 에이전트가 실행한 명령과 출력을 살펴보는 방법도 제시했습니다.

코드 차이만 훑는 검토에는 사각지대가 생길 수 있습니다. 오스마니는 에이전트가 만든 600줄짜리 변경을 예로 들어, 변수 이름이 자연스럽고 테스트가 통과해도 거래 순서가 바뀌거나 예외 상황의 기본값이 뒤집힌 부분을 놓칠 수 있다고 설명합니다. 요약만 받기보다 에이전트가 내린 결정과 사용한 가정을 목록으로 받고, 코드 몇 줄을 골라 이유를 따져 보는 방법을 권합니다. 이미 예상한 문제만 찾는 검토에 그치지 않고, 에이전트가 요구사항 해석이나 기본값처럼 새로 내린 결정도 살피자는 제안입니다.

검토 시간도 업무 일정에 넣어야 한다고 오스마니는 씁니다. 잃고 싶지 않은 기술은 일주일에 한 번 에이전트 없이 코드를 쓰거나, 잊어버리면 곤란한 작업을 직접 해보는 방법을 권합니다. 이를 도덕적 의무가 아니라 기술을 유지하는 연습으로 설명합니다. 모든 절차를 매번 같은 강도로 적용할 필요는 없으며 업무 흐름에 맞춰 고르면 된다는 점도 덧붙였습니다. 에이전트가 만든 작업이 사람이 책임지고 검토할 수 있는 양을 넘어서면 검사를 더 촘촘히 하거나 작업 속도를 늦추라는 제안입니다. 오스마니는 에이전트가 작업과 검증을 도와도 무엇을 만들지, 누구에게 영향을 미칠지, 결과에 대한 책임은 사람에게 남는다고 봅니다.