WebMCP가 실제로 시간과 토큰을 절약해줄까? — ON/OFF 실험으로 직접 검증하는 방법

본문

AI 에이전트에게 WebMCP 같은 구조화된 브라우저 도구를 제공하면 정말로 작업이 빨라지고 토큰이 절약될까요? MIT 라이선스 macOS 데스크톱 프로젝트인 DeepDeck(DeepSeek Harness 기반)의 개발자가 이 질문에 답하기 위한 ON/OFF 벤치마크를 추가하고, 자신의 사이트에서 직접 실행할 수 있는 방법과 초기 결과를 공개했습니다. 저자가 강조하는 출발점은 도구 등록 성공이 가용성만 증명할 뿐이라는 것입니다. 에이전트가 도구를 실제로 사용했는지, 답이 맞았는지, 추가된 도구 설명과 상호작용 비용이 정말 이득이었는지는 별도로 측정해야 합니다.

실험 절차와 실행 방법

실험은 DeepDeck 소스 체크아웃과 저장소의 Node/pnpm 환경에서 시작합니다. pnpm install과 pnpm build:desktop으로 빌드하고, DeepDeck에 동작하는 모델을 먼저 설정하면 러너가 그 설정의 격리된 스냅샷을 사용합니다. URL 기반 실험에는 Docker나 등록된 벤치마크 사이트, 태스크 YAML 파일이 필요 없으며, 별도로 번들된 49개 작업 코퍼스는 자체 사이트 인프라를 요구합니다. 대상은 공개 읽기 전용 페이지와 독립적으로 정답을 확인할 수 있는 질문이 권장되는데, 러너가 깨끗한 브라우저를 시작하더라도 원격 사이트의 백엔드를 리셋할 수 없기 때문에 원격 계정을 변경하거나 변동 데이터에 의존하는 작업은 피해야 합니다.

최소 예제로 heading-webmcp.js라는 파일을 만들어 globalThis.__deepdeckWebMCP.registerTool로 read_heading 도구를 등록합니다. 이 도구는 페이지의 h1 텍스트와 현재 URL을 JSON으로 반환하며, 정답 자체는 포함하지 않습니다. 이후 pnpm benchmark:webmcp ablate --url https://example.com --query 'What is the main heading?' --webmcp-file ./heading-webmcp.js --n 3 명령으로 실행합니다. 이미 네이티브 WebMCP 도구를 제공하는 사이트라면 커스텀 파일을 생략하면 됩니다.

대조군 설계와 측정 항목

두 실험군 모두 일반 브라우저 도구를 유지합니다. 러너는 선택된 모델 설정을 고정하고, 매번 새 브라우저 프로필과 세션을 만들며, 반복마다 ON/OFF 순서를 교대로 배정합니다. 커스텀 번들은 ON군에만 설치되고 OFF군은 WebMCP를 비활성화한 뒤 도구 목록이 비어 있는지 검사합니다. 발견된 도구가 없으면 모델 호출 없이 'not applicable' 보고서를 내고 종료하며, 기존 로그인 쿠키는 깨끗한 프로필로 복사되지 않습니다.

결과물인 comparison.md와 report.json에는 양쪽 최종 답변, 총 토큰과 원시 캐시 사용량, 앱 시작 시간이 별도 기록된 에이전트 경과 시간, 도구 호출 수와 오류 및 실제 WebMCP 사용 여부가 포함됩니다. 기대 답을 지정하지 않으면 정답 여부는 점수화되지 않으므로, 완료된 실행이 곧 정답 실행은 아니라는 점을 유의해야 합니다. --expected-answer 옵션은 대소문자를 무시하고 공백을 정규화한 뒤 텍스트 포함 여부를 검사하는 단순한 방식으로, 의미 평가기가 아니며 기대 답은 에이전트에게 전송되지 않습니다.

초기 결과와 해석상 주의점

저자의 초기 로컬 배치는 8개 사이트 49개 작업을 다뤘으며, 효율 비교는 세 모델이 양쪽 군에서 모두 통과한 동일한 46개 작업으로 한정해 어려운 작업을 건너뛴 모델에 유리해지지 않게 했습니다. 결과는 GPT-5.6 Terra가 토큰 35.6%, 에이전트 시간 33.5% 절감에 스텝 413→268, DeepSeek v4.1 Flash가 26.1%와 27.9% 절감에 708→572, Hy3가 22.7%와 22.9% 절감에 694→608을 기록했습니다. 전체 작업 통과 수는 Terra가 ON/OFF 모두 49/49, DeepSeek이 48/49와 47/49, Hy3가 49/49와 48/49였습니다.

다만 저자는 이를 탐색적 관찰로 명시합니다. 공개된 배치는 작업·실험군당 한 번씩만 실행됐고 ON→OFF 고정 순서였으며, 프로바이더 기본 추론 수준은 기록되지 않았습니다. 총 토큰에는 입력·출력·캐시 읽기·캐시 쓰기가 모두 포함되므로 달러 비용 비교가 아니며, 더 많은 토큰을 쓰는 프로바이더가 더 저렴할 수도 있습니다. 저자가 더 파고들고 싶다고 밝힌 통찰은 개별 추론이 빠르다고 작업 완료가 빠른 것은 아니라는 점입니다. 추가 에이전트 라운드와 반복적인 페이지 읽기, 도구 대기가 전체 시간을 지배할 수 있으며, 이번 배치에서 Terra는 더 적은 스텝으로 더 빨리 끝냈습니다. 이것이 모델 훈련 방식의 이유를 증명하거나 일반적인 모델 순위를 입증하지는 않습니다. 스타터 코퍼스와 사이트 레시피, WebMCP 패치는 nekuda-ai/WindTunnel에서 가져온 DeepDeck 로컬 적용본이며 WindTunnel 리더보드 결과가 아니라고 덧붙였습니다. 저자는 도구 때문에 오히려 느려진 결과도 유용하다며, 에이전트가 도구를 썼는지와 시간이 어디로 갔는지 공유해달라고 독자에게 요청합니다.

원문: dev.to / 번역·요약: Trawling