Harness² — Harness the agent. Then harness its self-improvement.
Harness² — 에이전트를 활용하고, 그 자기 개선도 활용하세요
Google Research의 Harness²는 LLM 에이전트가 프롬프트, 도구, 메모리를 작업에 맞춰 개선하고 경험을 다음 작업에 축적하는 프레임워크입니다. 정답 검증기 없이 개선한다고 설명하며, WorkBuddy-Bench 등 전문 벤치마크에서 최대 11.5점 향상을 제시합니다.
- 주제
에디터 노트
반복 실험으로 harness를 개선한다는 설명은 정답이 없는 작업에서 평가 신호를 어떻게 얻는지까지 답해야 설득력을 갖습니다. Product Hunt 소개는 Propose-Probe-Compose 절차와 최대 11.5점 향상을 제시하지만, 비교 기준과 점수 산정 방식은 밝히지 않습니다. 댓글에서는 변경으로 성능이 나빠지는 상황을 어떻게 막는지, 작업 사이에 경험이 실제로 전이되는지가 쟁점으로 나옵니다. 한 댓글은 여러 구성을 시험하고 결과를 바탕으로 고친다고 설명하지만, 실험 결과를 판단하는 구체적 기준은 제시하지 않습니다. 따라서 현재 자료만으로는 개선 절차의 개요와 벤치마크 향상 주장은 확인되지만, 평가 신호와 전이 범위는 남은 질문입니다.
AI 요약
Harness²는 에이전트의 실행 환경인 harness를 작업마다 조정하고, 그 과정에서 얻은 경험을 재사용하는 프레임워크입니다. 프롬프트와 도구, 메모리를 대상으로 하며, Google Research는 정답을 알려주는 검증기 없이 열린 작업에서 에이전트가 실행 환경을 개선한다고 설명합니다.
두 단계의 재귀 개선
작업 수준에서는 Propose-Probe-Compose 절차로 개선안을 제안하고 시험한 뒤 구성합니다. harness 수준에서는 여러 작업에서 얻은 경험을 축적해 재사용합니다. Product Hunt 소개는 전문 벤치마크 WorkBuddy-Bench 등에서 최대 11.5점 향상을 기록했다고 밝힙니다.
Product Hunt 반응
- @chrismessina — harness에는 시스템 프롬프트, 도구, 메모리, 스킬, 하위 에이전트처럼 모델 주변의 모든 요소가 들어갑니다. 보통 한 번 설계하면 모든 작업에 같은 설정을 쓰지만 Harness²는 모델 가중치를 고정한 채 에이전트가 작업별 설정을 조정하게 합니다. 에이전트는 변경안을 제안하고 여러 구성을 시험한 뒤 실험 결과를 바탕으로 다듬습니다. 실행마다 달라지는 결과에서 배우므로 정답이나 외부 채점자가 필요하지 않습니다. 학습은 단일 작업에서 끝나지 않습니다. 작업을 마치면 최적화한 harness와 반복해서 얻은 통찰을 보존하고, 새 작업에서 그 지식을 활용합니다. Gemini 3.5 Flash와 GLM-5로 법률, 사무, 전문직 벤치마크를 시험한 결과 한 차례 수정만으로 고정 harness보다 나은 성능을 냈고 추가 반복에서 더 향상됐다고 Google은 밝혔습니다. 스스로 치유하고 성장하는 harness를 떠올리게 합니다.
- @amartya_gaur1 — 실행기는 이식 가능해 보이지만 judge는 Vertex를 거칩니다. 자체 작업 추론기를 연결하는 기능을 계획하고 있나요? 다른 벤더 지원을 위한 공개 PR도 나중에 받아들일 예정인가요?
- @justin_lee37 — 에이전트는 무엇이 harness를 개선하는지 어떻게 아나요? 사람의 입력이 필요하다고 생각합니다.
- @rania_rimali — 에이전트가 자기 설정을 개선한다니 흥미롭습니다. 더 나쁜 결과를 낳는 변경은 어떻게 막나요?
- @chrismessina — 에이전트가 harness 변경을 제안하고 여러 구성을 시험한 뒤 실험 성과를 바탕으로 다듬습니다. harness 진화에 과학적 방법을 적용한 셈입니다.
- @karimbenkeroum — 정답이 무엇인지 알려주는 채점기 없이 실행 사이에 자기 harness를 다시 쓴다는 점은 믿기 어렵습니다. 축적한 경험이 서로 무관한 작업 사이에서도 실제로 전이되는지 보고 싶습니다.
- @gavin_fgg0815 — 전적으로 동의합니다.
원문: Product Hunt / 번역·요약: Trawling