Memdoor 워크플로, LiveCodeBench Hard 첫 10문제서 평균 9.8점 기록

본문

Memdoor의 team-solve 워크플로는 Qwen3.8-27B로 LiveCodeBench Hard 목록의 첫 10문제를 다섯 차례씩 풀어 평균 9.8/10을 기록했습니다. 같은 모델에 원저자의 프롬프트와 반복 절차를 적용한 하네스는 9.6점, Fable 5의 문제당 단일 호출 결과는 8.0점이었습니다. 평가는 숨은 테스트 전체를 대상으로 했습니다.

워크플로는 계획을 세운 뒤 두 에이전트가 서로 다른 알고리즘 접근을 병렬로 제안하고, 풀이 담당 에이전트가 두 제안을 바탕으로 프로그램을 작성하는 방식입니다. 각 단계는 새 대화 문맥에서 시작하며, 에이전트끼리 채팅하는 대신 디스크의 파일을 읽고 씁니다. 이후 명령이 공개 샘플을 실행하고, 검토 단계가 수정 지침을 남기며, 수리 단계가 코드를 고칩니다. 마지막 검증 명령이 샘플 통과 여부를 판정합니다.

비교 범위는 좁습니다. 시험은 원저자 목록의 100문제가 아니라 첫 10문제만 다뤘습니다. 개발자는 9.8점과 9.6점 차이를 성능 향상으로 제시하지 않고 원저자 하네스와의 동등성으로 설명했습니다. Fable 5의 8.0점은 원저자 결과 파일에서 가져온 값이며 Memdoor 워크플로로 실행하지 않았습니다. 문제들이 2025년 봄 대회에 나온 만큼 모델이 학습 중 접했을 가능성도 배제할 수 없다고 자료는 밝혔습니다.

50회 실행에서 한 번의 실행 시간 중앙값은 40분, 실행 비용 중앙값은 0.39달러였고 전체 비용은 35.79달러였습니다. 이 결과는 작은 문제 집합에서 파일을 매개로 여러 단계를 연결한 워크플로가 같은 모델의 원저자 절차와 비슷한 점수를 냈다는 사례입니다. Fable 5와의 점수 차이는 실행 방식이 달라 직접적인 우열 비교로 이어지지 않습니다.

자료: GitHub / 정리·해설: Trawling