DAYJOB: Tax, 전문 세무 과제 50개로 AI 에이전트 평가

AI 요약

세무 AI는 세금을 계산하는 데 그치지 않고, 의뢰인이 묻지 않은 위험과 자료의 빈틈까지 찾아야 합니다. Surge AI는 이런 판단을 시험하는 벤치마크 DAYJOB: Tax를 공개했습니다. 50개 과제에서 가장 높은 통과율은 10.8%였으며, 회사는 에이전트가 실제 세무 업무를 처음부터 끝까지 맡기에는 아직 부족하다고 설명합니다.

평가 방식과 결과

DAYJOB: Tax는 개인·가족 세금, 소기업, 파트너십, 자산·투자, 상속·증여·신탁, 국제 세무, 기업 거래, 세무 검토·분쟁 등 8개 분야의 50개 과제로 구성됩니다. 에이전트는 의뢰와 함께 세금 신고서, 업무 자료, 계약서, 이메일 등 다양한 기록을 받고 신고서나 검토 문서, 고객 자문을 작성합니다. 자료 간 충돌을 해결하고, 정보가 부족한지 판단하며, 의뢰인이 놓친 쟁점을 찾는 능력도 평가합니다.

평가는 과제 기준의 95% 이상을 충족해야 통과하는 pass@1 방식입니다. Claude Sonnet 5.5가 10.8%로 1위였고 Claude Fable 5.1은 9.6%, Claude Opus 5.5는 9.2%였습니다. 평가 데이터는 작업 공간 파일 1,789개로 구성되며 과제당 파일 수는 중앙값 30개, 최대 123개입니다. PDF 1,487개와 Excel 문서 117개, Word 문서 38개를 비롯해 장부, 세금 서류, 사진, 이메일 등이 포함됩니다.

놓친 기한과 확인하지 않은 전제

콘도를 팔려는 고객은 2026년 10월과 2027년 1월 중 어느 시점이 세금에 유리한지 물었습니다. 에이전트는 두 날짜 모두 주택 양도차익 공제 요건을 충족한다고 답했지만, 2024년 8월에 이사한 고객이 2027년 8월 무렵부터 거주 요건을 잃을 수 있다는 기한은 언급하지 않았습니다. Astra는 다섯 번의 시도 모두 기한을 찾지 못했고 Opus는 다섯 번 모두 찾았습니다.

다른 과제에서는 별거 중인 부부의 Roth IRA와 401(k) 분할을 다룹니다. Opus는 부부가 법적으로 혼인하지 않았다는 가정 아래 계좌를 따로 두라고 권했습니다. 하지만 두 사람은 텍사스에서 함께 살았고 콜로라도에서 예식을 올린 기록이 있었습니다. 텍사스의 사실혼 성립 가능성과 다른 주에서 성립한 혼인의 인정 여부를 확인해야 했습니다. Opus는 다섯 번 모두 미혼을 전제로 답했고, Astra는 네 번 결혼 상태 확인이 필요하다고 판단했습니다.

자료와 제작 과정

과제는 세무 전문가가 실제 업무 흐름을 바탕으로 만들고, 정확성·완전성·해결 가능성을 확인하는 세 단계 검토를 거칩니다. 예를 들어 재판매 상품 구매 영수증 사진의 품목과 금액을 장부에 대조해 재고와 매출원가를 판단하거나, 고객이 앨라배마에서만 영업한다고 생각한 회사의 현장 기록을 확인해 다섯 개 주에서의 작업 내역을 살핍니다. 폴란드의 고용·부동산 자료와 암호화폐 거래소 기록을 함께 검토하는 국제 세무 과제도 있습니다.

Surge AI는 TaxBench가 정의된 세무 질문에 답하는지, TaxCalcBench가 신고 금액을 정확히 계산하는지, TaxLab이 누락 정보를 질문해 연방 개인 신고를 마치는지 평가한다고 구분합니다. DAYJOB은 고객이 올바른 질문을 했는지부터 살피고, 판단을 신고서나 자문 결과물까지 이어가는 능력을 평가한다는 설명입니다.

Hacker News 반응

• @holdingunsteady — 몇 년 전 세무사가 신고를 잘못해 약 2만 달러 손해를 봤고, 나중에 다른 세무사로 바꾼 뒤에야 알았습니다. 지금의 Claude나 GPT가 같은 실수를 할지는 모르겠지만, 모델이 매년 수천에서 수만 달러를 아껴줄 기회가 있어 보입니다.
  • @ttthuy — 누군가는 실수에 책임을 져야 합니다. 문제는 세무사의 과거 실적을 다른 고객이 알기 어렵다는 점입니다. 새 세무사를 선택할 때보다 정보가 부족했던 셈입니다.
• @ffwang2 — 세무사에게 번거롭게 부탁하거나 다른 세무사를 고용하지 않고도 신고서를 빠르게 검토하고 싶습니다.
• @matkoniecz — 금융 정보를 LLM 회사와 공유하고 싶지는 않습니다.
  • @vatsachak — 일부 추론 제공업체는 Zero Data Retention 정책을 둡니다.
• @pawelduda — Sonnet 5.5가 Opus와 Fable보다 눈에 띄게 잘했다는 점이 놀랍습니다. 다른 벤치마크에서도 비슷한 결과가 있었습니다.
  • @WhitneyLand — 실제로 더 잘한 것은 아닙니다. 벤치마크 오차 범위 안에 드는 차이입니다.
• @andriy_koval — 사람의 기준 점수는 얼마인가요? LLM의 10% 정확도와 비교하면 어떤가요?
• @waiwai933 — 해외 거주 미국 시민으로 직접 신고서를 작성하고 Claude에 초안과 근거 서류를 넣어 검토하게 했습니다. 환율 오류와 누락 항목을 찾았고 모르는 맥락에서 오류처럼 보이는 부분도 구분했습니다. 반면 예상 세액 계산은 크게 틀렸고 지적한 뒤에도 고치지 못했습니다. 보조 도구로는 유용하지만 서류를 통째로 맡기고 검토 없이 제출할 수준은 아닙니다.
• @arpinum — GPT Sol이 전문 세무사보다 나은 결과를 냈습니다. 다만 많은 지시와 약 20억 토큰이 필요했고, 자료를 바탕으로 신고서를 작성한 뒤 출력해 우편으로 제출했습니다.
• @edoceo — Gemini는 상속 재산의 RMD 계산에서 대체로 괜찮았지만 미국과 캐나다 원천징수는 틀렸고 미국 공제 항목도 놓쳤습니다. 준비 작업에는 계획·자문보다 더 효과적이라고 느꼈습니다.
• @ilmalan — 도구와 시스템 프롬프트가 과제에서 어떻게 설정됐는지 빠르게 확인하기 어려웠습니다. 세부 검토가 필요한 업무라면 과제별 하네스가 성능을 높일 텐데, 기반 모델만 평가하는지 자체적으로 그런 구조까지 만드는 능력을 평가하는지 궁금합니다.
• @bluejay2387 — 일반 에이전트에 문서 작업 공간과 과제를 주고 결과를 보는 방식이라면 많은 것을 말해주지 못합니다. 세무에 맞게 설계한 하네스에서 모델이 얼마나 수행하는지가 더 실용적인 평가일 수 있습니다.
• @aprilthird2021 — 첫 사례에서 Astra가 놓친 내용을 공개하면 이후 모델이 그 과제를 맞힐 가능성이 커집니다. 시나리오를 계속 새로 만들고 정답을 공개하지 않으면 벤치마크가 공략 대상이 될 수 있습니다.
• @noisy_boy — 세무사들이 실수를 지적당하고 고객을 잃는다면, 왜 AI로 신고서를 준비한 뒤 검토하고 마무리하지 않나요?

원문: Surge AI / 번역·요약: Trawling