GLM-Legal — 법률 업무용 모델의 학습 방식과 벤치마크

AI 요약

Z.ai는 법률 업무를 전문 지식과 문서 처리, 실제 실행 능력을 함께 평가하는 고난도 영역으로 보고 GLM-Legal을 개발했습니다. 모델은 GLM-5.3-Flash를 기반으로 법률 데이터를 추가 학습하고, 실제 법률 업무를 본뜬 환경에서 강화학습을 거쳤습니다. Z.ai는 Harvey LAB에서 전체 통과율 19.2%를 기록했으며, 기본 모델보다 12.5%포인트 높았다고 밝혔습니다. LegalBench와 PLawBench에서는 더 적은 파라미터로 최상위 폐쇄형 모델과 대등한 성능을 냈다고 주장합니다.

평가 결과와 학습 과정

Harvey LAB은 24개 법률 분야의 실제 업무 흐름을 대상으로 하며, 중간 단계의 일부 성공이 아니라 모든 평가 기준을 통과해야 점수를 얻는 방식입니다. Z.ai는 이 엄격한 기준에서 GLM-Legal이 끝까지 과업을 수행한다고 설명합니다. LegalBench에서는 계약서와 기업 인수·합병 자료, 판결문을 분석하는 법률 추론 능력을, 중국 법률 실무에 맞춘 PLawBench에서는 법률 상담과 사건 분석, 문서 작성을 평가했다고 합니다. 다만 본문은 구체적인 비교 점수나 평가 세부 조건을 제시하지 않습니다.

학습은 두 단계로 진행합니다. 중간 학습에서는 고품질 법률 자료를 늘려 법 개념과 법령, 해석 체계를 익히게 합니다. 사실과 규칙, 결론을 연결하는 추론 기반도 이 단계에서 다집니다. 이후 수만 개의 현실적인 법률 업무 환경에서 강화학습을 수행해 분석 계획 수립, 업무 진행, 결과물 작성 능력을 훈련합니다.

이 과정에서 Harness는 작업 맥락을 관리하고 도구를 연결하며 실행 결과를 모델에 전달하는 런타임 환경입니다. Z.ai는 모델과 Harness를 함께 개선한다고 설명합니다. 학습 중 드러난 예외 사례는 Harness 설계의 병목을 찾는 데 쓰고, Harness 개선으로 생긴 현실적인 제약은 모델 훈련에 반영합니다. 실제 법률가가 결과물을 검토할 때 누락된 쟁점, 근거가 약한 주장, 부정확한 인용, 의뢰 내용과 다른 형식 등을 점검하고, 그 결과를 다음 학습과 평가 기준에 되돌립니다.

제시한 업무 사례와 출시 계획

계약 검토 예시에서는 서비스 업체를 바꾸려는 의뢰인을 위해 해지와 업무 인계를 검토합니다. 기본 모델은 해지 통지 기간을 줄이고 자료 반환과 인수인계를 협의하라고 제안합니다. GLM-Legal은 편의 해지 통지 기간을 60일에서 30일로 줄이고, 지식재산권·기밀유지·데이터 보안 위반에는 즉시 해지가 가능하도록 하며, 미지급 여부와 관계없이 작업물을 반환하고 최대 90일의 전환 지원을 제공하라고 구체화합니다. 이런 변경은 계약과 의뢰인의 상황에 따라 법률 검토가 필요한 제안입니다.

40개 문서를 검토하는 분쟁 사례에서는 외부 보고서의 ‘일정대로 진행 중, 60% 완료’라는 표현을 내부 진행률 약 41%, 마일스톤을 맞추기 어렵다는 경고, 위험을 숨기고 계속 청구하라는 CEO 지시와 대조합니다. 모델은 계약 조항도 함께 인용해 은폐 가능성을 제시하되, 진행률 산정 기준과 나머지 청구 요건을 확인한 뒤 결론을 내려야 한다고 덧붙입니다. 싱가포르·말레이시아·인도네시아 출시를 위한 개인정보 보호 사례에서는 비필수 분석·광고 추적의 사전 동의와 동의 기록, 마케팅 수신 동의 분리, 수신 거부 목록, 해외 이전 안전장치 확인을 우선 과제로 나눕니다.

Z.ai는 GLM-Legal을 AutoClaw 데스크톱 에이전트에 곧 제공할 예정이며, API 접근 신청도 받고 있습니다. 본문은 베타 신청을 안내하지만 모델 가중치 공개 여부나 데이터 처리·보관 조건은 구체적으로 설명하지 않습니다.

Hacker News 반응

• @otterley — 변호사로서 벤치마크 통과율 20%는 그다지 인상적이지 않습니다. 소송 실무의 승부는 새로운 상황에 대비하는 데 있지, 과거 사례를 다시 다루는 데 있지 않습니다.
  • @ctolsen — 이 모델에 공정하게 말하자면, Harvey 법률 에이전트 벤치마크에서 20%는 어떤 모델과 비교해도 거의 최상위권이며, 비슷한 가격대 모델 중에서는 확실히 최고입니다. Opus 5.5는 4%입니다.
  • @otterley — 타당한 지적입니다. 하지만 LLM이 유능한 변호사와 같은 결론과 문서를 내더라도 변호사는 정확성을 꼼꼼히 검토해야 합니다. 조사와 초안 작성에서 시간을 아낄 수는 있지만, 일부에서 말하는 기적은 아닙니다. 벤치마크에서 80%를 놓친다면 초안 작성과 조사도 자동화까지 갈 길이 멉니다.
• @mathis-l — Harvey 벤치마크가 얼마나 좋은지 확신이 없습니다. 로펌 내부 지식 과업을 에이전트가 푸는 과정을 살펴봤는데, 과제와 채점 기준에 문제가 있는 사례가 여러 개 있었습니다. 예시 세 가지를 여기에 올렸습니다.
  • @aesthesia — 거의 모든 벤치마크에 상당한 문제가 있습니다.
  • @mathis-l — 물론입니다. 그래서 팀이 개선할 수 있도록 이슈를 열었습니다.
• @Natsu — 추적 변경과 사람의 검토에 의존하는 것 같습니다. 하지만 LLM이 판례나 판결 내용을 지어내는 문제를 다루는 내용은 보지 못했습니다. 변호사가 검토하면서도 그걸 놓치면 판사가 화를 내고, AI는 “존재하지 않는 판례를 지어내 판사에게 제재를 받게 했으니 맞는 지적입니다”라고 말하겠죠.
• @theokrueger — 이런 모델의 책임 구조는 부족합니다. 이 분야는 책임 문제를 개선하는 데 집중해야 한다고 봅니다.
  • @vidarh — 법률 분야는 책임을 누가 지는지에 따라 서비스 수준을 나누는 데 익숙합니다. 수습 변호사나 법률 보조원의 업무를 변호사가 검토하고, 법원에 제출하는 문서에는 최종적으로 변호사가 이름을 올립니다. AI가 만든 결과를 확인하지 않고 제출하면 자신이 책임진다는 점을 모르는 사람도 있겠지만, 대응 방법이 없는 것은 아닙니다.
• @postalcoder — 이 모델은 오픈 모델이 아닌 것 같습니다. 연구소들이 모델을 계속 비공개로 두면 중국 모델을 보는 시각이 어떻게 바뀔지 궁금합니다. Harvey가 미국 연구소들 때문에 마진 압박을 받는다는 최근 보도와도 관련이 있을까요?
  • @verdverm — 공급자가 모델 제공을 중단할 수 있기 때문입니다. 평가 단계에서는 호스팅 버전을 쓰고, 실제 서비스에는 직접 호스팅하는 선택지를 언제든 가질 수 있다는 점이 좋습니다.
  • @camdenreslink — 제공자가 가격을 올리면 오픈 모델로 바꿀 수 있습니다. 가격 경쟁이 가능한 이유입니다.
• @consumer451 — 그러니까 오픈 웨이트 모델이 아니고 z.ai에서만 쓸 수 있다는 뜻인가요? 미국이나 EU 사람이 개인 법률 정보를 보내면, 범죄인 인도 조약도 없는 적대국에서 처리하고 저장하게 되는 건가요?
  • @rckoepke — 디지털 변호사·의뢰인 비밀특권 같은 것은 없습니다. 변호사가 의뢰인을 위해 LLM을 쓰면 대화가 보호되지만, 본인이 직접 같은 LLM을 쓰면 대화는 보호되지 않습니다.
  • @woodruffw — 변호사·의뢰인 비밀특권은 법률 시스템 자체가 인정하는 권리이지, 기술이나 정치적 우회책이 아닙니다.
• @Trusteando — 학습 데이터가 공개되지 않으면 테스트 세트와 비슷한 과제가 학습 데이터에 포함됐다는 의심을 살 수 있습니다. 그렇다면 벤치마크 결과의 의미가 사라집니다. 테스트를 동적으로 만들고 전체 결과만 공개하는 벤치마크를 쓰면, 테스트와 유사한 과제를 학습에 넣어 결과를 조작할 수 없습니다.
• @otterley — 변호사로서 LLM이 법률 인용을 지어내는 문제를 신중하게 다뤄야 한다고 봅니다. 실제 상황에 맞고 충분히 신뢰할 수 있는 결과를 숙련된 사람의 검토 없이 한 번에 내는 법률 자동화는 아직 보지 못했습니다. 법은 계속 변하는 규범을 불완전하게 성문화한 결과이며, 해석에는 통계적 예측에 맞지 않는 직관과 판단이 필요할 때가 많습니다. 중요한 결정을 내리기 전에 결과를 꼭 확인해야 합니다.

원문: Z.ai / 번역·요약: Trawling