Laya — 텍스트를 생성하지 않는 오픈소스 'System 1' 의사결정 모델

본문

Convai Innovations가 Hugging Face를 통해 공개한 Laya는 텍스트를 전혀 생성하지 않는 비자기회귀 'System 1' 의사결정 모델입니다. 이메일, 티켓, JSON 문서 같은 상태(state)와 타입이 지정된 질문(typed questions)을 입력받아, 수학적으로 보정된(calibrated) 확률과 신뢰도 점수가 포함된 타입드 답변을 돌려줍니다. 텍스트 생성 과정이 없기 때문에 파싱 오류와 환각이 구조적으로 발생하지 않는다는 점이 핵심 주장입니다. 이번 체크포인트는 이메일 트리아지(스팸, 피싱, 부서 라우팅), 대화 궤적 모델링(TD(lambda = 1.0)), cardinality별 온도 보정을 추가로 파인튜닝한 버전입니다.

아키텍처와 질문 유형

백본은 ModernBERT-large(395M, 완전 파인튜닝, bidirectional)이며, 여기에 처음부터 학습한 decision head — 트랜스포머 2개 층, option marker scorer, act/escalate head — 를 결합해 총 421M 파라미터입니다. 질문 유형은 세 가지입니다. choice는 선택된 옵션과 옵션별 확률·보정 신뢰도를, score는 서열 루브릭(0, 1, 2...) 상의 기대 수준과 분포·신뢰도를, noul은 0.0~1.0 사이의 보정된 불리언 확률 P(true)를 반환합니다. 모든 옵션은 자체 [MASK] 마커 토큰에서 점수가 매겨지고 해당 질문의 옵션들에 대해 softmax가 적용되는 Option Markers 방식입니다. 입력 예산은 질문당 512토큰(질문 + 옵션 + 상태)이며, 여러 질문은 단일 forward pass로 배치 평가되어 GPU에서 약 33~38ms가 소요됩니다.

RLCD 학습과 멀티턴 모델링

학습에는 RLCD(Reinforcement Learning for Calibrated Decisions)가 쓰였습니다. 정책이 확률 분포를 보고하고, 탐색 단계에서 로짓에 평균 0의 가우시안 노이즈를 더하며, 보상은 strictly proper scoring rule — 로그 점수와 스페리컬 점수, 서열 score 질문에는 ranked probability score — 으로 설계됐습니다. 이 구조에서는 모델이 진짜 보정된 확률을 출력할 때만 기대 보상이 최대가 됩니다. 멀티턴 대화는 prefix slice 위에서 Monte Carlo 타깃을 쓰는 TD(lambda = 1.0)로 처리해 outcome leakage를 방지하며, 학습 데이터는 합성 데이터 없이 100% 인간 어노테이션 실데이터라고 명시했습니다. 파인튜닝은 7,313 업데이트, 1 에폭, 약 1.96시간이 걸렸고, fitted calibration temperature는 [1.637, 1.251, 1.983]입니다.

벤치마크 결과

in-task 테스트셋에서 macro accuracy 0.838, macro ECE 0.060을 기록했고, 보지 못한 태스크 계열에 대한 제로샷에서는 0.651 / 0.207입니다. 태스크 계열별로는 인텐트·라우팅 99.1%(ECE 0.009), 모더레이션·안전 96.7%(ECE 0.061), 감정·톤 90.6%, 추론·팩트 검증 88.3%(ECE 0.054), 이메일 트리아지·피싱 73.2%(ECE 0.017)입니다. 지연은 단일 질문 P50 38.4ms(p95 42.1ms), 10개 질문 배치 156.0ms, 50개 배치 721.4ms입니다. 저장소의 비교표는 프로덕션 워크플로우 4종에서 67.8%를 기록한 TypeSafe Jev 대비 평균 약 10.4배 빠르고 +16.0% 높은 정확도라고 주장하며, 50% 커버리지에서의 선택적 자동화(confidence >= 0.85 게이팅)는 92.2% 정확도로 보고했습니다. 세부 결과와 reliability diagram, risk-coverage 곡선은 저장소 eval/ 디렉터리에 있습니다.

사용법과 한계

사용법은 laya.load("convaiinnovations/laya")로 로드한 뒤 state 딕셔너리와 질문 정의를 agent.predict(state, questions)에 넘기는 방식이며, 부서 라우팅·긴급도·이탈 위험·피싱 여부를 한 번에 묻는 이메일 예제가 제공됩니다. convaiinnovations/laya-demo Gradio Space에서 라이브 체험이 가능하고, 상용 GPU는 물론 Mac MPS와 CPU에서도 돌아가 air-gapped·온디바이스 배포를 지원합니다. 한계로는 영어 텍스트만 지원하고 질문당 512토큰 초과 상태가 절단된다는 점, 보정 수치가 벤치마크 데이터셋 기준이므로 전면 자동화 전 자체 분포에서 검증이 필요하다는 점, 산술·카운팅·날짜 비교·멀티홉 인덱스 조회는 결정적 코드로 처리해야 한다는 점이 명시됐습니다. Apache 2.0 라이선스이며 Convai Innovations가 상용 지원과 커스텀 파인튜닝을 제공합니다.

원문: Hugging Face / 번역·요약: Trawling