Fable 작성 법률 인용 분류기, 별도 재현서 그럴듯한 위조에 50%대

Legora CTO Jacob Lauritzen은 2026년 11월 3일 개인 X 계정에 Fable이 10만 매개변수 신경망의 가중치를 직접 작성해 실제와 가짜 법률 인용을 분류했고, 시험 정확도는 97.8%였다고 게시했습니다. 같은 비교표는 8,192개 라벨로 훈련한 모델의 정확도를 94.6%로 제시했습니다. Graham Syfert의 별도 재현에서는 Fable이 새로 작성한 분류기가 무작위 위조에는 92.5% 정확도를 냈지만, 실제 판례집의 권·쪽수 범위에 맞춘 위조에는 50.5%, 실제 인용의 숫자 한 자리를 바꾼 위조에는 55.7%를 기록했습니다. Syfert의 점수는 공개한 별도 데이터와 위조 규칙으로 새 분류기를 시험한 결과입니다.

Syfert의 GitHub 저장소는 원래 실험의 데이터셋과 위조 인용 생성 방식, 분류기 구조가 공개되지 않았다고 설명합니다. 재현에서는 공개한 데이터와 세 가지 위조 규칙을 사용해 새 분류기를 만들고, 같은 가중치가 위조 유형에 따라 어떻게 작동하는지 시험했습니다. 따라서 이 결과는 원래의 97.8%를 다시 확인한 값이 아니라 별도 실험의 결과입니다.

재현 분류기는 인용 표기에서 판례집 이름, 권수, 쪽수를 분리합니다. 판례집 이름과 권수·쪽수의 구간, 숫자 자릿수 같은 특징을 뽑아 선형 모델에 넣고, 해당 특징의 가중치를 더해 실재 또는 위조로 분류합니다. Syfert는 이 구조와 629개 판례집 표기만 Fable에 전달하고 인용 데이터나 라벨, 위조 사례는 제공하지 않았습니다. 이 설명은 Syfert가 공개한 재현 모델의 구조와 절차를 가리킵니다.

Syfert는 실재 인용 4,000건과 위조 인용 4,000건으로 구성된 시험을 위조 유형별로 세 차례 진행했습니다. 각 시험에는 같은 실재 인용 4,000건이 들어갔습니다. 첫 번째 위조 유형은 판례집 표기는 유지하면서 권수는 1~2,000, 쪽수는 1~3,000 사이에서 무작위로 뽑았습니다. 실제 인용과 겹치는 항목은 제외했습니다. 이 방식으로 만든 위조는 대부분 해당 판례집의 실제 권수·쪽수 범위에서 벗어났고, 분류기는 이 시험에서 92.5% 정확도를 보였습니다.

두 번째 유형은 해당 판례집에서 실제 발행한 권을 고르고, 그 권의 쪽수 범위 안에서 실제로 존재하지 않는 인용을 만들었습니다. 세 번째는 실제 인용의 권수나 쪽수에서 숫자 한 자리를 바꾸고, 실제 인용과 겹치는 경우를 제외했습니다. 이 두 유형은 표기만 보면 실제 범위 안에 들어갈 수 있습니다. 정확도는 각각 50.5%와 55.7%였습니다. 각 시험에서 실재와 위조가 절반씩이므로 무작위로 맞힐 때의 기준은 50%입니다.

Syfert는 재현에서 Fable이 미국 판례집의 권수가 610 이상이거나 쪽수가 1,350 이상이면 가짜로 분류하는 경계값을 가중치에 넣었다고 설명합니다. 이런 기준은 범위를 벗어난 숫자가 포함된 위조를 가리는 데 도움이 되지만, 실제 판례집과 권·쪽수 범위에 맞춘 위조를 구별하는 데는 효과가 없었습니다. Syfert는 법률 서면의 허위 인용이 판례집·권수·쪽수는 그럴듯해도 실제 사건이 없는 유형이라고 설명합니다. 이 재현 모델은 인용 표기의 형식적 개연성을 분류합니다. 판결문 수록 여부나 판결 내용과 주장의 부합성은 입력·판정 범위에 들어가지 않습니다.

Lauritzen은 같은 날 후속 게시물에서 더 훈련할수록 직접 작성한 가중치와 훈련한 가중치의 성능이 가까워진다고 덧붙였습니다. Lauritzen의 97.8%는 원래 실험에서, Syfert의 점수는 데이터·위조 생성 방식·분류기 구조가 다른 별도 재현에서 나왔습니다. 별도 재현은 시험용 위조를 만드는 규칙이 정확도에 큰 영향을 준다는 점을 보여줍니다.