A small, not-so-smart model went from 10% to 99.6% at reading property deeds for $1.15, and it says 'check this line' instead of bluffing
작은 모델, 합성 부동산 필지 설명문 판독 정확도 10%에서 99.6%로… 이상 징후가 있으면 확인할 문장 표시
DeedReader는 부동산 필지 설명문을 구조화하는 Qwen3-8B 모델을 LoRA로 미세조정하고, 계산과 검증은 결정론적 코드에 맡깁니다. 합성 문서 3,000건에서 정확도 99.6%를 기록했지만 실제 등기서 성능은 아직 측정하지 않았습니다.
- 주제
에디터 노트
가장 설득력 있는 설계는 모델의 판독과 코드의 계산을 분리하고, 폐합이나 원문 근거가 맞지 않으면 도형을 확정하지 않는 방식입니다. 합성 시험에서 오답을 검토 대상으로 보낸 결과는 이 검증 구조가 작동한다는 근거지만, 실제 등기서 정확도를 입증하지는 않습니다. 저자도 실문서 평가는 아직 하지 않았다고 밝힙니다. 정확도 99.6%는 생성기가 만든 문서 3,000건에서 나온 수치입니다. 처음 보류한 문체와 단위를 추가 학습해 새 합성 문서에서 성능을 확인한 점은 데이터 생성과 검증 절차의 범위를 보여줍니다. 다만 댓글의 반응은 주로 작은 모델의 미세조정과 오류 표시 방식에 대한 호평이며, 실무 문서의 OCR 손상이나 표현 차이에서 같은 결과가 나오는지는 답하지 않습니다. 현재 근거가 뒷받침하는 것은 합성 자료에서의 성능과 오프라인 실행이지, 측량 업무의 정확도나 대체 가능성은 아닙니다.
AI 요약
부동산의 경계와 면적을 글로 적은 metes-and-bounds 설명문은 방위각, 거리, 곡선, 지점 표식을 읽어 지도 도형으로 옮겨야 합니다. 한 숫자만 잘못 읽어도 도형은 그럴듯하게 보일 수 있고, 측량 단계에서야 오차가 드러날 수 있습니다. DeedReader는 설명문에서 경계 정보를 추출하고 필지를 그린 뒤, 계산 결과가 맞지 않으면 잘못된 도형을 그리는 대신 검토가 필요한 문장과 수정 후보를 표시합니다.
구성과 검증
Qwen3-8B에 Tinker로 LoRA를 학습해 설명문을 구조화된 호출 정보로 바꿉니다. 이후 폐합 여부, 면적, 단위 변환, 도형 작성은 테스트를 거친 일반 코드가 처리합니다. 결과를 확정하기 전에는 출력 파싱, 필지 폐합, 숫자의 원문 문장 내 존재, 지점 표식 근거 확인, 별도 정규식 판독기와의 일치까지 다섯 검사를 통과해야 합니다. 폐합 기준은 1:5,000입니다. 검사에서 벗어나면 NEEDS HUMAN REVIEW를 표시하고 문제가 된 문장과 폐합을 맞출 수 있는 한 자리 숫자 수정안을 제시합니다.
학습과 평가
저자는 정답이 있는 실제 등기서 데이터가 부족해, 먼저 닫힌 다각형을 생성하고 이를 여러 문체와 단위로 표현하는 합성 데이터를 만들었습니다. 학습 데이터 2,300건으로 3회 학습한 최종 모델의 비용은 약 1.15달러이며, 학습 시간은 16분입니다. 같은 모델과 프롬프트, 검증 조건에서 기본 모델은 60건 중 6건을 정확히 읽었고, 미세조정 모델은 새 합성 문서 3,000건 중 2,988건을 정확히 읽었습니다. 보고된 정확도는 99.6%이며 95% 신뢰구간은 99.3~99.8%입니다. 기본 모델은 오답을 검토 대상으로 표시하지 않은 경우가 5건이었고, 새 평가에서 미세조정 모델은 12건의 불완전한 출력 중 10건을 파싱과 폐합 검사로 걸렀습니다. 나머지 2건은 생성기에서 같은 길이를 '87 links'와 '0.87 chain'으로 표기한 차이에서 나온 오류라고 설명합니다.
학습량별 평가에서는 문서 250건일 때 정확도 38.6%, 500건에서 92.6%, 1,000건에서 99.4%, 2,000건에서 99.6%였습니다. 숫자를 글자로 풀어 쓴 문체와 Texas varas 단위는 처음에 학습에서 제외했습니다. 첫 시험에서 글자 숫자는 85.6%를 정확히 읽었고 나머지는 검토 대상으로 보냈습니다. varas는 모두 검토 대상으로 처리했습니다. 이후 각각 150건을 추가해 학습한 뒤 새 합성 평가에서 글자 숫자 250건은 99.6%, varas 250건은 100% 정확도를 기록했습니다.
배포와 제약
저자는 369MB 어댑터를 내려받아 Apple M3 Pro 노트북에서 MLX와 4비트 Qwen3-8B로 실행했습니다. 오프라인에서 합성 문서 150건을 모두 정확히 읽었고 문서당 중앙값은 7.5초였습니다. 실제 사람의 토지 기록은 학습에 쓰지 않았으며, 실제 등기서에 대한 정확도는 아직 측정하지 않았습니다. 곡선 표현은 현과 방향, 반지름을 쓰는 형식만 지원하고 편각이나 측점·오프셋 설명은 지원하지 않습니다. 저자는 측량사의 대체물이 아닌 초안 작성 보조 도구로 규정합니다.
dev.to 반응
- @heet_ranpura — 집중적인 미세조정과 적절한 데이터가 모델 규모를 키우는 방식보다 나은 결과를 낼 수 있다는 좋은 사례라고 평가합니다.
- @advikdivekar — 그런 말을 들으니 기쁘다고 답합니다.
- @robertpaschal — 27피트나 어긋난 필지를 자신 있게 그리는 것보다 그리기를 거부하는 편이 낫다고 말합니다.
- @advikdivekar — 잘못된 필지를 그리는 대신 문제 문장을 표시하고 한 자리 숫자 수정안을 보여준다고 답합니다.
- @robertpaschal — 필지를 다시 그리는 대신 해당 문장에 표시하라고 덧붙입니다.
- @anjali_patil_7b9625b96ed2 — 정말 좋다고 말합니다.
- @advikdivekar — 고맙다고 답합니다.
원문: dev.to / 번역·요약: Trawling