Ultramarine 1 Flash
Ultramarine 1 Flash, 전문 지식 업무용 오픈 모델
Paper Instruments가 오픈 모델 Ultramarine 1 Flash를 공개했습니다. GLM-5.3 Flash를 기반으로 대규모 강화학습을 적용했으며, 자체 지식 업무 벤치마크에서 작업당 0.13달러로 Claude Fable 5 Max와 GPT-5.6 Sol Max보다 높은 점수를 기록했다고 밝혔습니다.
- 주제
에디터 노트
가장 큰 쟁점은 작업당 0.13달러라는 비용보다 그 비용과 성능을 뒷받침하는 평가의 범위입니다. Paper Instruments는 금융, 법률, 컨설팅, 운영 과제를 대상으로 문서 작성과 업무 시스템 작업을 평가했고, 같은 실행 환경과 과제별 채점 기준을 적용했다고 설명합니다. 다만 점수와 과제 구성은 자체 벤치마크에 기대며, 댓글에서는 비교 대상 선정과 그래프 표현이 성능을 유리하게 보이게 한다는 비판이 나왔습니다. GLM-5.3 Flash 기반 모델에 강화학습을 적용했다는 점은 출발점을 분명히 하지만, 댓글에서 지적했듯 전문 업무 성능은 문장 품질이나 과제별 적합성처럼 종합 점수로 드러나지 않는 요소에도 좌우됩니다. 따라서 공개된 수치는 해당 벤치마크에서의 비용 대비 결과를 보여주지만, 다른 회사의 실제 업무에서도 같은 우위를 보인다는 근거까지 제공하지는 않습니다. 댓글의 코딩 점수도 코딩이 주된 목표가 아니라는 설명과 맞닿아 있습니다.
AI 요약
Ultramarine 1 Flash는 금융, 법률, 컨설팅, 운영 분야의 전문 지식 업무를 겨냥한 오픈 모델입니다. Paper Instruments는 GLM-5.3 Flash를 기반으로 대규모 강화학습을 적용해 평가한 지식 업무 벤치마크 6개 모두에서 성능을 개선했다고 설명합니다. 평가 결과 같은 기반 모델보다 토큰을 평균 6.5% 적게 생성했습니다.
벤치마크와 비용
PI Knowledge Work는 금융, 법률, 컨설팅, 운영 업무를 평가하는 사내 벤치마크입니다. 모델은 완성된 Excel 통합 문서, PowerPoint 자료, Word 문서를 만들고 ERP와 MES 같은 업무 시스템 안에서 작업합니다. 과제별 채점 기준은 결과물의 내용, 정확성, 표현을 평가하며, 모든 모델에 같은 실행 환경을 적용합니다. 비용은 개발자용 공식 API 가격을 기준으로 계산합니다.
회사는 Ultramarine 1 Flash가 작업당 0.13달러로 Claude Fable 5 Max의 8.19달러와 GPT-5.6 Sol Max의 2.09달러보다 높은 점수를 냈다고 밝혔습니다. Claude Opus 5.5 Max의 6.96달러, GPT-6 Sol Max의 1.26달러 모델과는 점수 차이가 3점 이내라고 설명합니다. 자체 벤치마크 점수와 Artificial Analysis Intelligence Index 사이의 상관계수는 0.81이라고 덧붙였습니다. API 가격은 입력 100만 토큰당 0.15달러, 캐시 입력 0.03달러, 출력 0.50달러로 GLM-5.3 Flash와 같습니다.
회사는 문장을 간결하게 쓰고 시각적·정보적 위계를 잘 구성하며, 전문 서비스 분석가에게 요구되는 규칙을 따르도록 모델을 만들었다고 설명합니다.
Hacker News 반응
- @kadoban — 기반 모델이 무엇인지 궁금한 분을 위해 덧붙입니다. Ultramarine은 전문 지식 업무를 위한 에이전트형 모델입니다. 강력한 오픈 기반 모델 GLM-5.3 Flash에 대규모 강화학습을 적용했고, 평가한 지식 업무 벤치마크 6개 모두에서 기반 모델보다 나은 결과를 냈다고 합니다. 어느 쪽이든 판단은 유보하겠습니다. 후속 학습을 얼마나 잘했는지는 이 자료만으로 알기 어렵습니다.
- @ra — 좋네요. 지금 GLM-5.3 Flash를 지식 업무에 쓰고 있는데 이것도 확인해 보겠습니다.
- @anon373839 — 어떤 도구와 UI 계층을 쓰시는지 여쭤봐도 될까요? 비개발자에게 쓸 만한 지식 업무 실행 환경을 찾고 있는데 마음에 드는 걸 못 찾았습니다. 저는 코딩 실행 환경을 쓰지만 비개발자에게는 맞지 않습니다.
- @sudo_cowsay — 프런티어 모델은 무엇을 뜻하나요? 성능이 Luna Max와 비슷해 보입니다. 6.1 Sol이나 6 Astra, Opus 5.5 같은 모델을 프런티어라고 생각했습니다. 설명해 주실 분 있나요?
- @handfuloflight — 프런티어 모델이라고 주장한 것은 아닙니다. 프런티어 수준의 성능이라고 주장했습니다.
- @tibbar — 요즘에는 비용 대비 성능의 파레토 프런티어를 뜻하는 경우가 많습니다. 해당 비용대에서 얻을 수 있는 가장 좋은 성능이라는 의미입니다.
- @nl — 저는 프런티어 모델이 지능의 한계를 밀어 올리는 모델을 뜻한다고 봅니다. Fable이나 Astra 같은 모델이죠. 지능 대비 비용의 파레토 프런티어를 말하는 것일 수 있지만, 그 지표만으로는 부족한 경우가 많습니다. 반복 작업이라면 작은 모델을 미세 조정해 대형 모델보다 싸게 만들 수 있습니다. 지식 업무에서는 가격 외에도 모델마다 다른 요소가 중요합니다. 예를 들어 영어 문장이 좋지 않아 Opus 5를 떠난 사람도 많았고 Opus 5.5에서 그 문제가 개선됐습니다. 이런 차이는 벤치마크에 반영되지 않습니다.
- @tonyhart7 — 그럼 업무용인가요? 코딩은 못하거나 잘 못하나요?
- @randomblock1 — 코딩이 초점은 아닌 것 같습니다. DeepSWE 점수는 이 모델이 61.5, 기반 모델 GLM-5.3 Flash가 63.4입니다. TerminalBench 2.1에서도 약간 낮습니다. 다른 업무 성능 개선이 코딩에 도움을 줄 수는 있겠지만, 자체 벤치마크를 제외하면 차이는 크지 않습니다.
- @CobrastanJorji — 불필요하게 오해를 부르는 그래프가 마음에 들지 않습니다. 강점과 약점을 그대로 보여줬으면 합니다. 결과 섹션에서는 모든 지표에서 Ultramarine보다 나은 모델을 비교 대상에서 빼고, 작업당 비용 그래프에서는 더 비싼 모델을 다시 넣습니다. 성능이 두 번째라고 솔직히 써도 됩니다. 모델 자체는 인상적인데 마케팅 담당자가 그래프를 꼬아놓지 않았으면 합니다.
- @jchook — 벤치마크가 이상적이지 않습니다.
- @torginus — 범용 모델이 아니라 금융 관련 지식 업무를 돕는 모델입니다. 잘하도록 설계한 작업만 평가하는 건 타당합니다.
- @test_user369 — 얼마나 많은 특화 모델이 있어야 회사를 운영할 수 있을지 궁금합니다. 장부 정리에 써보려 합니다. 폴더 안의 송장을 처리하고 1년치 거래 내역 CSV를 분류한 다음 추세를 물어볼 생각입니다.
- @dotancohen — 그 작업은 Python 스크립트가 더 적합해 보입니다.
- @dotancohen — 저는 지금이라면 LLM에게 스크립트를 작성하게 하겠습니다. 그렇게 하면 되죠.
- @binbag — 소프트웨어 개발자가 아니면서 실제로 지식 업무를 하는 사람입니다. Claude 데스크톱 앱에서 이 모델로 옮길 이유가 무엇일까요? 더 저렴할 수는 있겠지만 실행 환경을 고르고 설치하는 일은 큰 부담입니다. 모델이 빠르게 바뀌어 계속 갈아타야 할 것 같기도 합니다. 대부분 회사는 익숙하고 잘 작동하는 제품을 쓰며 더 높은 비용을 내는 편이 안전하지 않을까요?
- @fallingbananna — 개발자라면 OpenCode나 Pi 실행 환경으로 바꾸는 일은 간단합니다. 조직에서 부담스럽거나 비용 대비 가치가 없다면 바꾸지 않는 편이 맞습니다.
원문: Paper Instruments / 번역·요약: Trawling