Ollaya — Jev 방식의 오픈소스 의사결정 모델을 로컬에서 실행

AI 요약

Ollaya는 텍스트나 JSON을 입력으로 받아 선택지, 점수, 예·아니요 형식의 답과 확률을 반환하는 의사결정 모델 실행 도구입니다. 토큰을 하나씩 생성하는 대신 한 번의 순전파로 답을 내도록 설계했습니다. 프로젝트가 제시한 성능은 RTX 4090에서 Laya 모델로 질문 5개를 처리할 때 HTTP API 전체 요청 기준 8~10ms입니다. 비교 대상으로 든 TypeSafe Jev 호스팅 API의 중앙값은 236~276ms입니다.

로컬 실행과 API 호환

Ollaya는 기본적으로 127.0.0.1에서 서버를 열고 ONNX Runtime으로 CPU나 NVIDIA GPU에서 모델을 실행합니다. macOS, Windows, Linux용 데스크톱 앱과 명령줄 도구, Docker 이미지를 제공합니다. CUDA 13을 사용하는 NVIDIA GPU 지원은 Linux, WSL 2, Docker에서 제공하며, macOS와 Linux ARM64에서는 CPU로 실행합니다. 런타임 라이선스는 Apache-2.0입니다.

TypeSafe의 /v1/systemone 및 /v1/models API 요청·응답 형식을 지원합니다. 프로젝트 설명에 따르면 공식 TypeSafe Python SDK 0.7.1을 수정 없이 로컬 서버에 연결할 수 있습니다. API 키에는 임의의 값을 넣어도 됩니다. 모델 가중치는 제작자의 Hugging Face 저장소에서 가져오며, 특정 커밋과 SHA-256 해시를 확인한다고 안내합니다.

제공 모델과 활용

모델 선택지는 속도와 구조가 다릅니다. Laya는 빠른 모델이며 322M·421M 크기로 제공됩니다. Decider는 Qwen3.5 기반 디코더 모델로, 보기별 로짓을 읽어 답을 정합니다. NLI는 선택지를 가설로 바꿔 함의 점수를 매기고, Gliclass는 모든 선택지를 한 번에 채점합니다. Qwen3Guard는 119개 언어로 텍스트 안전성을 분류합니다. Kev와 von도 포함하며, von은 최대 8,192토큰 문맥을 지원합니다. 사이트는 모델별 정확도와 속도를 비교할 수 있다고 설명합니다.

Hacker News 반응

댓글에서는 이런 모델을 범용 ‘의사결정 모델’이라고 부를 수 있는지, 기존 분류기와 무엇이 다른지를 두고 의견이 갈렸습니다. 일부는 결국 분류기이며, 고정된 작업이라면 평가 데이터로 전용 분류기를 학습하는 편이 낫다고 봤습니다. 다른 댓글은 프롬프트만으로 학습 없이 시작할 수 있고, 작업이 바뀌는 분류 문제에서 빠른 API가 유용하다고 설명했습니다.

• @datadrivenangel — 일반적인 의사결정에서 Jev와 비슷한 모델이 많나요? 평가 세트가 있다면 분류기를 직접 학습하는 편이 더 현명합니다.
  • @cobanov — 링크에 올라온 개요가 좋습니다. 가장 나은 오픈 모델은 이제 Jev에 가까워졌지만 규모가 큽니다. 고정된 작업의 평가 세트가 있다면 전용 분류기가 더 낫다는 데 동의합니다.
• @handfuloflight — 지연 시간은 좋아 보입니다. 실제 의사결정 품질은 Jev와 비교해 어떤가요?
  • @cobanov — 모델에 따라 다릅니다. 현재 지원하는 작은 모델은 어려운 질문에서 Jev보다 성능이 많이 낮지만, 단순하고 명확한 질문에는 괜찮습니다. Jev에 가까운 오픈 모델은 더 크며, 다음으로 지원하려고 합니다.
• @george_max — Laya가 Jev와 같거나 더 나은 결과를 내는 사례를 본 사람이 있나요? 제 경험으로는 Laya 성능이 훨씬 떨어집니다. 복잡한 질문에서 확신이 낮고 잘못 판단하는 경우가 많습니다.
  • @cobanov — 개발자입니다. 맞습니다. 특히 어려운 질문에서 Laya는 Jev보다 훨씬 약합니다. 작은 모델이라 빠른 대신 성능이 낮습니다. Jev에 가까운 오픈 모델은 훨씬 크며, 그 모델들을 실행하는 작업을 다음으로 진행하고 있습니다.
• @alex7o — 지시를 따르는 재랭커와 Laya·Jev의 차이가 뭔지 모르겠습니다. 확률 보정이 더 낫다는 점은 알겠지만, 재랭커도 그렇게 미세 조정할 수 있지 않나요?
  • @Swizec — Laya·Jev 같은 모델은 학습 없이 쓸 수 있는 제로샷 분류기를 제공합니다. LLM으로 프롬프트를 다듬고 실제 데이터를 모은 다음, 기준을 명확히 해 Jev 같은 모델에 적용하고, 원하는 정확도에 도달하면 전용 분류기를 미세 조정하는 식으로 진행할 수 있습니다.
• @nacs — 모델 페이지에 제로샷 정확도와 지연 시간을 표시하면 좋겠습니다. 정확도 점수만 보면 BERT 계열에서는 NLI가 Gliclass보다, Gliclass가 Laya보다 나아 보입니다. 그런데 왜 Laya를 더 앞세우나요?
• @qurren — CUDA 12도 지원하면 좋겠습니다. GPU를 업그레이드하려고 1만 5천 달러를 쓰고 싶지는 않습니다.
• @solaire_oa — 설치하고 예제를 실행하니 작동합니다. 다만 실제로 어디에 쓸지 잘 모르겠습니다. 환불 사례를 분류하는 예제에서 환불 요청이 사용자 이탈 위험이 아니라면 무엇이 이탈 위험인가요?
  • @motoboi — AI가 판단해야 할 때 쓰는 도구입니다. GPT나 Claude, 오픈 모델로 하던 판단을 더 저렴하게 처리할 수 있습니다. 이미 고정된 숫자나 선택지가 있다면 코드로 처리하면 됩니다. 텍스트에서 맥락을 뽑아야 할 때는 정규식보다 낫습니다.

원문: Ollaya / 번역·요약: Trawling