Jev 1.14.0 출시, 실험 기능은 '위험 구역'으로 제공

AI 요약

TypeSafe가 Jev 1.14.0을 출시하고 이미지 입력, 바운딩 박스 출력, 긴 컨텍스트를 실험 기능으로 추가했습니다. 회사는 운영 환경에 필요한 신뢰성과 창의적인 실험 사이에서 균형을 잡기 위해, 안정성을 충분히 검증하지 못한 기능을 API 헤더로 직접 켜는 'danger zone' 방식으로 제공한다고 설명합니다. 이런 기능은 생산 환경에 바로 쓰기에는 동작이 고르지 않을 수 있지만, 이후 모델에도 이어질 방향이라고 밝혔습니다.

이미지 입력과 새 출력 유형

이미지는 JSON 인터페이스가 지원하는 자산 위치에 넣을 수 있습니다. 상태(state), 지침(instructions), 평가 기준(criteria) 등 입력의 여러 부분에서 이미지 사용을 지원하며, Jev 1.13.0에도 이미지 기능이 있었지만 이번에 공개한다고 설명합니다. 다만 모든 모델은 순수 텍스트보다 멀티모달 입력에서 성능이 떨어질 수 있으므로 질문을 간단한 단위로 나누면 도움이 된다고 안내합니다. 기능은 요청 헤더에 TypeSafe-Danger-Zone-Images: true를 넣어 활성화합니다.

새 box 유형은 이미지 속 대상의 바운딩 박스 하나를 반환합니다. 지금까지의 유형이 주로 조건 판단에 쓰였다면, box는 단순한 판단을 넘어서는 시스템을 탐색하는 첫 사례라고 TypeSafe는 설명합니다. 이 유형은 Jev 1.14.0에서만 쓸 수 있습니다.

긴 컨텍스트와 데이터 사용 선택

Jev는 운영 환경에서 긴 컨텍스트를 의도적으로 제한해 왔습니다. TypeSafe는 모델이 긴 컨텍스트에서 덜 안정적으로 동작하고, 짧은 입력을 쓰는 편이 효과적이라고 설명합니다. 이번에는 권장 제한을 유지하면서도 TypeSafe-Danger-Zone-Long-Context: true 헤더를 보내면 더 긴 컨텍스트를 사용할 수 있게 했습니다.

사용자는 질의를 모델의 불규칙한 동작을 찾고 디버깅하는 데 보태는 선택 항목도 켤 수 있습니다. TypeSafe는 이 기능을 켜도 질의를 학습에 사용하지 않는다고 밝혔습니다. 데이터 보존 기간이나 저장 위치에 관한 세부 조건은 본문에서 설명하지 않습니다.

버전 정책과 평가 방식

Jev 1.14.0은 jev-preview로 제공되며, 회사는 화려한 신규 기능보다 작은 개선을 목표로 삼았습니다. 여러 부분이 조금씩 나아지고, 특히 다국어 지원에서 가장 큰 향상을 기대한다고 밝혔습니다. jev-latest는 일주일 뒤 1.14.0으로 바뀌며, 1.13.0은 한동안 유지됩니다. 1.13.0을 공식적으로 폐기하기 60일 전에 알리고, 1.14.0에는 30일 전에 알릴 계획이라고 했습니다. 폐기 정책도 별도로 공개할 예정입니다.

TypeSafe는 공개 벤치마크보다 자체 평가를 선호하지만, 이번에는 내부에서 개발자용 지능을 가늠하는 방식을 공개했습니다. 회사도 측정 기준이 계속 바뀔 수 있고 자사 모델에 유리할 수 있다고 밝혔습니다. 검증 데이터셋을 엄격히 관리하고 모델 제공 업체의 데이터 정책을 우려해, 비교 대상은 오픈 웨이트 모델로 한정했습니다. 독자에게는 자체 사용 사례로 평가하라고 권합니다.

Hacker News 반응

• @benaduggan — 사실상 경쟁 우위가 거의 없다는 걸 알고 기능을 묶어뒀다가, 다른 제품보다 낫고 빠르게 움직인다는 인상을 주려고 조금씩 풀고 있는 건가요? 얼마나 멋진지 보여주려고 Apple 광고 문구까지 쓰면서요?
  • @ranger_danger — 누구와 비교하는 건가요?
  • @benaduggan — 의사결정 모델 공개 벤치마크가 몇 개 있는데, 모든 항목에서 1위는 아닙니다. 벤치마크를 믿지 말라는 익살스러운 경고가 그 문제를 피하는 방법인 것 같네요.
• @yipinwong — 컨텍스트 크기 변경, 새 box 유형, 조합 가능한 이미지 입력을 포함한 점진적인 변경으로 보입니다. 큰 변화는 기대하지 않았지만 컨텍스트가 늘어난 점은 확실히 도움이 되겠네요. 더 큰 컨텍스트를 쓴 결과의 오류는 제가 감수하겠습니다.
  • @therealpygon — SubQ가 컨텍스트 길이와 이미지 처리에서 벤치마크 우위를 보이고 있고, 직접 호스팅하는 선택지도 수없이 많으니 경쟁하려면 이 기능이 필요하겠죠.
• @jjcm — 벤치마크를 믿지 말라는 문구가 좋습니다. 벤치마크는 조작될 수 있는 지표이고 대략적인 위치를 보여줄 뿐입니다. 결국 자기 사용 사례로 직접 시험해야 합니다.
  • @girvo — 회사 업무 평가에서는 Jev가 이기는 경우가 많았습니다. 오픈 웨이트 모델이 이기길 바라면서도 그랬습니다. 특정 용도로 오픈 웨이트 모델을 미세 조정하면 이길 수도 있겠지만, 범용 의사결정 모델로는 비용을 고려했을 때 더 나은 모델을 거의 못 봤습니다.
• @verdverm — 저는 의사결정 모델을 동전 던지기로 시험합니다. 정답이 잘 알려진 문제인데도 제대로 답하는 모델을 보지 못했습니다. 다른 의사결정에 대한 신뢰도 떨어집니다.
  • @willy_k — 어떻게 시험하나요? 답변의 신뢰도가 50%인지 보는 건가요?
  • @verdverm — 간단합니다. '동전 던지기 결과를 예측하라', '결과는 무엇인가?', 선택지는 '앞면'과 '뒷면'입니다. Jev 웹사이트에서는 답을 받은 뒤에야 실제 확률이 아니라는 안내를 보여줍니다. 입력창 옆에 더 눈에 띄게 표시해야 한다고 봅니다.
• @bbor — 바운딩 박스 추가는 Jev의 가장 큰 문제를 키웁니다. 수년간 목적에 맞게 만든 모델로 해온 일을 거대한 모델로 조금 더 못하고 훨씬 비싸게 처리합니다. 비용과 정확도, 개발 속도 사이의 교환으로 설명하면 괜찮지만, '스마트한 if문'이나 공상과학처럼 포장하면 그런 교환이 보이지 않습니다. 근거를 알 수 없는 지표로 여러 모델을 비교한 그래프도 불투명합니다.
• @calyhre — 데이터가 어디에 저장되는지, 얼마나 보관하는지 궁금합니다. 지원 페이지에는 기업 계정의 ZDR만 짧게 언급돼 있습니다. 저희에게는 사용을 막는 조건입니다. 이미지 기능까지 생긴 만큼 EU 데이터 저장 지역이나 선택형 무보존 옵션이 있으면 바로 쓰겠습니다.
• @MisterMunchkin — 처음에는 회의적이었는데 Jev가 의사결정을 꽤 잘한다는 점을 인정하게 됐습니다. 이상한 상황을 던져서 약점을 찾으려 해도 쉽지 않았고 가격도 저렴합니다.
• @lacoolj — 컨텍스트 길이를 제한해 온 이유를 설명하고 실험 옵션을 여는 방식이 마음에 듭니다. Jev를 이미 구독하고 있었는데 이번 출시로 더 충성도 높은 사용자가 될 것 같습니다.
• @mt_ — 저는 오히려 수상한 느낌을 받았습니다. 중요한 데이터를 넘기는 대가로 무작위 로그 확률값을 저렴하게 제공받는 관계이기 때문입니다.

원문: TypeSafe / 번역·요약: Trawling