JevGPT — 글을 쓰지 못하는 모델로 만든 챗봇

AI 요약

JevGPT는 문장 생성 대신 주어진 상황과 선택지의 확률을 계산하도록 만든 TypeSafe AI의 Jev 모델을 챗봇에 적용한 실험입니다. Jev는 원래 문장을 쓰지 않지만, 이 앱은 단어를 하나씩 고르게 해 답변을 만듭니다.

단어 선택으로 문장 만들기

앱은 1,772개 단어로 된 어휘 목록에서 Jev가 다음 단어를 선택하게 합니다. 선택한 단어를 문장에 붙인 뒤 다시 선택을 요청합니다. 제작자 설명에 따르면 Jev가 다음 단어 후보를 추리고, 전체 문장의 이어짐을 평가해 순서를 고릅니다. 제작자는 이 방식이 딥러닝 이전 분류기 기반 텍스트 생성과 닮았다고 설명하며 2007년 NAACL 논문을 언급합니다.

결과와 실행 방법

제작자는 결과를 “어느 정도 작동한다”고 소개합니다. 딸기(strawberry)에 r이 세 개라고 답하거나 세차장까지 걸어가라고 권하는 등 답변에 오류가 생깁니다. TypeSafe API 키를 사용해 웹에서 시험할 수 있으며, 제작자 설명상 답변 하나에 약 1센트가 듭니다. 오픈소스 저장소에서 로컬 실행도 가능합니다.

Product Hunt 반응

• @idlivada — 안녕하세요, Product Hunt! 👋 수년 동안 우리는 선택을 맡기려고 수십억 개 매개변수의 텍스트 생성 모델을 부적절하게 사용해 왔습니다. TypeSafe AI의 Jev는 “시스템 1” 모델입니다. 상황과 선택지 목록을 주면 밀리초 안에 각 선택지의 확률을 반환합니다. 문장은 전혀 쓰지 않습니다. JevGPT는 그래도 문장을 쓰게 합니다. 답변의 모든 단어가 객관식 질문입니다. Jev가 1,772개 단어 어휘에서 다음 단어를 고르면 앱이 그 단어를 붙이고 다시 묻습니다. 제게 익숙한 문제입니다. 2007년에 한 모델이 단어를 고르고 다른 모델이 단어 순서를 평가하는 텍스트 생성 논문을 NAACL에 발표했습니다. JevGPT도 같은 방식으로 작동합니다. Jev가 다음 단어 후보를 추린 뒤 전체 이어짐을 평가해 가장 나은 순서를 고릅니다. 작동하느냐고요? 어느 정도요. 딸기에는 r이 세 개라고 말하기도 하고, 세차장까지 걸어가라고 하기도 합니다. 의식이 있냐고 물었더니 “아니요”라고 답했습니다. TypeSafe API 키로 https://curata.com/jevgpt 에서 시험해 보세요. 답변 하나에 약 1센트가 들거나 오픈소스 저장소에서 로컬로 실행할 수 있습니다. 가장 이상한 답변이나 선택만 하는 모델이 더 잘 쓰도록 할 아이디어가 궁금합니다. 🙏
  • @katie_schmalzried17 — 딸기에 r이 세 개 있다는 “가끔”이라는 부분이 웃겼어요 😂 시험해 볼 만한 재미있는 실험 같네요.
• @maksym_stelmashenko — 정말 멋진 아이디어네요. 누군가가 그냥 “이걸 실제로 해낼 수 있을까?” 하고 도전해 보는 재미있는 과제 같아요 😄 선택 기반 모델이 어떻게든 한 번에 단어 하나씩 골라 대화 전체를 쓴다는 기묘한 기능이 마음에 들어요.
  • @idlivada — 맞아요. 가능한지 확인하려고 만든 거예요. 사실 딥러닝 이전에는 분류기를 사용해 텍스트를 생성하는 방식이 사실상 이런 식이었습니다. 제 논문은 여기서 볼 수 있어요: https://aclanthology.org/N07-1056.pdf
• @galdayan — 오늘 Product Hunt의 다른 출시 문구보다 “어느 정도 작동한다”는 솔직함이 더 좋네요. 몇 문장을 넘기면 고정된 선택지에서 단어별로 답을 골라 반복적이고 무난한 표현으로 퇴화하는지 궁금합니다. 답변 전체의 일관된 계획이 아니라 “다음으로 가장 나은 선택”을 최적화하니까요.

원문: Product Hunt / 번역·요약: Trawling