PixVerse R2 — 탐험하고 바꿀 수 있는 실시간 월드 모델

AI 요약

PixVerse R2는 완성된 영상 클립 하나를 생성하는 대신, 사용자가 탐험하고 바꾸는 동안 계속 변하는 오디오비주얼 세계를 만드는 실시간 월드 모델입니다. 텍스트, 이미지, 오디오, 행동 입력을 생성 중에 받아들이고, 세션에서 일어난 일을 기억해 이후 장면에 반영합니다. PixVerse는 이를 인터랙티브 스토리, 캐릭터, 플레이 가능한 생성형 세계에 활용한다고 설명합니다.

상호작용 방식과 모델 구성

사용자는 WASD 키로 세계를 이동하고, 프롬프트를 입력해 장면에 요소를 추가하거나 변화를 줍니다. 바뀐 세계에서도 상호작용을 이어 갈 수 있어 같은 시작 장면을 서로 다른 방향으로 전개할 수 있습니다.

팀은 Omni Causal AR를 활용한 연속 사전학습으로 월드 모델 기능을 구축한 뒤, 같은 기반 모델을 실시간 상호작용에 맞게 증류한다고 밝혔습니다. 목표는 더 지속적이고 제어하기 쉬우며 확장 가능한 세계를 만드는 것입니다. 제품은 브라우저에서 체험하는 PixVerse World로 공개됐습니다.

기억과 일관성

팀 답변에 따르면 R2는 진행 중인 세션에서 최근 상호작용 기록과 캐릭터·장면 같은 장기 맥락을 함께 참고합니다. 다만 모든 세부 정보를 완벽하게 기억하지는 않으며, 세션이 길어질수록 일관성을 유지하는 문제는 계속 개선 중입니다. 장면이나 인물이 달라지는 사례도 학습해 흐트러진 요소를 복구하도록 훈련한다고 설명했습니다.

Product Hunt 반응

• @curiouskitty — Decart Oasis와 Google DeepMind의 Genie 계열 인터랙티브 월드 모델을 비교하면, 지연 시간·제어 가능성·멀티모달 입력·세션 길이·세계 일관성 가운데 지금 확실히 앞서는 부분은 어디이며, 반대로 경쟁 제품이 우세한 부분은 어디인가요?
• @dipanshu_kushwaha5 — R2는 더 긴 세션에서도 이전 상호작용을 기억하나요?
  • @littlefatty — 진행 중인 세션에서는 그렇습니다. R2는 최근 상호작용 기록과 캐릭터, 장면 같은 장기 맥락을 함께 유지합니다. 다만 모든 세부 정보를 완벽하게 기억하지는 못하며, 긴 세션에서도 일관성을 유지하는 문제는 계속 개선하고 있습니다.
• @james_frank9 — 인터랙티브 스토리에 정말 잘 어울릴 것 같습니다. 같은 세계를 완전히 다른 방향으로 이끌 수 있겠네요. 사용자가 얼마나 세밀하게 제어할 수 있나요?
  • @sylvia_sheng — 맞습니다. 세계가 변하는 동안 WASD로 이동하고 프롬프트로 장면을 바꿀 수 있어, 같은 시작점에서도 여러 방향으로 전개할 수 있습니다. 제어 기능을 더 발전시키는 데도 관심이 있습니다.
• @hehe6z — 정말 재미있네요! 세계의 일관성은 어떻게 유지하나요?
  • @littlefatty — 다음 장면을 만들 때 최근 상호작용과 캐릭터 정체성, 장면 세부 정보 같은 장기 맥락을 함께 사용합니다. 요소가 어긋나는 사례도 학습해 복구하도록 합니다. 아직 완벽하지 않으며, 긴 세션의 일관성은 계속 집중하는 과제입니다.
• @owenfar — 랜딩 페이지의 빠르게 움직이는 영상 때문에 조금 어지러웠고 글에 집중하기 어려웠습니다. 제게만 그럴 수도 있습니다. 제품 설명은 잘 전달됩니다. 갤러리의 음소거 아이콘은 낯설어서 클릭하기 전까지 깨진 아이콘인 줄 알았습니다. YouTube 같은 곳에서 쓰는 아이콘을 고려해 보세요. 출시를 응원합니다!
  • @sylvia_sheng — 응원과 제안 감사합니다.
• @cheng_ju1 — 정말 재미있는 데모입니다. 무작위 프롬프트를 시험하다 보니 생각보다 훨씬 오래 쓰게 됐습니다.

원문: Product Hunt / 번역·요약: Trawling