Lightricks, 오픈 웨이트 영상·오디오 생성 모델 LTX-2.5 공개 — 멀티샷 생성과 신규 디코더 탑재

본문

Lightricks가 Hugging Face를 통해 오픈 월드 모델 LTX-2.5의 가중치를 공개했습니다. 텍스트, 이미지, 영상 입력으로부터 동기화된 고충실도 영상과 오디오를 생성하는 모델로, 로컬 실행과 파인튜닝을 목표로 설계됐으며 로보틱스·피지컬 AI 같은 신흥 도메인으로의 확장 가능성도 언급됩니다. 배포는 API 의존 없이 자체 인프라에서 셀프호스트하는 방식이며, 생성 건당 과금이나 시트당 과금이 없다는 점을 강조합니다. 다만 상업적 이용 조건은 LICENSE 파일에 정의되어 있고, 매출 기준은 공동 지배 하의 자회사·계열사를 포함한 전체 법인 단위로 측정된다고 명시되어 있으므로 도입 전 라이선스 확인이 필요합니다.

주요 신기능과 아키텍처 변화

가장 큰 변화는 네이티브 멀티샷(multishot) 생성입니다. 이전 버전이 단일 연속 샷만 생성했던 것과 달리, LTX-2.5는 한 번의 생성으로 여러 샷을 연결하면서 컷이 바뀌어도 캐릭터 정체성, 환경, 조명, 목소리, 시각 스타일을 유지합니다. 두 번째는 '디퓨전 피델리티 렌더링'으로, 모든 장면에 동일한 압축률을 적용하는 대신 장면의 복잡도와 예산에 따라 연산을 동적으로 배분해 중요한 부분에 디테일을 집중합니다. 세 번째로 VAE 재구성 단계를 대체하는 신규 디퓨전 비디오 디코더가 도입되어 얼굴·텍스처·화면 내 텍스트가 더 선명해지고 모션이 개선되며 아티팩트가 줄었다고 설명합니다.

텍스트 인코더는 커스텀 Gemma 4 12B로 교체되어, 여러 캐릭터·카메라 무빙·조명·동작이 섞인 긴 프롬프트에서도 디테일을 잃지 않도록 설계됐습니다. 여기에 짧은 프롬프트를 시네마틱한 지시문으로 확장하는 프롬프트 인핸서, 프롬프트로부터 클립 길이를 예측해 프레임 수를 자동 설정하는 옵트인 duration predictor가 추가됐습니다. 디스틸드 모델도 대폭 개선되어, 더 작고 빠른 체크포인트에서 풀 모델의 시각 품질·프롬프트 준수도·모션 일관성을 더 많이 유지한다고 밝힙니다.

배포 형태와 실행 방법

가중치는 단일 파일이 아니라 ComfyUI에 맞춘 분할 팩으로 제공되며, 컴포넌트별로 safetensors 파일이 나뉩니다. DiT는 22B 규모로 bf16의 디스틸드(고정 8스텝, CFG=1)와 dev(학습 가능) 버전, ComfyUI 전용 int8+convrot 양자화판, Blackwell/ltx-kernels용 NVFP4 디스틸드판이 있습니다. 여기에 Gemma 4 텍스트 인코더, 고품질 DiffVAE와 경량 Conv VAE, 오디오 VAE·보코더, 디스틸드 LoRA, duration head, x2 공간·시간 latent 업스케일러가 포함됩니다.

실행은 LTX-2 리포지토리의 ltx-pipelines 패키지를 이용하며 Python 3.12 이상, CUDA 12.7 이상, PyTorch 2.7 계열이 권장됩니다. 각 모델 파일을 --transformer-path, --text-encoder-path 등의 플래그로 지정하고, --num-frames를 생략하면 duration head가 프롬프트에서 길이를 추정합니다. 프레임 수는 8로 나눈 나머지가 1이어야 하고(1, 9, 17, …, 121), 너비와 높이는 32의 배수여야 합니다. --image PATH FRAME_IDX STRENGTH 플래그로 이미지-투-비디오 조건을 줄 수 있고, --quantization fp8-cast와 --offload cpu로 VRAM 부담을 줄일 수 있습니다. ComfyUI 공식 워크플로 템플릿과 별도 Diffusers 패키지(Lightricks/LTX-2.5-Diffusers)도 제공되는데, Diffusers는 아직 릴리스에 포함되지 않아 main 브랜치에서 설치해야 하며 2단계 latent 업스케일 파이프라인 예제가 공개되어 있습니다.

학습·호환성과 한계

dev 트랜스포머는 완전히 학습 가능하며, LTX-2 Trainer로 공개된 LoRA·IC-LoRA를 재현할 수 있습니다. Lightricks의 테스트 기준으로 LTX-2.3에서 학습된 LoRA와 IC-LoRA 대부분은 LTX-2.5에서 수정 없이 동작하지만, 소수 예외가 있으므로 프로덕션 적용 전 어댑터 검증을 권장합니다. 모델 카드가 밝힌 한계로는 사실 정보 제공 목적이 아니라는 점, 통계 모델 특성상 사회적 편향을 증폭할 수 있는 점, 프롬프트 스타일에 따라 결과가 크게 달라지는 점, 프롬프트와 불일치하거나 부적절한 콘텐츠가 생성될 수 있는 점이 있습니다. 접근에는 연락처 정보 공유 동의가 필요한 게이티드(gated) 모델이며, 최근 한 달 다운로드는 약 161만 건을 기록했습니다.

원문: Hugging Face / 번역·요약: Trawling