MiniMax, 비디오·스테레오 오디오를 동시에 생성하는 omni-modal 모델 H3 오픈소스 공개

본문

중국 AI 기업 MiniMax가 범용 omni-modal 생성 시스템 MiniMax-H3를 오픈소스로 공개했습니다. 텍스트, 이미지, 비디오, 오디오로 구성된 멀티모달 컨텍스트를 통합적으로 이해하고, 네이티브 스테레오 오디오가 포함된 비디오를 최대 2K 해상도, 최대 15초 길이로 생성할 수 있는 모델입니다. 사전학습 단계에서부터 작업 일반화(task generalization)를 목표로 설계되어, 복잡한 멀티모달 지시를 따르는 데 강점을 가진다고 MiniMax는 설명합니다.

입출력 사양과 두 가지 체크포인트

생성 결과물은 4~15초 길이의 24 FPS 비디오와 32kHz 스테레오 오디오이며, 21:9, 16:9, 4:3, 1:1, 3:4, 9:16 등 다양한 화면 비율을 지원합니다. 기본 해상도는 짧은 변 기준 768픽셀이고, H3-Regenerate-2K 단계를 거치면 2K까지 올라갑니다. 대사 언어는 한국어를 포함해 아랍어, 중국어, 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 포르투갈어, 러시아어, 스페인어 등 11개 언어가 안정적으로 지원됩니다. 공개된 체크포인트는 두 가지입니다. H3-Base-FL2VA는 텍스트만으로 생성하거나 첫 프레임·마지막 프레임 이미지를 조건으로 사용하는 방식이고, H3-Base-Ref2VA는 이미지 최대 9장, 비디오 최대 3개, 오디오 최대 3개 등 전체 입력 파일 12개까지 참조로 받는 omni-reference 모드입니다. 두 체크포인트 모두 CFG-distill된 BF16 가중치로, 프로세서·토크나이저·텍스트 인코더·Visual VAE·Audio VAE를 포함한 독립 저장소 형태로 배포됩니다.

세 모듈로 구성된 파이프라인

전체 시스템은 세 모듈로 나뉩니다. H3-Context-IR은 자유 형식의 멀티모달 입력을 해석해 H3가 이해할 수 있는 구조화된 중간 표현(Context Intermediate Representation)으로 변환하는 전처리 계층으로, 지시 파싱과 모달리티 간 연관, 시간적 이해, 논리 추론을 수행합니다. 다단계 호스티드 워크플로에 의존하므로 이번 오픈소스에는 포함되지 않았고, 대신 API와 Prompting Guidance가 제공됩니다. H3-Base는 이 표현을 받아 768p 비디오·오디오를 생성하고, H3-Regenerate-2K는 768p 결과를 원본 컨텍스트와 함께 다시 모델에 넣어 2K로 재생성합니다. 별도의 super-resolution 모듈 대신 모델 자신의 생성 능력을 in-context 방식으로 재활용해 작은 텍스트나 세부 묘사 같은 정보를 복원하는 접근인데, 이 모듈 역시 아직 오픈소스되지 않았고 API로만 공식 결과를 검증할 수 있습니다.

아키텍처

H3-Encoder는 Qwen3-VL-32B의 사전학습 가중치 전체를 사용해 50번째 레이어의 hidden states를 Omni-Transformer에 전달합니다. 비디오는 시간축 인과성을 가진 H3-VisualVAE(공간 16배·시간 4배 압축, 24개 latent 채널, f16t4d24)로 인코딩된 뒤 1×2×2 패치화를 거쳐 유효 공간 다운샘플링 32배로 Transformer에 입력됩니다. 오디오는 좌우 채널을 독립 처리하는 H3-AudioVAE가 32kHz 입력을 채널당 40Hz latent 토큰으로 압축해 스테레오 입출력을 구현합니다. H3-Omni-Transformer는 33B 파라미터의 dense single-stream Transformer로, 이 중 약 13B가 AdaLN 관련 브랜치에 있어 추론 전용 배포 시에는 로드하지 않아도 됩니다. 어텐션과 FFN에는 모달리티별 구조가 없고 입출력 레이어와 AdaLN 브랜치에만 모달리티 전용 파라미터가 있으며, 위치 정보는 시간·공간 3차원의 MM-RoPE로 표현합니다. 긴 시퀀스 비용을 줄이는 네이티브 sparse attention은 학습 후반부에 적용됐지만 구현체는 초기 릴리스에 포함되지 않았고 추후 별도 공개 예정입니다.

배포와 라이선스

MiniMax는 SGLang, vLLM, diffusers, ComfyUI를 권장 서빙 프레임워크로 제시하며, SGLang 기준 GPU 4장과 ulysses-degree 4 설정의 예시 명령을 제공합니다. 로컬에 배포한 H3-Base와 공식 API의 Context-IR·Regenerate-2K를 조합한 Full 2K Workflow로 공식 결과물을 재현·검증할 수 있고, T2VA·FL2VA·Ref2VA 세 가지 사용 사례별 요청 스크립트와 결과 영상이 함께 공개됐습니다. 사용자가 제출하는 텍스트·이미지·비디오와 보강된 프롬프트는 자동 모더레이션 대상이며, 모델은 MiniMax H3 Community License로 배포됩니다.

원문: Hugging Face / 번역·요약: Trawling