Speridlabs, 이미지 한 장을 회전 가능한 3D 가우시안 객체로 만드는 Idol 공개

Speridlabs가 사진·렌더·생성 이미지 한 장에서 회전해 볼 수 있는 3D 객체를 만드는 Idol의 모델 가중치와 추론 SDK를 공개했습니다. Idol은 입력에서 배경을 제거하고 물체를 크롭한 뒤 최대 1,048,576개의 3D Gaussian으로 구성된 결과를 표준 3DGS .ply 파일로 저장합니다.

3D Gaussian splat은 Gaussian 단위로 3차원 객체를 표현해 시점을 바꿔 볼 수 있는 방식입니다. Idol은 결과 파일과 함께 모델이 실제로 처리한 크롭 이미지를 PNG로, 입력 카메라 추정값을 JSON으로 저장합니다. 사용자는 원본 이미지에서 모델이 대상으로 삼은 부분과 카메라 추정값을 결과와 함께 확인할 수 있습니다.

처리는 배경 제거와 크롭에서 시작합니다. Idol은 BiRefNet으로 배경을 제거하고 입력 종류에 따라 물체 주변 여백을 조정합니다. 합성 이미지와 렌더에는 synthetic 모드, 실물 사진에는 real 모드를 사용하며 기본값은 synthetic입니다. synthetic 모드는 물체가 프레임의 1/1.2를, real 모드는 1/1.7을 채우도록 크롭합니다. 모델 입력 크기는 1024×1024입니다.

전처리한 이미지는 DINOv3 ViT-H+/16과 FLUX.2 VAE가 각각 특징 토큰으로 인코딩합니다. 두 특징을 조건으로 370.6M 매개변수의 rectified-flow Transformer가 3D 표현을 샘플링합니다. Octree 디코더는 Gaussian을 배치할 공간상의 기준점(anchor)을 정하고, Gaussian 디코더는 기준점마다 32개씩 생성해 최종 3DGS를 구성합니다.

사용자는 Gaussian 수를 32,768개에서 1,048,576개 사이로 지정할 수 있습니다. 기본값은 262,144개이며, 샘플링은 Euler 방식 50단계로 진행합니다. 단계를 줄이면 생성은 빨라지지만 세부 묘사가 줄어든다고 프로젝트 문서는 설명합니다. 결과에는 사진에 찍히지 않은 뒷면도 포함되지만, 이 부분은 입력에서 측정한 표면이 아니라 모델이 추정해 생성한 형상입니다.

모델 가중치는 Hugging Face에서, 추론 SDK는 공개 GitHub 저장소에서 받을 수 있으며 두 저장소는 Apache-2.0 라이선스를 표시합니다. 로컬 실행에는 Python 3.10 이상, PyTorch 2.5 이상, NVIDIA CUDA GPU가 필요합니다. 첫 실행 때 Idol 가중치 약 3GB와 두 이미지 인코더를 내려받습니다. DINOv3와 FLUX.2 VAE 저장소는 접근이 제한돼 있어 각 저장소의 이용 조건에 동의한 뒤 Hugging Face 계정으로 인증해야 합니다. 웹에서 시험할 수 있는 Hugging Face Space도 실행 중입니다.

Speridlabs 연구 페이지가 제시한 약 0.66B 매개변수는 생성부의 DiT 370.6M, Octree 디코더 50.8M, Gaussian 디코더 237.3M을 합한 규모입니다. 배경 제거 모델과 이미지 인코더까지 포함한 모델 카드의 전체 추론 구성은 약 1.80B 매개변수이며, 최대 VRAM 사용량은 7.2GB로 집계됩니다.

속도 수치는 측정 조건에 따라 차이가 있습니다. Speridlabs는 소비자 GPU에서 2초 미만 실행을 소개하지만, 해당 설명에는 측정 장비와 단계 수가 적혀 있지 않습니다. 별도 비교표는 Gaussian 262,144개와 50단계 설정에서 H100 한 장으로 Idol 요청을 처리하는 데 6.8초가 걸렸다고 기록했습니다. 같은 조건의 TripoSplat은 9.9초였습니다. GPU별 측정표는 50단계 설정으로 이미지 8장을 실행한 중앙값을 제시합니다. 이 표에서 RTX 3080 10GB는 46.2초, H100 80GB는 6.7초였습니다. GPU에서 기본으로 켜지는 최적화는 샘플링을 약 1.7배 빠르게 하며, 프로세스의 첫 이미지는 컴파일 때문에 더 오래 걸린다고 문서는 설명합니다.