Spirula Studio — Vulkan·CUDA로 영상에서 3D Gaussian Splatting과 메시까지

AI 요약

Spirula Studio는 사진이나 영상으로 데이터셋을 만들고, 3D Gaussian Splatting을 학습한 뒤 텍스처 메시까지 생성하는 통합 도구입니다. 단일 실행 파일로 제공하며 Python·PyTorch와 별도 COLMAP 설치가 필요하지 않습니다. GUI와 CLI를 지원하고, Windows·Linux·macOS에서 사용할 수 있습니다.

GPU와 학습

권장 백엔드는 NVIDIA·AMD·Intel·Apple GPU를 지원하는 Vulkan입니다. macOS에서는 MoltenVK를 사용합니다. CUDA 백엔드는 NVIDIA GPU용으로 제공하며, 두 백엔드는 학습과 메시 생성 기능이 같습니다. 속도 차이는 GPU 드라이버에 따라 달라지며 대체로 몇 퍼센트 안쪽이라고 프로젝트는 설명합니다. 경우에 따라 Vulkan이 VRAM을 조금 덜 쓰기도 합니다.

양자화 학습으로 8GB VRAM에서 SH3 Gaussian 최대 1,000만 개를 처리합니다. 학습 전략은 MCMC, IGS+, MRNF의 장점을 결합해 부유 아티팩트를 줄이고 더 선명한 결과를 내는 것을 목표로 합니다. 작은 물체부터 넓은 장면까지 다룹니다.

영상에서 메시까지

Vulkan 백엔드에는 영상 프레임 추출, AI 마스킹, 자체 SfM, 메시 생성, 배치 처리가 포함됩니다. 어안 렌즈와 360도 카메라, 등방위 투영(equirectangular) 데이터를 기본 지원해 학습 전에 왜곡을 보정할 필요가 없습니다. 노출과 화이트밸런스 보정에는 수정된 Bilateral grid와 PPISP를 사용하며, 색이 불필요하게 바뀌거나 화면이 어두워지는 현상을 줄이는 데 초점을 둡니다. 깊이·법선 처리와 스카이박스 기능도 제공합니다.

설치와 주의 사항

바이너리는 Releases에서 내려받아 압축을 풀고 GUI를 실행하면 됩니다. 원격 GPU에서는 CLI로 학습을 실행할 수 있으며, 기본 설정은 HTTP 포트로 뷰어를 제공해 SSH 포트 포워딩으로 진행 상황을 확인하도록 합니다. 소스 빌드에는 CMake와 Ninja가 필요하고, Vulkan 백엔드는 Vulkan SDK를 사용합니다. macOS에서는 CMake가 MoltenVK를 가져옵니다.

특허가 걸린 옵션을 켜면 ffmpeg를 호출하지 않고 GPU에서 영상을 디코딩해 프레임 추출을 약 15배 빠르게 처리합니다. 다만 AVC·HEVC 비트스트림 파서의 특허 문제가 있어 사용자가 지역별 법률을 확인해야 합니다. 마스킹 모델은 첫 실행 때 내려받으며, SAM 2.1은 Apache-2.0, SAM 3는 별도 Meta 라이선스를 따릅니다. 모델은 프로그램에 포함되지 않고, GUI에서 다운로드 전에 라이선스 조건을 표시합니다.

원문: GitHub / 번역·요약: Trawling