Iris-3B — 픽셀 공간에서 이미지 생성과 비전 작업을 수행하는 30억 파라미터 모델

AI 요약

Iris-3B는 이미지 생성 모델의 사전학습을 깊이 추정과 이미지 복원 같은 비전 작업에 활용하는 프로젝트입니다. 일반적인 이미지 생성 모델은 압축된 잠재 공간에서 이미지를 만든 뒤 별도 디코더로 픽셀을 복원합니다. Iris-3B는 이 단계를 건너뛰고 네트워크가 픽셀을 직접 출력합니다. 제작진은 텍스처 중심의 손실 압축 잠재 공간 대신 픽셀 공간을 쓰는 접근을 DINOv2 같은 비전 파운데이션 모델의 대안으로 탐색합니다.

이미지 생성 구조와 실행

모델은 약 100만 픽셀 크기의 이미지를 기본 설정 CFG 3, 100단계로 생성합니다. 출력 기본 크기는 1024×1024이며, 원본 비율에 맞춘 생성도 지원합니다. 이미지 생성 가중치는 약 12GB이고, 텍스트 인코더로 고정된 Qwen3-VL-4B-Instruct를 사용합니다. 인코더 가중치는 첫 실행 때 내려받습니다.

구조는 30억 파라미터 Diffusion Transformer입니다. 듀얼 스트림 블록 8개와 싱글 스트림 블록 16개 뒤에 픽셀 헤드 4개를 배치합니다. 픽셀 헤드는 16×16 패치를 픽셀로 변환합니다. 학습에는 Rectified Flow를 사용했고, 256·512·1024픽셀 단계로 처음부터 학습한 뒤 1024픽셀에서 지도 미세 조정을 진행했습니다. 전체 학습은 665,000단계입니다. 전체 학습 레시피는 코드 저장소에 있습니다.

실행 환경은 Python 3.11 이상, PyTorch 2.7.1 이상, CUDA를 지원하는 NVIDIA GPU입니다. 저장소를 내려받고 패키지를 설치한 뒤 Hugging Face CLI로 가중치를 받으면 scripts/sample.py에서 프롬프트를 지정해 이미지를 생성합니다. CFG 값은 프롬프트 반영 정도를 조절하고, 샘플링 단계 수를 줄이면 속도가 빨라지는 대신 세부 묘사가 줄어듭니다. 시드를 고정하면 같은 결과를 다시 생성할 수 있습니다.

깊이 추정과 이미지 복원

같은 백본을 작업별로 미세 조정하면 단안 깊이 추정과 이미지 복원·업스케일링을 수행합니다. 모델 구조를 바꾸지 않았으며, 두 작업은 빈 프롬프트를 넣어 한 번의 순전파로 처리합니다. 따라서 텍스트 인코더가 필요하지 않습니다. 깊이 추정은 상대 깊이를 출력하며, 실제 거리값이 아닙니다. 정답과 비교하려면 로그 공간에서 스케일과 시프트를 맞춰야 합니다. 큰 이미지 복원은 겹치는 1024×1024 구간으로 나눠 처리합니다.

깊이 모델은 상대 로그 깊이를 직접 회귀하도록 10,000단계 학습했습니다. NYUv2, KITTI, ETH3D, ScanNet, DIODE의 평균 결과는 AbsRel 0.071, δ1 0.946입니다. Marigold V2 프로토콜을 사용한 제로샷 결과입니다. 복원·업스케일링 모델은 HYPIR 방식의 원스텝 적대적 복원으로 10,000단계 학습했으며 EMA 가중치를 사용합니다. DIV2K 검증 세트에서 4배 업스케일링 결과는 LPIPS 0.292, PSNR 20.68입니다.

배포와 한계

깊이 모델과 업스케일러 가중치는 각각 약 12GB를 추가합니다. 모델은 Apache License 2.0으로 배포하지만, Qwen3-VL-4B-Instruct는 자체 라이선스를 따릅니다. 생성 이미지에는 부정확하거나 편향되거나 안전하지 않은 내용이 포함될 수 있습니다. 이미지 안의 글자 표현과 정확한 사물 개수도 안정적이지 않으며, 대형 인쇄에는 업스케일러 사용을 안내합니다.

원문: Hugging Face / 번역·요약: Trawling