Gaussian·3D 모델로 스타일을 유지하며 카메라 각도 바꾸기

AI 요약

AnyAngle은 이미지 편집 모델에 원하는 카메라 각도를 지정해도 결과가 제한된 방위각·고도각에 머물거나 원본 스타일이 달라지는 문제를 겨냥한 Qwen Image 2.1용 LoRA입니다. 원하는 시점의 대략적인 렌더 이미지를 3D 장면에서 만들고, 이를 원본 이미지와 함께 참조로 넣어 스타일을 보존한 채 카메라 시점을 옮기는 방식입니다.

처리 절차

먼저 원본 이미지를 Tripo Splat 같은 도구로 Gaussian Splat으로 변환하거나 Trellis2, Pixal3d 같은 도구로 3D 모델을 생성합니다. 생성한 장면을 Blender로 가져와 카메라를 새로 만들고 원하는 각도로 배치한 뒤 렌더링합니다. 이 렌더는 목표 시점의 대략적인 제어 이미지입니다.

이후 Qwen Image 2.1에 원본 이미지와 Blender 렌더를 함께 넣고 AnyAngle LoRA를 적용합니다. 편집 프롬프트는 “Change the camera angle from <image2> to <image1>.”입니다. 여기서 이미지 참조 순서는 프롬프트와 일치해야 합니다. LoRA 강도는 1로 설정하고 CFG는 3.0, 추론 단계는 20회 이상을 권장합니다. 구도 기획처럼 빠른 결과가 우선이면 turbo LoRA로 지연 시간을 줄일 수 있지만 품질은 조금 낮아집니다.

학습 데이터와 방식

학습 데이터에는 스타일이 다양한 Blender 렌더와 디지털 일러스트용 MiniMax H3 결과를 사용합니다. 한 쌍은 원본 이미지(anchor)와 다른 카메라 각도에서 만든 목표 이미지(target)로 구성합니다. 목표 이미지에서 Gaussian Splat이나 3D 모델을 만든 뒤, 이를 제어용 대략적 렌더로 사용합니다. 이런 쌍을 충분히 모아 LoRA를 수천 스텝 학습합니다.

저자는 Blender에서 직접 만든 렌더에서는 장면의 형상이 이미 정해져 있으므로 스타일 정합을 안정적으로 유지한다고 설명합니다. 일러스트나 스케치 같은 스타일도 다루기 위해 MiniMax H3의 이미지-동영상 기능으로 카메라가 장면 주위를 도는 영상과 시점 변화를 만들었습니다. 이때 장면 안의 사물은 움직이지 않도록 해 시점별 이미지의 대응 관계를 맞췄습니다.

한계와 주의점

결과는 입력 이미지에서 복원한 3D 정보의 정확도에 좌우됩니다. Gaussian Splat이나 모델이 공간 구조를 제대로 잡지 못하거나 지나치게 거칠면 물체의 상대 위치가 틀어지고 얼굴이 일그러질 수 있습니다. 해상도가 낮거나 얼굴 윤곽이 불분명한 이미지에서도 문제가 생길 수 있습니다. 소개된 사례에서는 테이블과 포니테일의 위치가 어긋나 출력 이미지의 공간 배치까지 잘못됐습니다.

이 문제는 3D 모델을 직접 수정해 물체를 올바른 위치에 놓거나, 장면을 더 정확히 재구성하는 3D 월드 생성 워크플로를 사용하는 방식으로 보완할 수 있습니다. 따라서 AnyAngle은 프롬프트만으로 시점을 바꾸는 도구라기보다 3D 재구성·Blender 렌더·이미지 편집 모델을 연결하는 작업 흐름입니다.

원문: Hugging Face / 번역·요약: Trawling