MOSS-Image-SFT: 텍스트와 배치를 제어하는 이미지 생성 모델

OpenMOSS가 MOSS-Image-Base를 지도 미세조정한 텍스트-이미지 모델 MOSS-Image-SFT를 공개했습니다. 자연어 프롬프트와 태그, JSON 레이아웃으로 이미지 속 글자와 객체 배치를 지정하며, 모델 가중치와 추론 코드는 Apache 2.0 라이선스로 배포합니다.

주제: 이미지 생성 오픈소스 개발 도구

에디터 노트

이 모델 카드에서 확인되는 강점은 생성 품질의 수치보다 입력 제어 방식이 구체적이라는 점입니다. 자연어와 태그뿐 아니라 JSON으로 글자와 객체의 위치를 지정하고 편집하는 경로를 제시하며, 실행 설정과 정밀도도 공개합니다. 반면 더 선명한 글자 묶음과 정돈된 화이트보드 배치는 프로젝트가 든 예시 설명에 한정됩니다. 비교 조건이나 정량 평가가 제시되지 않아 품질 개선의 범위는 이 자료만으로 판단하기 어렵습니다. 따라서 현재 확인 가능한 가치는 구조화된 배치 입력과 사용 절차입니다.

AI 요약

MOSS-Image-SFT는 OpenMOSS의 MOSS-Image 계열 모델로, MOSS-Image-Base를 지도 미세조정했습니다. 기존 모델과 같은 아키텍처와 추론 파이프라인을 사용하며 자연어 프롬프트, 태그 시퀀스, JSON 레이아웃을 입력으로 받습니다. 프로젝트 예시에서는 미세조정 모델이 화이트보드의 글자 묶음과 배치를 더 명확하게 생성한다고 설명합니다.

실행 환경과 기본 설정

Python 3.10 이상과 CUDA를 지원하는 NVIDIA GPU가 필요합니다. PyTorch 2.9 이상을 설치한 뒤 Diffusers, Transformers, Accelerate 등을 사용합니다. 기본 생성 설정은 50스텝, guidance scale 3, Flow-matching Euler 샘플러입니다. Transformer와 텍스트 인코더는 bfloat16을, VAE와 초기 노이즈는 float32를 사용하며, VAE에는 FLUX.2 small decoder가 포함됩니다. 기본 guidance는 스텝마다 Transformer를 두 번 실행합니다.

프롬프트와 레이아웃

JSON 레이아웃으로 장면 요약과 객체 목록, 렌더링할 텍스트, 위치를 지정할 수 있습니다. 바운딩 박스는 yxyx 형식과 절대 중앙 좌표계를 사용합니다. Python에서는 JSON을 문자열로 직렬화해 프롬프트에 전달하며, 생성 이미지 크기는 가로와 세로가 각각 16의 배수여야 합니다. 레이아웃의 텍스트나 설명, 바운딩 박스를 수정해 이미지 구성도 조정할 수 있습니다.

인터페이스와 배포

Gradio 사용법과 CPU 오프로딩, 컴파일 설정은 프로젝트 빠른 시작 안내를 따릅니다. ComfyUI에서는 ComfyUI Manager에서 MOSS-Image 플러그인을 설치할 수 있으며, 공식 저장소 통합은 진행 중이라고 안내합니다. 모델 가중치와 포함된 추론 코드는 Apache License 2.0으로 공개했습니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗