MOSS-Image-Base: 텍스트와 JSON 레이아웃으로 이미지 생성하기

OpenMOSS의 MOSS-Image 계열 기본 텍스트-이미지 모델로, 자연어 프롬프트와 태그 시퀀스, JSON 레이아웃을 지원합니다. Python과 CUDA 환경에서 Diffusers 파이프라인으로 실행하며, 모델 가중치와 추론 코드는 Apache License 2.0으로 공개했습니다.

주제: AI 이미지 생성 개발 도구

에디터 노트

이 모델의 문서에서 가장 구체적인 특징은 JSON 레이아웃으로 텍스트와 객체의 위치를 지정하는 입력 방식입니다. 프롬프트만으로 장면을 설명하는 데서 나아가 경계 상자를 편집해 구도를 조정하는 흐름을 제시합니다. 다만 기본 설정과 예제는 안내하지만 지원 해상도별 성능이나 생성 품질 비교 자료는 제공하지 않습니다. ComfyUI 공식 저장소 통합도 아직 진행 중이라고 밝혔습니다.

AI 요약

MOSS-Image-Base는 프롬프트뿐 아니라 태그 시퀀스와 JSON 레이아웃으로 이미지의 텍스트 배치와 객체 구성을 지정하는 텍스트-이미지 모델입니다. 문서의 예제는 냉장고 메모에 중국어 문장을 넣는 생성 작업을 보여줍니다. OpenMOSS는 SFT 버전에서 텍스트 그룹이 더 선명해지고 화이트보드 구성이 정돈된다고 설명합니다.

실행 환경과 기본 설정

Python 3.10 이상과 CUDA를 지원하는 NVIDIA GPU가 필요합니다. PyTorch 2.9 이상과 Diffusers 0.38 이상, Transformers 5.3 이상 등을 설치한 뒤 custom_pipeline="pipeline_moss_image"로 불러옵니다. 기본 추론은 1024x1024 해상도에서 50 steps, guidance scale 3.0을 사용합니다. 샘플러는 Flow-matching Euler이며, 기본 설정은 각 단계에서 transformer를 두 번 실행하고 negative branch의 0부터 세는 22번 레이어를 건너뜁니다. Python API의 이미지 가로와 세로는 16의 배수여야 합니다.

JSON 레이아웃과 도구 연동

레이아웃 JSON은 장면 설명과 항목 목록으로 구성하며, 경계 상자는 yxyx 순서와 abs_centralized 좌표계를 사용합니다. 텍스트, 객체 설명, 경계 상자를 수정해 이미지 내용과 구도를 조절하는 방식입니다. 문서는 Gradio 인터페이스와 ComfyUI용 플러그인도 안내하며, 공식 ComfyUI 저장소 통합은 진행 중이라고 밝힙니다. 모델 가중치와 포함된 추론 코드는 Apache License 2.0으로 공개했습니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗