Kromoss: MOSS-Image 기반 1024px 이미지 생성 모델

Kromoss는 MOSS-Image-Base를 1024px 해상도로 전체 파인튜닝한 이미지 생성 모델입니다. 50단계 생성용 모델과 함께 8단계 Turbo LoRA 두 종류, ComfyUI용 BF16·INT8 모델 파일을 제공하며, Apache License 2.0으로 공개했습니다.

주제: 이미지 생성 오픈소스 머신러닝

에디터 노트

모델 카드에서 가장 구체적인 비교 결과는 CLIP 점수입니다. Kromoss는 MOSS-Image-Base보다 0.71 높고 DMD2 LoRA 적용 시 28.13으로 제시되지만, 이 수치만으로 이미지 품질 전반이나 실제 프롬프트에서의 우열을 판단할 근거는 자료에 없습니다. PartiPrompts 점수도 DMD2가 가장 높다고 설명하지만 점수 자체는 공개 본문에 적혀 있지 않습니다. 구현 측면에서는 기존 MOSS-Image-SFT와 같은 추론 구성, ComfyUI용 변환 도구, INT8 파일까지 함께 제공해 기존 작업 흐름에 연결하기 쉽게 구성했습니다. 다만 8단계 LoRA는 원본 모델과 같은 생성 설정이 아니라 CFG 1과 음성 조건 분기 생략을 사용하므로 50단계 결과와 단순 비교하기 어렵습니다. 체크포인트와 설정, 변환 재현 결과는 구체적으로 제시했지만 품질 평가는 CLIP 수치와 정성적 설명에 한정됩니다.

AI 요약

Kromoss는 MOSS-Image-Base의 전체 파인튜닝 모델입니다. 1024px로 학습했고 896px 제곱보다 작은 이미지는 학습에서 제외했습니다. MOSS-Image-SFT와 같은 아키텍처, 추론 파이프라인, Qwen3.5-9B 텍스트 인코더, FLUX.2 소형 디코더 VAE를 사용합니다. 저장소 구성도 같아 기존 MOSS-Image-SFT 사용 흐름에 대체 모델로 넣을 수 있습니다. 공개 체크포인트는 EMA 가중치를 적용한 11,000번째 업데이트이며 학습 이미지 704,000장을 사용했습니다.

추론 설정과 점수

전체 모델은 Flow-matching Euler 샘플러로 50단계, CFG 3을 사용합니다. 레이어 22를 건너뛰는 설정도 포함하며, Transformer와 텍스트 인코더는 bfloat16, VAE와 초기 노이즈는 float32로 처리합니다. 제공된 예제는 Diffusers에서 pipeline_moss_image를 불러와 1024x1024 이미지를 생성합니다.

모델 카드의 CLIP 점수는 MOSS-Image-Base의 27.19에서 Kromoss의 27.90으로 올라갑니다. Kromoss에 8단계 DMD LoRA를 적용하면 27.99, DMD2 LoRA를 적용하면 28.13입니다. 점수는 모델 카드가 제시한 CLIP 평가 결과이며, 다른 품질 지표나 평가 조건은 이 자료에 나오지 않습니다.

8단계 Turbo LoRA

두 LoRA는 MOSS-Image-Base를 50단계, CFG 3으로 생성하는 설정에서 증류했습니다. DMD LoRA는 데이터 공간 기반 증류를 12,000회 업데이트했습니다. DMD2 LoRA는 여기에 실제 이미지와 대조하는 GAN 판별기 단계를 학습률을 4분의 1로 낮춰 3,000회 더 진행했습니다. 모델 카드에서는 DMD2가 조금 더 높은 대비와 세부 묘사를 보이며 PartiPrompts 점수도 가장 높다고 설명합니다.

두 LoRA 모두 8단계, CFG 1로 사용하며 음성 조건 분기를 쓰지 않습니다. 4단계 생성도 가능하다고 안내합니다. LoRA는 fp32, rank 128, alpha 128이며 각 블록의 q, k, v, o, ffn_up_gate, ffn_down 프로젝션에 적용됩니다. ComfyUI에서는 강도 1로 하나씩 불러옵니다. Diffusers에서는 병합하지 않고 적용해야 합니다. 모델 카드에 따르면 가중치에 병합하면 LoRA 변화량이 bfloat16 반올림 단위와 비슷해집니다.

ComfyUI와 양자화 파일

현재 ComfyUI master에는 MOSS-Image를 위한 기본 지원이 포함되어 있습니다. 저장소는 BF16 단일 파일과 INT8 ConvRot W8A8 파일을 제공합니다. INT8 파일은 5.4GB이며, 168개 블록의 선형층을 입력 차원 256 폭의 Hadamard 회전 뒤 행별 스케일을 적용해 int8로 저장합니다. ComfyUI는 로드 시 회전을 재구성하고 활성화에 적용하며 회전 행렬을 파일에 저장하지 않습니다. 각 블록은 ComfyUI의 int8 attention도 사용합니다.

제공된 convert_to_comfy.py는 Diffusers 형식 Transformer 디렉터리를 ComfyUI 단일 파일로 변환합니다. quantize_convrot.py는 BF16 파일을 INT8 ConvRot 형식으로 변환합니다. 모델 카드에 따르면 두 도구는 MOSS-Image-SFT 파일을 변환할 때 Comfy-Org의 대응 파일과 바이트 단위로 같은 결과를 냅니다. 기존 Comfy-Org 워크플로에서는 BF16 모델을 MOSS-Image-SFT 파일 대신 넣고 50단계, CFG 3으로 실행할 수 있습니다. LoRA 사용 시에는 Euler, simple 스케줄러, 8단계, CFG 1을 설정합니다.

학습과 배포

학습 레시피는 MOSS-Image 보고서의 최종 단계 설정을 업데이트당 64개 이미지로 조정했습니다. hybrid Muon-AdamW 옵티마이저와 학습률 9e-6, 200단계 워밍업, truncated logit-normal timestep, 최종 블록 q-norm과 k-norm의 decay to one을 사용했습니다. EMA 계수는 0.999입니다. 가중치와 추론 코드 pipeline_moss_image.py는 Apache License 2.0으로 공개했습니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗