FreeToken, 일부 GGUF 모델에 이미지 입력 추가

본문

FreeToken 프로젝트는 10월 26일자 v0.2.1 릴리스에서 일부 GGUF 모델의 이미지 입력을 추가했습니다. FreeToken은 GPU와 CPU, 시스템 메모리를 함께 활용해 개인용 PC에서 대형 MoE 모델을 실행하는 로컬 추론 엔진입니다. v0.2.0은 llama.cpp의 GGUF 체크포인트를 실행했지만, 당시 릴리스 노트는 mmproj 파일을 이용한 이미지 입력을 미지원 항목으로 적었습니다. v0.2.1은 텍스트용 GGUF에 별도 비전 타워를 연결해 이미지가 포함된 요청도 처리하는 경로를 마련했습니다.

사용자는 모델과 호환되는 mmproj-*.gguf 파일을 모델 폴더에 두거나 ft serve 실행 때 --mmproj로 경로를 지정합니다. 이 파일에는 이미지 처리에 쓰는 비전 타워가 들어 있습니다. FreeToken은 출력 폭과 타워 종류, 이미지 토큰 규격이 맞는 파일을 폴더에서 찾고, 어떤 파일을 불러왔는지 로그에 표시합니다. 폴더에 맞는 파일이 없거나 서로 다른 모델의 파일을 구별하지 못하면 텍스트 입력만 처리하므로 직접 경로를 지정해야 합니다.

v0.2.1 릴리스 노트는 Qwen3.5, Qwen3.6, Qwen3.8, Gemma-4, GLM-5.3-Flash, DeepSeek-V4-Flash-Vision-Exp 계열의 GGUF 이미지 입력을 지원 대상으로 들었습니다. 호환되는 모델은 OpenAI 방식의 image_url, Anthropic 이미지 블록, Responses API의 input_image로 이미지를 받을 수 있으며 URL과 base64를 지원합니다. CLI 문서는 이미지 입력을 실험 기능으로 표시합니다.

이미지 입력 지원은 GGUF의 모델 계열과 파일 구성에 따라 달라집니다. v0.2.1에서는 Qwen3-VL과 Qwen3-VL-MoE GGUF, 비전 가중치를 GGUF 하나에 담은 Ollama 형식이 텍스트 입력만 처리합니다. DeepSeek-V4 이미지는 Vision-Exp 텍스트 GGUF와 deepseek4v mmproj를 짝지어야 합니다. Flash-0731 GGUF는 이미지 토큰이 없는 텍스트용 파일이므로 비전 타워와 조합해도 이미지 입력 경로를 제공하지 않습니다.