마이크로소프트, GUI와 셸을 함께 쓰는 4B 에이전트 공개

본문

마이크로소프트 Mage 팀은 화면을 읽어 GUI를 조작하고, 필요하면 셸에서 파일을 편집하는 4B 비전언어 에이전트 Mage-VL-Cowork를 공개했습니다. 모델 카드가 제시한 OSWorld-Verified 점수는 66.0%입니다. 평가는 Google Drive를 제외한 361개 작업을 대상으로 작업당 50단계를 허용했고, 두 차례 실행에서 각각 65.33%와 66.75%를 기록했습니다.

Mage-VL-Cowork는 화면을 마우스와 키보드로 다루는 computer_use와 지속형 bash 셸을 한 모델 안에 결합했습니다. 모델은 시각 배치나 캔버스 편집처럼 화면 상태가 중요한 작업에는 GUI를 쓰고, 스프레드시트·문서·프레젠테이션의 구조화된 수정이나 결과 검증에는 셸을 선택합니다. 외부 조정기가 도구를 배분하지 않고 모델이 작업마다 실행 경로를 고릅니다.

학습은 시각 인식, GUI 조작, 코드·터미널 능력을 단계별로 익힌 뒤 하이브리드 작업으로 통합하는 5단계 과정입니다. 모델 카드에서 Mage-VL은 기반 멀티모달 모델로, Mage-VL-Cowork는 GUI와 코드·터미널 작업을 수행하는 에이전트로 구분합니다.

모델은 Apache-2.0 라이선스로 공개됐지만 커스텀 아키텍처를 사용하므로 Transformers 등에서 불러올 때 trust_remote_code=True 설정이 필요합니다. bash로 임의의 셸 명령을 실행할 수 있어 모델 카드는 격리된 컨테이너나 가상 머신에서 실행하고, 되돌릴 수 없는 작업에는 사람의 확인을 받도록 권고합니다.

자료: Hugging Face / 정리·해설: Trawling