Thinking Machines Lab, Inkling 2 Small 발표…전체 가중치는 안전성 점검 뒤 공개 계획

Thinking Machines Lab은 11월 5일 Inkling 2 Small을 발표하고 Tinker에서 가중치 비공개 상태로 추론과 파인튜닝을 제공하기 시작했습니다. 7월 첫 Inkling은 발표와 함께 전체 가중치를 공개했지만, 이번 모델은 외부 안전성 평가와 레드팀 점검을 마친 뒤 다음 주 Apache 2.0 라이선스로 전체 가중치를 공개할 계획입니다. 체크포인트도 가중치 공개 때 내려받을 수 있게 할 예정입니다. 현재 모델 카드의 라이선스 항목은 Tinker 이용약관입니다. Tinker Playground에서는 추론을 시험할 수 있고, Tinker에서는 샘플링과 파인튜닝도 지원합니다.

Inkling 2 Small은 48층 디코더 전용 트랜스포머에 희소 혼합 전문가(MoE) 구조를 적용했습니다. 각 토큰은 384개 전문가 가운데 8개로 전달되며, 어텐션은 가까운 범위와 넓은 범위를 처리하는 층을 함께 둡니다. 전체 파라미터는 594B이고, 토큰을 처리할 때 활성화되는 규모는 17B입니다.

모델은 텍스트와 이미지를 입력받아 텍스트를 출력하며, 문맥 길이는 최대 100만 토큰입니다. 이미지는 비전 트랜스포머로 인코딩해 텍스트와 공통 표현 공간에 투영한 뒤 디코더에서 함께 처리합니다. Thinking Machines Lab은 시각적 피드백을 반영해 웹사이트와 게임, 3D 디자인을 만들고 반복해서 다듬는 작업을 소개했습니다. 오디오는 지원하지 않습니다.

회사는 여러 에이전트 실행 환경과 문맥 압축 방식을 활용해 수십만 건의 장기 코딩 과제로 모델을 강화학습했다고 밝혔습니다. 많은 과제에는 코드의 테스트 통과 여부뿐 아니라 문제에 접근하는 과정도 평가하는 에이전트형 채점기를 적용했습니다. 회사는 이 훈련으로 모델이 지시를 더 잘 따르고 변경 사항을 신중히 검토하며, 요청받지 않아도 작업 결과를 확인하게 됐다고 설명했습니다.

회사가 소개한 내부 벤치마크용 시간 예측 과제에서는 Inkling 2 Small이 Qwen3.5-4B를 Tinker에서 자율적으로 훈련했습니다. 모델은 과제를 분석해 평가기를 작성한 뒤 학습 데이터와 방식을 바꾸고 지도 미세조정과 강화학습을 시도하면서 과정을 디버깅했습니다. 회사는 4.5시간의 작업 뒤 예측 점수가 두 배 넘게 높아졌으며 Tinker 사용액은 426달러였다고 밝혔습니다.

출시 글은 이 모델이 채팅 경험에 덜 최적화돼 있어 답변 구성이 흐트러지거나 슬래시를 과도하게 쓰고, 정신건강 등 안전 관련 질문에 과잉 반응하는 문제도 있다고 설명했습니다.