모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
Simon Willison은 11월 3일 노트북에서 Qwen 3.8 27B로 네 게임용 소형 신경망의 가중치 판독 프롬프트를 시험했습니다. Qwen은 Pac-Man, Pong, Breakout을 맞혔지만 Freeway는 Pac-Man 유사 게임으로 잘못 판단했습니다. 도구 없이 한 차례씩 답한 개인 실험으로, 앞서 소개된 가중치 수정 실험과는 다른 결과입니다.
scime atlas가 ICML, NeurIPS, ICLR, CVPR, AAAI가 2016~2026년 받아들인 논문 108,967편을 20개 분야와 111개 주제로 묶은 연구 지도를 공개했습니다. 주제 페이지에서 연도별 논문 수와 비중 변화, 접근법, 많이 인용된 논문을 살펴볼 수 있습니다. 집계 범위는 이 다섯 학회의 논문입니다.
MIT CSAIL 소속 연구자 네 명은 GPT-6 Astra가 Qwen3.5-0.8B의 반복 추론 원인을 찾아 가중치 0.016%를 수정한 실험을 공개했습니다. 50회 정방향 실행을 허용한 편집 모델의 MATH-500 점수는 7.9%에서 48.1%로 올랐습니다. 반복이 드문 Gemma에서는 수학 점수의 확립된 개선을 확인하지 못해, 이번 결과는 새 수학 지식 주입보다 기존 풀이를 막던 반복의 제거를 보여줍니다.
Google Research가 새 정보를 장기 파라미터에 통합하면서 기존 능력의 망각을 줄이는 LLM 학습 프레임워크를 제안했습니다. 사전 할당한 MoE 메모리 블록을 오프라인에서 갱신하며, 번역·장문 맥락·사실 학습·수학 추론 실험에서 기준 모델보다 나은 결과를 보고했습니다.
Sebastian Raschka가 Qwen3 0.6B를 바탕으로 추론 모델을 구현하는 8편, 총 11시간 분량의 무료 동영상 강의를 공개했습니다. 추론 시점 확장, 검증 가능한 보상을 이용한 강화학습, 증류를 PyTorch로 구현하며 MATH-500 평가를 진행합니다.
논문은 self-attention 대신 Grassmann manifold의 저차원 부분공간에서 토큰 쌍을 처리하는 인과적 구조를 제안합니다. Wikitext-2에서는 비슷한 크기의 Transformer보다 검증 perplexity가 10~15% 높았고, DistilBERT의 SNLI 분류에서는 Transformer head를 소폭 앞섰습니다.
피부 병변 200건을 대상으로 한 비교에서 피부 영상으로 미세 조정한 Inception v3가 GPT-6 Astra와 Claude Fable 5.1보다 정확한 진단을 더 자주 내렸습니다. 다만 표본이 작고 생검 확진 사례만 포함해 실제 진료 성능을 입증한 결과는 아닙니다.
Kromoss는 MOSS-Image-Base를 1024px 해상도로 전체 파인튜닝한 이미지 생성 모델입니다. 50단계 생성용 모델과 함께 8단계 Turbo LoRA 두 종류, ComfyUI용 BF16·INT8 모델 파일을 제공하며, Apache License 2.0으로 공개했습니다.
Mistral AI가 시계열을 학습한 2억 900만 파라미터 모델 Timestral-209M을 공개했습니다. 과거 최대 32,768개 시점으로 최대 1,024개 시점을 한 번에 예측하며, 세 벤치마크에서 모델 카드에 나열된 비교 모델보다 좋은 점수를 기록했습니다.
개발자는 Tinker로 Qwen3-8B를 미세 조정해 입력 프롬프트의 복잡도를 5단계로 분류하는 모델을 만들었습니다. 평가 데이터 50개에서 기본 모델은 50%, 학습 예시 2,500개를 쓴 모델은 76%를 기록했지만, 예시 50개로 학습한 모델의 86%보다 낮았습니다. 작은 평가셋과 AI 생성 데이터의 라벨 일관성이 결과 해석을 제한합니다.
Goodfire의 Nick Cammarata는 신경망의 다의적 뉴런이 서로 무관한 개념을 임의로 섞은 결과라는 해석에 의문을 제기합니다. 대표 사례가 잘못 해석됐으며, 뉴런은 대체로 관련 개념을 계층적으로 일반화한다는 주장입니다. 다만 이 관찰이 대형 언어 모델의 행동과 안전 문제까지 설명하는지는 별도 검증이 필요합니다.
미국 국립공원관리청(NPS)의 경보 627건을 대형 모델로 분류한 뒤, 그 결과를 바탕으로 Qwen3.5-4B를 LoRA 미세조정했습니다. 보류 데이터 126건에서 정확도는 64.3%에서 74.6%로 올랐고, 하이킹을 막아야 할 경보는 33건 중 28건을 찾아냈습니다. 전체 학습 비용은 1.60달러지만, 라벨 오류와 오탐 가능성도 함께 공개했습니다.
고정된 선택지 중 하나를 고르는 의사결정 모델을 일반 LLM의 다음 토큰 확률로 구현하고, CommonsenseQA에서 성능과 확률 보정을 평가합니다. Qwen3-1.7B 모델의 기본 정확도는 59.38%였으며, temperature scaling으로 과도한 확신을 줄이는 방법도 소개합니다.
Dust는 가중치 대신 토큰별 활성값에 잡음을 넣고 손실 변화를 보상으로 삼아 기울기를 추정하는 제로차 최적화 방법입니다. 작은 규모 실험에서 역전파와 비슷한 성능을 보였고, 큰 모델이 더 적은 모집단 표본으로도 잘 학습되는 결과를 얻었습니다. 다만 현재는 역전파보다 계산 비용이 훨씬 큽니다.
VisionHOPE-T/S/B의 사전 학습 체크포인트를 공개했습니다. ImageNet-1K 분류, COCO 객체 탐지·인스턴스 분할, ADE20K 의미 분할용 가중치를 Hugging Face CLI로 내려받을 수 있습니다.
Sebastian Raschka가 단어 빈도 기반 분류기부터 신경망과 트랜스포머를 거쳐 Jev에 이르는 텍스트 분류의 흐름을 정리합니다. Jev는 IMDb 테스트에서 정확도 96%대를 기록했으며, 저자는 넓은 작업 범위와 빠르고 저렴한 추론을 강점으로 꼽습니다. 다만 내부 구조와 학습법은 공개되지 않았습니다.
Jeeves는 Qwen3.5-9B에 추론과 선택지 점수화 기능을 더해, 확률을 출력하는 Jev 호환 의사결정 모델로 만든 오픈소스 프로젝트입니다. 공개 JevBench에서 Jev보다 높은 정확도를 기록했지만, 추론을 켜면 중앙값 지연 시간이 3.3초이고 p90은 17.1초입니다.
Fireworks Research가 Kimi K3를 바탕으로 불필요한 추론을 줄인 Ember-1을 공개했습니다. 벤치마크와 두 고객의 실제 코딩 트래픽에서 품질을 유지하면서 작업당 토큰을 약 35~50% 절감했다고 밝혔습니다. 모델 가중치 공개 여부와 비용·품질 검증 범위는 토론에서 쟁점이 됐습니다.
TypeSafe의 Jev는 자연어로 분류 기준을 지정하고 결과와 확률을 빠르게 얻는 모델입니다. 글쓴이는 LLM이 다음 토큰 확률을 활용해 이미 도구 호출 같은 분류를 수행해 왔다고 설명하며, OpenAI가 이 능력을 모델 내부에 넣어 추론 비용과 지연을 줄일 수 있다고 주장합니다. Jev의 경쟁력은 구조보다 학습 데이터와 보정 과정, 실제 정확도에 달렸다는 분석입니다.
Laya는 텍스트를 생성하지 않고 선택·점수·불리언 질문에 확률을 반환하는 4억 2,100만 파라미터 의사결정 모델입니다. 작성자는 RLCD와 bidirectional encoder를 조합해 GPU에서 33~38ms 지연 시간과 보정된 확률을 구현했다고 설명합니다.