모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
Anthropic의 내부 Claude 연구 모델이 3-SAT의 지수 시간 가설(ETH)을 반박하는 결과를 냈으며, 더 어려운 #3-SAT 계수 문제도 준지수 시간에 푸는 알고리즘을 제시합니다. Lean 4 형식화와 별도 커널 검증 절차도 공개했지만, 결과는 점근적이며 실제 문제 풀이 성능을 뜻하지 않습니다.
Sebastian Raschka가 Qwen3 0.6B를 바탕으로 추론 모델을 구현하는 8편, 총 11시간 분량의 무료 동영상 강의를 공개했습니다. 추론 시점 확장, 검증 가능한 보상을 이용한 강화학습, 증류를 PyTorch로 구현하며 MATH-500 평가를 진행합니다.
CohereLabs가 Qwen의 비정상적인 URL 생성 사례를 담은 대화 추적, 원시 토큰 ID와 재현 스크립트를 공개했습니다. 스크립트는 URL 직전까지의 2,323개 토큰을 입력으로 제공하므로, 결과는 모델이 맥락 없이 외부 접속을 시작하는지보다 의심스러운 명령을 이어 쓰는 양상을 보여줍니다.
OpenAI가 시각 추론과 컴퓨터 조작, 기술 커뮤니케이션에 초점을 둔 GPT-6.1 Terra를 출시했습니다. API 가격은 GPT-5.6 Terra보다 50% 낮으며, 공개 벤치마크에서는 컴퓨터 사용과 코딩 성능 향상, 작업 비용 절감을 내세웠습니다. 다만 Hacker News에서는 벤치마크 선택과 코딩 성능, 모델 선택 기준을 두고 의견이 갈렸습니다.
RTX 3090 한 장에서 Qwen3.8-27B를 실행하는 CUDA 엔진이 KV 캐시 저비트화와 최근 토큰 보존 효과를 측정했습니다. K 6비트, V 5비트에 최근 2,048개 위치만 8비트로 유지하면 q8_0과 비슷한 점수를 보이며, 262k 컨텍스트도 24GB GPU에 적재합니다.
TokenGate는 긴 입력에서 중요도가 낮은 토큰을 학습 방식으로 골라 프리필 계산을 줄이는 모듈입니다. 연구진은 5개 과제에서 TTFT를 1.4~11.3배 단축하고 메모리를 1.5~3.4배 줄였다고 보고했습니다. 다만 성능은 과제와 토큰 예산에 따라 다릅니다.
한 사용자가 같은 사양의 픽셀 플랫폼 게임을 Opus 단독과 Opus가 계획·검토하고 로컬 Qwen이 코드를 작성하는 방식으로 각각 만들었습니다. 혼합 방식은 비용을 약 75% 줄였지만 제작 시간이 16분에서 42분으로 늘었고 체크리스트 점수도 25개 중 24개로 낮았습니다.
논문은 self-attention 대신 Grassmann manifold의 저차원 부분공간에서 토큰 쌍을 처리하는 인과적 구조를 제안합니다. Wikitext-2에서는 비슷한 크기의 Transformer보다 검증 perplexity가 10~15% 높았고, DistilBERT의 SNLI 분류에서는 Transformer head를 소폭 앞섰습니다.
긴 컨텍스트는 정보뿐 아니라 오류와 상충하는 사례도 쌓아 모델의 판단을 흐릴 수 있습니다. 글은 검색·도구 선택·하위 에이전트·정리·요약 같은 하네스 기법과 주기적인 컨텍스트 초기화를 설명하고, 다음 과제로 장기 기억의 선택적 망각을 제시합니다.
피부 병변 200건을 대상으로 한 비교에서 피부 영상으로 미세 조정한 Inception v3가 GPT-6 Astra와 Claude Fable 5.1보다 정확한 진단을 더 자주 내렸습니다. 다만 표본이 작고 생검 확진 사례만 포함해 실제 진료 성능을 입증한 결과는 아닙니다.
Nanbeige Team이 코딩과 업무 자동화용 33B 모델 Nanbeige4.3-33B를 공개하고, 자체 평가에서 여러 에이전트 벤치마크 상위권 성적을 제시했습니다. 다만 점수는 모델 제작팀의 평가이며, Reddit에서는 성능 검증과 큰 KV 캐시 비용을 두고 의견이 갈렸습니다.
CCORE가 Qwen3.5-4B를 미세조정해 Three.js 장면 생성에 초점을 맞춘 4B 모델의 초기 버전을 공개했습니다. 아직 학습 중이며, 작성자는 완성 후 가중치와 학습 데이터를 공개하겠다고 밝혔습니다.
GVS5H는 같은 모델의 새 인스턴스들이 공유 파일의 계획과 메모를 바탕으로 협업하는 학습 없는 코딩 하네스입니다. LiveCodeBench 어려운 문제 100개에서 Qwen3.8-27B의 pass@1이 66.8%에서 92.4%로 올랐지만, 모델별로 개선 폭은 달랐고 비교 조건에도 차이가 있습니다.
Cerebras는 3조 파라미터 모델 Kimi K3를 WSE-3T 웨이퍼 59장에 나눠 올리는 구성을 설명합니다. 4비트 가중치와 256k 요청 길이를 가정하고, 모델 층을 웨이퍼별 파이프라인으로 연결해 여러 요청을 동시에 처리하는 방식입니다.
Dream Labs가 양팔 로봇용 월드 액션 모델 Dream-1을 공개 API로 출시하고 시드 투자 9,000만 달러를 유치했습니다. 새 로봇 데이터 없이 제어하는 제로샷 전이와 짧은 로봇별 미세 조정을 내세우지만, 적용 범위는 평행 그리퍼를 단 양팔 로봇이며 실제 작업 신뢰도는 별도 쟁점입니다.
Qwen3.8-Flash-Next Coder 모델을 절반의 전문가를 제거하고 3.5 BPW로 양자화해, 변환기 가중치 29.6GB만 메모리에 상주시킵니다. Reddit 작성자는 llama.cpp에서 70 T/s 프롬프트 처리와 약 8 T/s 생성을 보고했지만, 실제 GPU와 백엔드, 메모리 배치에 따라 실행 가능성과 속도가 달라집니다.
ISTA-DASLab이 DeepSeek-V4.1-Flash-1017의 가중치 민감도에 따라 텐서별 양자화 유형을 고르는 GGUF 3종을 공개했습니다. IQ2_XXS는 기준 모델과 세 벤치마크 점수가 같았고, 다만 현재 llama.cpp는 이 모델을 지원하지 않아 Strata가 필요합니다.
Meta와 워싱턴대 연구진은 토큰 모델의 출력을 바이트 단위로 옮기는 방법을 제시하고 약 10억 파라미터 모델의 학습 추세를 비교했습니다. 바이트 모델은 낮은 연산량에서 뒤처지지만 더 학습하면 앞설 것으로 예측됐습니다. 다만 우위와 데이터 절감 수치는 실측 결과가 아니라 학습 곡선 외삽에 기반합니다.
Moonshot AI가 Kimi K3.1 Pro를 공개하고 11월 4일까지 오픈 웨이트를 배포하겠다고 밝혔습니다. Artificial Analysis Intelligence Index에서 55점을 받아 4위에 올랐으며, 사이버 공격 관련 학습 데이터를 덜어낸 뒤 자체 취약점 악용 시험 점수가 90.5%에서 81.0%로 낮아졌다고 설명했습니다.
Bottlecap AI가 Google Gemma-4-26B-A4B-it을 바탕으로 추론 토큰을 줄인 ThinkingCap 모델을 공개했습니다. 12개 벤치마크에서 토큰 사용량은 평균 38.9% 감소했고 정확도는 평균 0.15%포인트 낮아졌지만, AA-LCR에서는 4.00%포인트 하락했습니다.