AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
Simon Willison은 11월 3일 노트북에서 Qwen 3.8 27B로 네 게임용 소형 신경망의 가중치 판독 프롬프트를 시험했습니다. Qwen은 Pac-Man, Pong, Breakout을 맞혔지만 Freeway는 Pac-Man 유사 게임으로 잘못 판단했습니다. 도구 없이 한 차례씩 답한 개인 실험으로, 앞서 소개된 가중치 수정 실험과는 다른 결과입니다.
scime atlas가 ICML, NeurIPS, ICLR, CVPR, AAAI가 2016~2026년 받아들인 논문 108,967편을 20개 분야와 111개 주제로 묶은 연구 지도를 공개했습니다. 주제 페이지에서 연도별 논문 수와 비중 변화, 접근법, 많이 인용된 논문을 살펴볼 수 있습니다. 집계 범위는 이 다섯 학회의 논문입니다.
MIT CSAIL 소속 연구자 네 명은 GPT-6 Astra가 Qwen3.5-0.8B의 반복 추론 원인을 찾아 가중치 0.016%를 수정한 실험을 공개했습니다. 50회 정방향 실행을 허용한 편집 모델의 MATH-500 점수는 7.9%에서 48.1%로 올랐습니다. 반복이 드문 Gemma에서는 수학 점수의 확립된 개선을 확인하지 못해, 이번 결과는 새 수학 지식 주입보다 기존 풀이를 막던 반복의 제거를 보여줍니다.
개인 개발자 아드빅 디베카르가 임무를 마친 OPS-SAT 위성의 기록을 분석하는 오픈소스 도구 ‘The Last Satellite’를 공개했습니다. 이상 가능성을 매기는 모델과 문서 정보를 추출하는 모델을 결합해, 조사 카드에서 측정값과 인용 근거를 함께 보여줍니다.
Google Research가 새 정보를 장기 파라미터에 통합하면서 기존 능력의 망각을 줄이는 LLM 학습 프레임워크를 제안했습니다. 사전 할당한 MoE 메모리 블록을 오프라인에서 갱신하며, 번역·장문 맥락·사실 학습·수학 추론 실험에서 기준 모델보다 나은 결과를 보고했습니다.
Sebastian Raschka가 Qwen3 0.6B를 바탕으로 추론 모델을 구현하는 8편, 총 11시간 분량의 무료 동영상 강의를 공개했습니다. 추론 시점 확장, 검증 가능한 보상을 이용한 강화학습, 증류를 PyTorch로 구현하며 MATH-500 평가를 진행합니다.
논문은 self-attention 대신 Grassmann manifold의 저차원 부분공간에서 토큰 쌍을 처리하는 인과적 구조를 제안합니다. Wikitext-2에서는 비슷한 크기의 Transformer보다 검증 perplexity가 10~15% 높았고, DistilBERT의 SNLI 분류에서는 Transformer head를 소폭 앞섰습니다.
피부 병변 200건을 대상으로 한 비교에서 피부 영상으로 미세 조정한 Inception v3가 GPT-6 Astra와 Claude Fable 5.1보다 정확한 진단을 더 자주 내렸습니다. 다만 표본이 작고 생검 확진 사례만 포함해 실제 진료 성능을 입증한 결과는 아닙니다.
Linux 커널 모듈로 RTX 3000 일부 카드의 FP/BF16 FMA 명령 발행률 제한을 우회합니다. 보고된 카드에서는 BF16 GEMM 성능이 25~80% 높아졌지만, 전력 한도와 작업 특성에 따라 차이가 크며 메모리 대역폭이 병목인 작업은 개선 폭이 작습니다.
Kromoss는 MOSS-Image-Base를 1024px 해상도로 전체 파인튜닝한 이미지 생성 모델입니다. 50단계 생성용 모델과 함께 8단계 Turbo LoRA 두 종류, ComfyUI용 BF16·INT8 모델 파일을 제공하며, Apache License 2.0으로 공개했습니다.
Mistral AI가 시계열을 학습한 2억 900만 파라미터 모델 Timestral-209M을 공개했습니다. 과거 최대 32,768개 시점으로 최대 1,024개 시점을 한 번에 예측하며, 세 벤치마크에서 모델 카드에 나열된 비교 모델보다 좋은 점수를 기록했습니다.
개발자는 Tinker로 Qwen3-8B를 미세 조정해 입력 프롬프트의 복잡도를 5단계로 분류하는 모델을 만들었습니다. 평가 데이터 50개에서 기본 모델은 50%, 학습 예시 2,500개를 쓴 모델은 76%를 기록했지만, 예시 50개로 학습한 모델의 86%보다 낮았습니다. 작은 평가셋과 AI 생성 데이터의 라벨 일관성이 결과 해석을 제한합니다.
Goodfire의 Nick Cammarata는 신경망의 다의적 뉴런이 서로 무관한 개념을 임의로 섞은 결과라는 해석에 의문을 제기합니다. 대표 사례가 잘못 해석됐으며, 뉴런은 대체로 관련 개념을 계층적으로 일반화한다는 주장입니다. 다만 이 관찰이 대형 언어 모델의 행동과 안전 문제까지 설명하는지는 별도 검증이 필요합니다.
연구진은 모델 가중치 안에 암호화된 신경망을 숨기고 비밀 트리거가 들어오면 복호화해 실행하는 백도어를 구현했습니다. 가중치에 접근해도 숨은 기능을 찾아내기 어렵다는 암호학적 보장과 소규모 실험을 제시하며, 기능 유도에 의존하는 안전성 평가의 한계를 보입니다.
미국 국립공원관리청(NPS)의 경보 627건을 대형 모델로 분류한 뒤, 그 결과를 바탕으로 Qwen3.5-4B를 LoRA 미세조정했습니다. 보류 데이터 126건에서 정확도는 64.3%에서 74.6%로 올랐고, 하이킹을 막아야 할 경보는 33건 중 28건을 찾아냈습니다. 전체 학습 비용은 1.60달러지만, 라벨 오류와 오탐 가능성도 함께 공개했습니다.
고정된 선택지 중 하나를 고르는 의사결정 모델을 일반 LLM의 다음 토큰 확률로 구현하고, CommonsenseQA에서 성능과 확률 보정을 평가합니다. Qwen3-1.7B 모델의 기본 정확도는 59.38%였으며, temperature scaling으로 과도한 확신을 줄이는 방법도 소개합니다.
여러 출처에서 모은 이미지로 음식 탐지 모델을 학습하고, 휴대전화에서 오프라인으로 실행하는 과정을 소개합니다. 클래스 이름과 ID를 통일하고 이미지 품질·중복을 정리한 결과, 실제 학습에는 약 2만 장을 사용했으며 데이터 정리와 검증 설계에서 발견한 문제도 공유합니다.
Dust는 가중치 대신 토큰별 활성값에 잡음을 넣고 손실 변화를 보상으로 삼아 기울기를 추정하는 제로차 최적화 방법입니다. 작은 규모 실험에서 역전파와 비슷한 성능을 보였고, 큰 모델이 더 적은 모집단 표본으로도 잘 학습되는 결과를 얻었습니다. 다만 현재는 역전파보다 계산 비용이 훨씬 큽니다.
Broke Date는 학생의 은행 명세서를 노트북 안에서 분석해 월말까지의 지출을 500가지 시나리오로 예측하는 오프라인 앱입니다. 합성 데이터 평가에서 돈이 바닥난 달 5번 중 4번을 사전에 경고했지만, 평가 규모가 작고 중간 확률을 과소평가하는 한계도 확인했습니다.
얀 르쿤은 AI의 인류 멸종 위험을 걱정하지 않으며, 최근 자율 에이전트 사고도 허술한 감독과 샌드박스 설계 탓이라고 말합니다. 그는 AI 위험 경고가 규제 포획으로 이어질 수 있다고 비판하는 한편, 새 회사 AMI Labs에서 JEPA 기반 월드 모델을 산업용으로 개발하고 있습니다.