LLM 학습 로드맵과 Colab 노트북으로 배우는 대규모 언어 모델
Maxime Labonne의 LLM 학습 자료는 기초 지식부터 모델 학습과 평가, 실제 애플리케이션 구축과 배포까지 세 갈래로 구성됩니다. 각 주제마다 설명과 실습 노트북, 참고 자료를 모아 LLM을 직접 다루려는 개발자가 학습 경로를 정하도록 돕습니다.
AI 모델 · 최신기사
모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
ShutterHunt: 밖으로 나가 사진을 찍게 하는 퀘스트 게임
ShutterHunt는 사진 과제를 수행하고 Gemma 3n의 평가와 촬영 피드백을 받는 Android 앱입니다. 모델을 휴대전화에 내려받아 실행하므로 인터넷 연결 없이 사진을 판정합니다. 개발 과정에서 사진 방향 오류와 모델의 잘못된 JSON 출력을 해결한 경험도 소개합니다.
eBay에서 리콜 237건을 검색했더니 고유 매물 12,562개 중 리콜 식별 번호를 제목에 적은 매물은 45개뿐이었습니다
eBay에서 리콜 제품 237종을 검색한 결과, 고유 매물 12,562개 중 리콜 식별 번호를 제목에 적은 매물은 45개였습니다. 이를 바탕으로 중고 판매점 재고와 eBay 매물을 매주 점검하는 RecallDesk를 만들고, 소형 언어 모델의 분류 성능과 비용, 워크플로 복구 능력을 평가했습니다.
Indra OCR: CPU에서 초당 최대 49페이지를 처리하는 문서 OCR
Datalab이 PDF와 이미지에서 텍스트, 레이아웃, 표를 추출하는 오픈소스 OCR 도구 Indra OCR을 공개했습니다. 1M 파라미터 모델과 ONNX Runtime을 사용하며, 자체 OmniParseBench 측정에서 32코어 기준 초당 49.4페이지를 처리했습니다. 다만 손글씨와 복잡한 표, 일부 언어의 스캔 OCR은 지원이 제한됩니다.
Nemotron 3.5 Super VL — 전문 에이전트를 위한 NVIDIA 오픈 멀티모달 모델
Product Hunt 페이지는 제목에 Nemotron 3.5 Super VL을 내걸었지만 본문에서는 Nemotron 3.5 Bolt 24GB를 소개합니다. NVIDIA는 24GB 메모리에서 로컬 에이전트 작업을 실행하도록 모델을 압축했으며 RTX Spark에서 초당 84토큰을 기록했다고 밝혔습니다.
로컬 LLM의 속도와 메모리, 모델 크기만으로 정해지지 않는다
35B급 모델을 3GiB 미만의 활성 메모리로 구동한다는 사례부터 PS5에서 GPU로 27B 모델을 돌린 사례까지, 실행 방식과 측정 조건이 서로 다릅니다. 공개된 수치를 나란히 보되 직접적인 성능 순위로 읽기 어려운 이유를 살펴봅니다.
AI 벤치마크 점수와 실제 업무 사이, 무엇을 재고 무엇을 놓칠까
벤치마크가 직업별 업무를 얼마나 포괄하는지, 안전한 판단과 실행을 함께 재는지, 장시간 과제와 상호작용 속 적응을 평가하는지 살펴봅니다. 네 자료는 서로 다른 빈틈을 드러내지만, 어느 하나도 점수만으로 실제 직무 수행 능력을 확정하지는 못합니다.
몬테카를로 시뮬레이션
몬테카를로 시뮬레이션은 무작위 표본과 큰 수의 법칙을 활용해 적분, 조합 문제, 은퇴 자금의 불확실성을 추정합니다. 글은 원주율 추정과 SET 카드 조합 사례를 거쳐 평균 수익률만 적용한 은퇴 계산이 실제 위험을 가릴 수 있음을 보여줍니다.
Show HN: Gemini 4 Argon이 스타크래프트를 플레이합니다
StarSkirmish Bench v0.2는 LLM이 한 시간 동안 C++로 작성한 StarCraft: Brood War 봇의 성능을 비교합니다. GPT-6 Astra가 1위, GPT-6.1 Sol이 2위이며 Gemini 4 Argon을 포함한 세 모델은 37~39점으로 비슷한 결과를 냈습니다. 다만 최고 모델도 상위 인간 제작 봇을 상대로 승률이 7%에 그쳤습니다.
NVIDIA, 반복 연산형 4B 언어 모델 Dory 공개
NVIDIA의 Dory1.0-4B는 공유된 20개 레이어 블록을 반복 적용해 토큰당 연산량을 조절하는 4B 모델입니다. 반복 횟수에 따라 정확도와 추론 비용을 바꾸며, 벤치마크에서는 2회 반복이 여러 작업에서 1회보다 높은 점수를 냈습니다. 마지막 반복의 KV 캐시만 남기는 방식도 제공합니다.
Ultramarine 1 Flash, 전문 지식 업무용 오픈 모델
Paper Instruments가 오픈 모델 Ultramarine 1 Flash를 공개했습니다. GLM-5.3 Flash를 기반으로 대규모 강화학습을 적용했으며, 자체 지식 업무 벤치마크에서 작업당 0.13달러로 Claude Fable 5 Max와 GPT-5.6 Sol Max보다 높은 점수를 기록했다고 밝혔습니다.
DeepSeek-V4.1-Flash-1017 공개: 추론·코딩·에이전트 벤치마크 개선
DeepSeek-V4.1-Flash-1017은 기존 Flash 모델을 소폭 갱신한 모델로, 추론과 코딩, 에이전트 작업, 비전 벤치마크 점수를 높였다고 공개했습니다. 실행 시간과 출력 길이도 줄였다고 밝혔으며, 로컬 추론을 위한 안내와 프롬프트 처리 도구를 함께 제공합니다.
기억의 관점에서 트랜스포머를 유도할 수 있습니다
선형층, MLP, self-attention을 키-값 기억 저장소로 해석하고, 기억을 불러올 때 생기는 간섭을 기준으로 저장 용량을 비교합니다. 키 차원이 64일 때 추정 용량은 단순 선형 저장소의 약 64개에서 제곱 ReLU MLP의 약 2,700개, self-attention의 약 120만 개로 늘어납니다.
Tencent Hy-Memory-30B-A3B: 장기 기억 기록을 위한 전용 모델
Tencent Hunyuan이 외부 메모리 시스템에서 정보를 골라 저장하고 갱신하도록 만든 Hy-Memory-30B-A3B를 공개했습니다. 3B 활성 파라미터를 쓰는 MoE 모델로, 고정된 20% 벤치마크 표본에서 네 가지 메모리 프레임워크 평균 점수가 비교 대상 중 가장 높았습니다.
MOSS-Image-SFT: 텍스트와 배치를 제어하는 이미지 생성 모델
OpenMOSS가 MOSS-Image-Base를 지도 미세조정한 텍스트-이미지 모델 MOSS-Image-SFT를 공개했습니다. 자연어 프롬프트와 태그, JSON 레이아웃으로 이미지 속 글자와 객체 배치를 지정하며, 모델 가중치와 추론 코드는 Apache 2.0 라이선스로 배포합니다.
MOSS-Image-Base: 텍스트와 JSON 레이아웃으로 이미지 생성하기
OpenMOSS의 MOSS-Image 계열 기본 텍스트-이미지 모델로, 자연어 프롬프트와 태그 시퀀스, JSON 레이아웃을 지원합니다. Python과 CUDA 환경에서 Diffusers 파이프라인으로 실행하며, 모델 가중치와 추론 코드는 Apache License 2.0으로 공개했습니다.
탈옥한 PS5에서 로컬 AI 모델 구동 — 작은 모델은 초당 124토큰
탈옥한 PS5에서 llama.cpp를 네이티브로 실행하고 GPU와 최대 11.4GiB 메모리를 활용하는 포크가 공개됐습니다. 3B 모델은 초당 124토큰, 27B 모델은 초당 20토큰을 기록했으며, 속도와 모델 크기는 서로 다릅니다.
NVIDIA Qwen3.8-Flash-Next FP4 로컬 모델
NVIDIA가 Alibaba Qwen3.8-Flash-Next를 FP4로 양자화한 로컬 배포용 체크포인트를 공개했습니다. 파일 크기는 약 96GiB이며, 검증된 실행 환경은 NVIDIA Blackwell GPU와 특정 커뮤니티 vLLM 컨테이너입니다. GPQA Diamond 정확도는 BF16 기준 92.2%에서 FP4 기준 91.5%로, ToolEvalBench는 89.4%에서 88.7%로 낮아졌습니다.
미국 노동시간의 90%는 AI 벤치마크가 충분히 다루지 않는 업무에 쓰입니다
Mercor는 29개 AI 벤치마크를 미국 노동부 O*NET의 923개 직업, 18,797개 업무와 연결해 경제 전반의 평가 공백을 분석했습니다. 추정상 미국 노동시간의 90%는 기존 벤치마크가 거의 다루지 않으며, 연구진은 이 결과가 초기 벤치마크 목록에 따른 잠정치라고 밝혔습니다.
NVIDIA Nemotron 3.5 Super VL 공개: 120B 모델과 MTP 추론 가속
NVIDIA가 총 1,200억 개, 활성 120억 개 파라미터를 쓰는 멀티모달 모델 Nemotron 3.5 Super VL을 공개했습니다. Mamba-2와 Transformer를 결합하고 최대 100만 토큰 문맥과 이미지·동영상 입력을 지원합니다. NVIDIA가 공개한 벤치마크에서는 강점과 약점이 과제별로 갈립니다.