Sebastian Raschka's from-scratch video course on building reasoning models
Sebastian Raschka의 추론 모델 밑바닥부터 만들기 동영상 강의
Sebastian Raschka가 Qwen3 0.6B를 바탕으로 추론 모델을 구현하는 8편, 총 11시간 분량의 무료 동영상 강의를 공개했습니다. 추론 시점 확장, 검증 가능한 보상을 이용한 강화학습, 증류를 PyTorch로 구현하며 MATH-500 평가를 진행합니다.
- 주제
에디터 노트
이 강의의 범위는 대규모 모델을 처음부터 훈련하는 법이 아니라, 사전 학습된 Qwen3 0.6B에 평가와 후속 학습 기법을 적용해 보는 과정입니다. 따라서 모델 훈련에 필요한 대규모 연산 자원을 다루는 실무 지침이라기보다, 추론 시점 기법과 단순화한 GRPO가 코드와 평가 절차에서 어떻게 맞물리는지 익히는 자료로 보는 편이 정확합니다. 댓글에서 제기된 학습의 실용성 논쟁에는 두 층위가 섞여 있습니다. 작은 모델을 직접 다루는 일은 원리를 배우는 데 의미가 있다는 반응이 있고, 교육용 구현만으로 실제 제품이나 전문 업무에 기여하기 어렵다는 의문도 나옵니다. 강의는 CPU로 가능한 예제와 GPU가 유용한 학습 실험을 구분하지만, 실제 적용 경로나 성능 개선 수치는 제시하지 않습니다. 또 추론 모델을 RLVR로 정의하는 설명에 대한 댓글의 질문은 강의의 모델 구분만으로 답이 정리되지 않습니다. 독자는 구현 과정의 학습 가치와 현업 적용 가능성을 별도로 판단하게 됩니다.
AI 요약
추론 모델을 구성하는 방법을 코드로 익히도록 Sebastian Raschka가 8편, 총 11시간 분량의 동영상 강의를 공개했습니다. 사전 학습된 Qwen3 0.6B를 출발점으로 삼아 평가와 추론 시점 확장, 강화학습, 증류를 Python과 PyTorch로 직접 구현합니다. 앞선 LLM 강의 수강은 필수가 아니며, Python과 PyTorch 기초 지식을 권합니다.
모델과 에이전트의 관계
Raschka는 일반 LLM을 추론 모델로 발전시키는 과정에 검증 가능한 보상을 이용한 강화학습(Reinforcement Learning with Verifiable Rewards, RLVR)과 추론 시점 확장(inference-time scaling)을 듭니다. 모델은 에이전트 시스템의 엔진이며, 에이전트 하네스(agent harness)는 문맥 관리와 도구 사용을 맡는 소프트웨어 계층이라고 설명합니다. 에이전트는 일반 LLM과 추론 모델 모두를 사용할 수 있지만, 더 어려운 과제에는 추론 모델을 주로 쓴다는 설명입니다.
8개 강의의 구성
첫 강의에서 Python, PyTorch, uv 설치와 하드웨어 설정을 다룹니다. 이어 Qwen3 가중치를 불러와 토큰화와 텍스트 생성을 구현하고, KV 캐시와 torch.compile을 적용합니다. 세 번째 강의에서는 답 추출, 정규화, 수학적 동치 확인을 거치는 검증기를 만들고 MATH-500으로 기본 모델을 평가합니다. 이 검증기는 뒤의 RLVR 강의에서 보상 신호로도 쓰입니다.
네 번째와 다섯 번째 강의는 모델 가중치를 고정한 채 성능을 높이는 방법을 다룹니다. 온도 조절, 다항 샘플링, top-p 필터링으로 답 후보를 만들고 최종 답 다수결로 자기 일관성(self-consistency)을 적용합니다. 추가 추론 비용과 정확도의 관계도 평가합니다. 이어 휴리스틱 점수와 토큰·시퀀스 로그 확률로 답을 비교하고, 모델이 답을 비판한 뒤 고치는 자기 개선(self-refinement) 절차를 구현합니다.
여섯 번째와 일곱 번째 강의에서는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)의 단순화된 구현을 학습합니다. 여러 답변을 생성하고 검증기로 점수를 매겨 상대적 보상과 정책 업데이트에 사용합니다. 다음 강의에서는 엔트로피와 어드밴티지 통계, 정책 비율 클리핑, KL 손실 항, 형식 보상을 추가하고 학습 로그와 MATH-500 평가를 살핍니다. 글은 단순화한 KL 공식의 한계와 보상 해킹도 강의 주제로 제시합니다.
마지막 강의는 더 큰 교사 모델이 만든 답을 이용해 작은 모델을 학습하는 증류(distillation)입니다. 소프트·하드 증류와 온·오프 정책 증류를 비교하고, DeepSeek R1으로 MATH 데이터 답변을 모아 학습·검증·시험 데이터를 준비합니다. 지도 학습으로 모델을 학습한 뒤 MATH-500 결과를 비교합니다. 글에는 구체적인 평가 점수나 강의에서 얻은 성능 향상 수치가 제시되지 않았습니다.
초기 텍스트 생성과 평가 예제는 CPU에서도 실행할 수 있고, 뒤쪽 학습 실험은 GPU가 있으면 실용적이라고 안내합니다. 동영상은 무료로 볼 수 있으며, 더 자세한 설명과 연습문제를 원하는 독자를 위해 동반 도서 Build a Reasoning Model (From Scratch)도 소개합니다.
Hacker News 반응
- @kavalg — 강력히 추천합니다. Sebastian은 복잡한 AI 주제를 직관적으로 잘 설명합니다.
- @artninja1988 — Karpathy 2.0이네요!
- @tomrod — 오히려 반대입니다. Raschka는 10년 넘게 이 일을 해왔습니다.
- @krosaen — 두 사람은 동시대 인물입니다. CS231n과 Sebastian의 첫 ML 책이 모두 2015년에 나왔고, 둘 다 훌륭합니다.
- @hypfer — 이 자료가 누구를 위한 것인지 잘 모르겠습니다. 기술이 어떻게 작동하는지 배우려는 목적은 빼고요. 실제로 자기 모델을 만들고 비용을 감당하려는 사람에게 동영상 강의만으로는 부족합니다. 그렇지 않다면 이런 방식이 관심 있는 내용을 전달하는 최선인지도 의문입니다. 개인 브랜드를 수익화하는 전략일 가능성이 더 커 보입니다.
- @CamperBob2 — 강의만으로 공학 학위를 얻을 수 없다는 말과 같습니다. 숙제와 프로젝트도 해야 하지만, 그렇다고 강의가 쓸모없다는 뜻은 아닙니다.
- @LoadbearingGun — 배우는 걸 좋아하는 사람을 위한 자료입니다.
- @zaphar — 다른 사람의 동기나 성격을 멋대로 추측하면 이해에 도움이 되지 않습니다. 작은 규모로 직접 만들어 보며 작동 원리를 배우는 사람도 있습니다.
- @danielmarkbruce — Raschka의 첫 책으로 LLM을 배웠고, 모델을 직접 학습하는 업무에서도 다른 어떤 자료보다 많은 것을 배웠습니다. 시작점이 필요합니다.
- @torben-friis — ML을 배우면 이론은 수학 학위 수준의 몰입을 요구하고, 실제 적용은 개인이 감당하기 어려운 연산량과 데이터가 필요한 것처럼 느껴집니다. 집에서 의미 있는 결과를 만들며 배울 방법이 있을까요?
- @kadoban — 작은 모델을 자신의 데이터나 선호에 맞춰 후속 학습하는 방법이 있습니다. LoRA를 찾아보세요. 이 강의 전부를 알아야만 할 수 있는 일은 아니겠지만, 배경 지식으로 도움이 될 수 있습니다.
- @throwaway219450 — 이미지 분류기나 검출기처럼 지도학습 모델을 직접 훈련해 볼 수 있습니다. LLM이 합성곱 모델을 대체한 것도 아니며, ResNet50을 좋은 데이터셋으로 미세 조정하면 여전히 쓸 만합니다.
- @fantispug — 큰 기초 모델을 처음부터 학습할 때만 연산 자원이 큰 문제가 됩니다. 작은 모델은 일반 GPU로 미세 조정할 수 있고, 온라인 데이터셋이나 직접 만든 데이터로 취미 프로젝트를 해볼 수 있습니다.
- @ramity — 신경망의 수학을 NumPy 같은 도구로 직접 구현하기 전에는 라이브러리가 세부 동작을 감춘다고 느끼기 쉽습니다.
- @flakiness — 책이나 강의를 따라가려면 클라우드 GPU가 필요한가요? LLM을 공부할 PC를 마련하려는데 어느 정도 사양이 필요한지 감이 없습니다.
- @libraryofbabel — Qwen3 0.6B를 실행하면 되므로 최근 MacBook이나 게이밍 GPU가 있는 PC로 충분합니다. CPU에서도 실행할 수 있지만 훨씬 느립니다. 추론과 평가는 CPU에서도 잘 돌아가고, 학습 실험은 GPU가 있으면 편리합니다.
- @thrw045 — 추론 모델을 RLVR로 후속 학습한 모델이라고 정의하는 게 맞나요? OpenAI o1이 처음 나왔을 때의 특징은 여러 추론 경로를 시도하고 더 나은 답을 고르는 것이었고, RLVR이나 에이전트는 나중에 더해진 것 아닌가요?
원문: Ahead of AI / 번역·요약: Trawling