Aurora1.0-150M 공개 — RTX Pro 6000 한 장으로 11시간 만에 학습한 150M 소형 언어 모델

본문

AuroraAI-Research가 약 150M 파라미터 규모의 소형 언어 모델 Aurora1.0-150M을 Hugging Face를 통해 공개했습니다. 대규모 인프라 없이도 의미 있는 모델을 만들 수 있다는 것을 보여주는 사례로, 단일 RTX Pro 6000 워크스테이션 GPU에서 약 11시간 동안 70억(7B) 토큰을 사전학습한 결과물입니다. 개발팀은 이 모델이 대부분의 벤치마크에서 GPT2-Small과 동등하거나 약간 앞서는 성능을 보인다고 밝혔습니다.

아키텍처

공개된 사양에 따르면 컨텍스트 길이는 1024이며, Factorized & Tied Embeddings 구조에 어휘 크기(Vocabulary Size) 32768, 임베딩 랭크(Embedding Rank) 384를 사용합니다. 어텐션은 10개의 Query 헤드와 5개의 Key/Value 헤드로 구성된 2:1 비율의 GQA(Grouped-Query Attention)이고, 헤드 차원은 64입니다. 위치 인코딩은 RoPE(θ=10000)를 적용했고 QK-Norm을 사용했습니다. 총 30개의 동일한 Transformer 레이어로 구성되며 Hidden Size는 640, Intermediate Size는 1728, 활성화 함수로는 SwiGLU를 채택했습니다. 전체적으로 최근 소형 모델 설계에서 널리 쓰이는 현대적인 구성 요소들을 작은 규모에 압축해 담은 형태입니다.

벤치마크 결과

공개된 수치를 보면 piqa에서 acc 0.6273 / acc_norm 0.6224, hellaswag에서 0.2922 / 0.3220, arc_easy에서 0.4987 / 0.4491, arc_challenge에서 0.2099 / 0.2500, arithmark_3.0에서 0.3390을 기록했습니다. OpenSLM-Leaderboard 기준 Int Index는 15.09입니다. 이 정도 규모와 짧은 학습 시간을 고려하면 준수한 결과이지만, 일부 지표에서는 여전히 한계가 뚜렷합니다. 특히 arc_challenge의 정규화 정확도 0.25는 사지선다형 문제에서 무작위 선택과 같은 수준이라는 점이 커뮤니티에서 지적되기도 했습니다.

학습과 사용법

학습에는 Muon과 AdamW 옵티마이저를 함께 사용했습니다. Muon은 최근 소형·중형 모델 학습 커뮤니티에서 주목받는 옵티마이저로, 이 규모의 실험에 적용된 점이 흥미롭습니다. 추론은 저장소에 포함된 Inference.py 스크립트로 수행할 수 있으며, 예시로 'inference.py --Prompt "The capital of Denmark is" --temperature 0.1 --max_new_tokens 32' 명령이 제공됩니다. 예시 출력은 덴마크의 수도가 코펜하겐이며 인구 약 150만의 도시라는 문장을 생성하는 등 기본적인 사실 회답이 가능한 수준입니다. 지난달 다운로드 수는 552회로 집계됐습니다.

시사점

이 릴리스는 초소형 모델이 개인 개발자나 소규모 연구 환경에서도 충분히 실험 가능한 수준에 도달했음을 보여줍니다. 단일 소비자급·워크스테이션급 GPU와 하루 이내의 학습 시간으로 GPT-2급 모델을 재현할 수 있다는 점에서, 사전학습 파이프라인을 직접 다뤄보고 싶은 개발자에게 유용한 참고 사례가 됩니다. 커뮤니티에서는 학습 코드와 데이터 준비 과정의 추가 공개를 요청하는 목소리도 나오고 있습니다.

Reddit 반응

• @MomentJolly3535 — 공유에 감사하며, 이런 종류의 모델이 어떤 용도에 적합한지 질문했습니다.
• @Brief_Grade3634 — ARC-Challenge 25%는 사지선다 구조상 무작위 선택 확률과 정확히 같다고 지적했습니다.
• @EuphoricPenguin22 — 1.7B 모델은 위험할 수 있으니 1년간 보류해야 한다며, 대형 모델 공개에 대한 안전 우려 담론을 풍자했습니다.
• @MatlowAI — 지저분하더라도 학습 코드, 데이터 준비 과정, 설정 파일을 공개하면 커뮤니티가 도움을 줄 수 있을 것이라고 제안했습니다.
• @jacek2023 — 자신은 책상 아래 서버에서 돌아가는 Qwen3 27B 같은 큰 모델이 데스크톱 리눅스의 소형 모델들에게 작업을 시키는 구조로 쓰고 있으며, 소형 모델의 활용처가 있다고 사례를 공유했습니다.

원문: Hugging Face / 번역·요약: Trawling