mistralai/Timestral-209M
Timestral-209M: 시계열 예측 기반 모델
Mistral AI가 시계열을 학습한 2억 900만 파라미터 모델 Timestral-209M을 공개했습니다. 과거 최대 32,768개 시점으로 최대 1,024개 시점을 한 번에 예측하며, 세 벤치마크에서 모델 카드에 나열된 비교 모델보다 좋은 점수를 기록했습니다.
- 주제
에디터 노트
표에 제시된 벤치마크에서는 Timestral-209M이 세 평가에서 모두 앞서지만, 그 차이가 모든 데이터와 예측 조건에서도 유지된다는 근거까지 제공하지는 않습니다. GIFT-Eval의 MASE는 t0-gamma보다 0.003 낮고, TIME에서는 0.011 낮습니다. fev-bench에서는 두 skill score 모두 비교 모델 중 가장 높습니다. 이 수치들은 비교 대상과 평가 지표가 명시된 범위에서 성능을 판단하는 근거입니다. 입력 길이와 예측 방식도 사용 조건을 구체적으로 보여줍니다. 1,024시점을 넘겨 예측하면 각 블록의 중앙값을 다음 문맥에 붙이므로, 긴 구간 예측은 한 번의 forward pass 결과와 처리 방식이 다릅니다. 모델 카드는 기술 보고서가 곧 공개될 예정이라고만 밝힙니다. 현재 제시된 표만으로는 벤치마크 구성과 재현 조건을 세부적으로 확인하기 어렵습니다.
AI 요약
Timestral은 zero-shot 시계열 예측을 위한 foundation model 계열입니다. 5M, 28M, 123M, 209M 파라미터 버전 가운데 이 저장소는 209M 체크포인트를 제공합니다. Mistral AI는 실행 코드와 벤치마크 재현을 위한 코드를 GitHub 저장소에 공개했습니다.
모델 구조와 입력
Timestral-209M은 24개 레이어와 임베딩 차원 768을 사용하는 patch-based transformer입니다. 시계열을 32개 시점씩 패치로 나누고, 각 패치의 값과 결측값 표시를 함께 임베딩합니다. 모델은 시간 축과 변량 축에 각각 attention을 적용합니다. 과거 입력은 최대 32,768개 시점, 즉 1,024개 패치까지 받습니다.
단변량과 다변량 예측을 지원하며, 과거에만 알려진 covariate와 미래 값까지 알려진 covariate를 입력할 수 있습니다. covariate는 숫자형이나 범주형으로 지정합니다. 범주형 covariate는 target encoding을 사용하고, 결측값은 NaN으로 표시합니다. 출력은 0.01부터 0.99까지 21개 quantile로 구성해 확률 예측을 제공합니다.
한 번의 forward pass로 최대 1,024개 시점을 예측합니다. 더 긴 예측 구간은 블록 단위로 처리합니다. 각 블록에서 중앙값 예측을 구한 뒤 이를 다음 블록의 입력 문맥에 덧붙입니다. 추론은 PyTorch를 사용하며 CPU와 GPU에서 실행할 수 있습니다.
벤치마크 결과
모델 카드에 따르면 Timestral-209M은 GIFT-Eval, TIME, fev-bench에서 비교 대상으로 제시한 모델보다 좋은 점수를 기록했습니다. GIFT-Eval에서 MASE는 0.658, CRPS는 0.446입니다. TIME에서는 MASE 0.626, CRPS 0.522를 기록했습니다. 두 지표는 낮을수록 좋습니다. fev-bench에서는 SQL skill score 50.39, MASE skill score 39.49를 기록했으며 두 점수는 높을수록 좋습니다.
GIFT-Eval과 TIME의 MASE, CRPS 점수는 표에 있는 비교 모델 중 t0-gamma의 수치와 근접합니다. 예를 들어 GIFT-Eval MASE는 Timestral-209M이 0.658, t0-gamma가 0.661입니다. fev-bench의 두 점수는 표에 제시된 비교 모델 가운데 Timestral-209M이 가장 높습니다. Timestral 계열 내에서는 모델 크기가 커질수록 표의 세 벤치마크 점수가 개선되는 양상을 보입니다. 다만 123M과 209M의 GIFT-Eval MASE는 각각 0.659와 0.658입니다.
설치와 라이선스
Python 3.10 이상, PyTorch 2.4 이상 환경에서 GitHub 저장소를 설치해 실행합니다. 예제 코드는 사전 학습 모델을 불러와 길이 1,000의 합성 시계열에서 96개 시점을 예측하고, 중앙값과 10·90 quantile을 조회합니다. 모델은 Modified MIT license로 공개됐으며, 제3자의 권리를 침해하는 방식으로 사용하지 말라는 조건이 명시돼 있습니다. 기술 보고서는 아직 공개되지 않았습니다.
원문: Hugging Face / 번역·요약: Trawling