tencent/Hy-Memory-30B-A3B · Hugging Face
Tencent Hy-Memory-30B-A3B: 장기 기억 기록을 위한 전용 모델
Tencent Hunyuan이 외부 메모리 시스템에서 정보를 골라 저장하고 갱신하도록 만든 Hy-Memory-30B-A3B를 공개했습니다. 3B 활성 파라미터를 쓰는 MoE 모델로, 고정된 20% 벤치마크 표본에서 네 가지 메모리 프레임워크 평균 점수가 비교 대상 중 가장 높았습니다.
- 주제
에디터 노트
네 가지 하네스의 동일 가중 평균에서 1위라는 결과는 메모리 기록 전용 모델이 일반 목적 모델과 경쟁할 가능성을 보여줍니다. 특히 학습에서 제외한 EverMemOS에서도 가장 높은 하네스 평균을 기록했습니다. 다만 평가는 고정된 20% 표본에 한정됐고, 세부 지표마다 Claude Opus 5나 DeepSeek V4.1 Flash가 앞선 항목도 있습니다. 따라서 표의 우위는 제시된 설정과 평균 방식 안에서 읽어야 합니다. Reddit에서는 메모리 기록과 압축에 맞춘 역할 분담을 반기는 의견과 30B 전체 가중치, 긴 문맥의 메모리 사용량을 걱정하는 의견이 나왔습니다. MoE가 VRAM 요구량을 낮추는 방식에 관한 댓글도 서로 다른 설명을 내놓습니다. 모델 카드의 약 3B 활성 파라미터만으로 실제 배포 메모리 요구량을 판단할 수는 없습니다. 보고서에는 하드웨어별 메모리 사용량이나 추론 속도 비교가 제시되지 않았으므로, 공개된 벤치마크 성적과 로컬 실행 비용은 별개의 질문으로 남습니다.
AI 요약
Hy-Memory-30B-A3B는 대화나 작업 기록에서 장기적으로 남길 정보를 골라 메모리 뱅크에 기록하는 모델입니다. Tencent Hunyuan은 일반 목적 LLM 대신 이 모델을 Mem0, MemOS, Hy-Memory 같은 외부 메모리 프레임워크의 기록 단계에 넣도록 설계했습니다. 모델 규모는 30B이며 한 번에 활성화되는 파라미터는 약 3B입니다. 정보를 얼마나 남길지, 어떤 형태로 기록할지, 새 근거가 들어오면 기존 기록을 어떻게 바꿀지 처리합니다. 학습은 Memory On-Policy Distillation(OPD)과 Attributed Memory Reinforcement Learning 두 단계로 진행했습니다.
학습과 평가 방식
OPD는 모델이 직접 작성한 상태 기록에 교사 모델의 촘촘한 감독 신호를 제공합니다. 이어지는 강화학습 단계에서는 생성한 메모리 뱅크를 평가하고 청크 단위로 점수를 배정합니다. 점수에 따라 다음 구간에서 이어갈 뱅크를 고릅니다. 보고서 설명에 따르면 이 과정은 실제 배포 환경과 같은 하네스 설정 안에서 진행됩니다. 학습에 포함하지 않은 EverMemOS에서도 성능을 평가했습니다.
평가에서는 메모리 기록 모델만 바꿨습니다. 하네스 버전과 프롬프트, 검색 설정, 답변 모델, 평가 모델은 비교군 사이에서 고정했습니다. 각 기록 모델은 빈 상태에서 자체 메모리 뱅크를 만들고 같은 시험 예제와 점수 규칙을 사용했습니다. 계산량을 줄이기 위해 네 가지 하네스의 벤치마크는 고정된 20% 표본으로 평가했습니다. 하네스별 점수는 LoCoMo Judge, LongMemEval, PersonaMem-v2, Travel SPS, Shopping PS, Code Memory Bench 등 여섯 지표의 동일 가중 평균입니다. Code Memory Bench는 두 가지 저장소 질의응답 평가의 평균이며, 종합 점수는 하네스 네 곳의 점수를 동일하게 평균했습니다.
결과와 실행
Hy-Memory-30B-A3B의 종합 평균은 55.49점으로 Claude Opus 5의 54.62점, DeepSeek V4.1 Flash의 53.64점보다 높았습니다. 하네스별로는 Mem0에서 54.02점, Hy-Memory에서 60.55점, MemOS에서 50.51점, 학습에서 제외한 EverMemOS에서 56.89점을 기록했습니다. 다만 세부 지표에서는 우위가 일정하지 않습니다. 예를 들어 Mem0의 LoCoMo 점수는 Claude Opus 5가 69.47점으로 Hy-Memory의 59.54점보다 높고, EverMemOS의 LongMemEval도 DeepSeek V4.1 Flash가 82.83점으로 Hy-Memory의 76.00점보다 높습니다.
모델 카드는 vLLM 0.31.0으로 서빙하고 OpenAI 호환 API를 호출하는 예제를 제공합니다. 예제는 대화에서 명시적으로 드러난 사용자 사실과 선호를 추출해 JSON의 memories 목록으로 반환하도록 지시하며, 추론 모드를 끄고 temperature를 0으로 설정합니다.
Reddit 반응
- @u/sirloindenial — 세션 요약이나 압축을 하고 엔티티를 식별해 기록하는 메모리 제공자용 모델로 보입니다. 흥미롭습니다.
- @u/philmarcracken — pi blackhole에서 reflector와 dropper에 다른 모델을 지정하는 방식과 잘 맞을 수 있습니다. 자주 작동하는 observer에는 주 모델을 생각 없이 쓰고, VRAM이 부족해서 router mode에는 모델 하나만 둡니다.
- @u/DistanceAlert5706 — 그래도 결과를 벤치마크하겠습니다. 관찰 메모리에는 아직 Qwen 3.6 35B를 쓰고 있는데, 제 하드웨어에서는 더 나은 모델을 보지 못했습니다. 이 모델도 시험해 볼 만합니다.
- @u/ANR2ME — 30B 모델이면 mem0에서 권하는 Qwen 600M이나 비슷한 임베딩 모델에 비해 VRAM을 상당히 많이 쓰지 않나요?
- @u/mrgreatheart — MoE의 요점은 VRAM을 덜 쓴다는 것입니다. 전문가 가중치를 RAM에 두고 필요할 때 GPU로 올릴 수 있습니다. 한 순간에 3B만 활성화되므로 RAM은 더 필요하고 VRAM은 덜 필요합니다.
- @u/IntQuant — 정확히는 메모리 대역폭과 연산량을 줄이는 데 의미가 있습니다. 실행기가 똑똑하면 도움이 되지만, 전체 모델을 VRAM에 두는 편이 좋습니다.
- @u/Tai9ch — 흔한 오해입니다. 라우터가 실행되기 전에는 필요한 전문가를 알 수 없으므로 어떤 전문가를 VRAM에 둘지 미리 예측할 수 없습니다. 일부를 빼면 속도가 느려집니다.
- @u/Tai9ch — SSD에서 전문가 가중치 3GB를 읽는 데만 약 0.5초가 걸립니다. 예측이 맞더라도 대화형 추론 속도를 내기 어렵습니다.
- @u/PlayfulCookie2693 — 에이전트의 장기 작업을 바꿀 만한 아이디어입니다. 다만 이 모델은 표준 어텐션을 씁니다. CLM 시스템에서는 모델이 문맥을 관리하도록 학습하면 일반적인 요약 압축보다 장기 작업을 더 잘하고 비용도 낮았지만, 작동 방식을 이해하지 못하는 모델은 점점 무너졌습니다. 이 모델은 그 방식에 맞춰 학습했다는 장점이 있지만, 131k 문맥을 저장하는 데 약 12GB RAM이 든다고 봅니다. Qwen3.6-35B-A3B는 약 1.2GB를 씁니다.
- @u/giveen — 흥미로운 모델이지만, 특정 하네스에서 Opus를 앞선다고 설명하는 대목을 봐야 합니다. 하네스와 프롬프트가 생각보다 성능에 큰 영향을 준다는 점을 알게 되고 있습니다.
- @u/jacek2023 — 용도를 잘 이해하지 못해 글을 올리지 못했습니다. 더 읽어봐야 할 것 같습니다.
- @u/noctrex — 압축이나 일반적인 요약에 특화된 것 같습니다.
- @u/-dysangel- — 몇 년 전 OpenAI 호환 엔드포인트에서 메모리를 자동 추출하고 주입하는 시스템을 만들었습니다. 이 모델은 그 용도에 잘 맞아 보입니다.
원문: Reddit / 번역·요약: Trawling