Hy-SimulMT: 저지연 실시간 동시통역 모델

본문

Tencent Hunyuan이 중국어와 영어를 양방향으로 실시간 통역하는 Hy-SimulMT를 공개했습니다. 음성이 들어오는 동안 번역문을 만들고, TTS를 설정하면 번역 음성도 출력합니다. 실시간 음성 복제 기능은 원 화자의 음색 특성을 번역 음성에 반영합니다.

지연 시간과 번역 품질

공개 장문 음성 벤치마크 RealSI에서 Hy-SimulMT는 StreamLAAL 약 3초를 기록했습니다. 이는 비교 대상 가운데 가장 낮은 값입니다. StreamLAAL은 스트리밍 번역 지연을 나타내며 첫 음성 출력까지 걸리는 시간과는 다릅니다. GEMBA 점수는 비교한 오픈소스 모델과 상용 API 5종 중 4종보다 높았다고 Tencent는 밝혔습니다.

짧은 음성 벤치마크에서는 FLEURS 90.3점, CoVoST2 75.5점, ACL6060 81.2점, RealSI-Sentence 84.7점을 기록했습니다. Hy-SimulMT는 표에 포함된 오픈소스 모델보다 FLEURS, ACL6060, RealSI-Sentence에서 높은 점수를 받았고, RealSI-Sentence에서는 전체 모델 중 가장 높은 점수를 냈습니다. 점수는 높을수록 좋습니다.

실제 음성 비교

Tencent는 2026년 9월 이후 온라인에 공개된 중국어·영어 음성 18건을 모았습니다. 각 음성은 약 6분 분량이며 연설, 인터뷰, 회의를 포함합니다. 10개 분야의 자료를 사용했고, CATTI 1급 통역사 3명과 2급 통역사 3명이 모델과 같은 음성을 통역했습니다. 자격 등급마다 통역사 3명 중 가장 높은 점수를 비교에 사용했습니다. Tencent는 이 소규모 평가에서 모델의 통역 품질이 전문 통역사와 비슷하고 지연 시간은 더 낮은 경우가 많았다고 설명합니다. 평가 범위는 해당 음성, 참여 통역사와 실험 조건에 한정되며 음성 품질과 화자 유사도 전반을 평가한 결과는 아니라고 명시했습니다.

모델과 실행 방법

모델 카드에는 번역문만 출력하는 모델과 원문·번역문을 함께 출력하는 Interleave 변형이 소개되어 있습니다. FP8 및 GGUF 체크포인트도 제공하며, SimulInfer 저장소에는 추론 서비스와 SimulTrain 학습 도구가 포함됩니다. Linux, Python 3.12 이상, NVIDIA GPU와 CUDA 호환 드라이버가 기본 실행 조건입니다. 음성 출력과 화자 복제에는 별도 TTS 서비스가 필요합니다.

SGLang-Omni 연동은 BF16 번역 전용 체크포인트를 대상으로 합니다. 가중치만 약 57GiB를 차지하며 KV 캐시와 런타임 메모리는 별도로 필요합니다. 이 연동은 FP8, GGUF, Interleave 체크포인트를 지원하지 않습니다. 오디오 요청에는 입력 언어를 명시해야 하며, 요청당 최대 길이는 30초입니다. 실시간 경로는 16kHz 모노 PCM16을 받고 1.6초 간격으로 부분 번역 가설을 내보냅니다. 최종 결과가 앞선 부분 번역을 수정할 수 있고, 30초 뒤에는 새 번역 문맥을 시작합니다.

원문: Hugging Face / 번역·요약: Trawling