Gemini 3.8 Live와 3.5 Transcribe로 실시간 음성 애플리케이션 구축하기
Google이 Gemini API와 AI Studio에 실시간 음성 모델 Gemini 3.8 Live, 3.8 Live Extended Thinking, 그리고 전사(transcription) 전용 모델 Gemini 3.5 Transcribe를 공개했습니다. 대화 흐름을 유지하면서 작업을 수행하는 네이티브 speech-to-speech 모델과 85개 이상 언어를 지원하는 저지연 전사 모델로, 음성 우선(voice-first) 제품을 만들려는 개발자에게 직접적으로 유용한 소식입니다.
본문
Google이 Gemini API와 Google AI Studio에서 새로운 Gemini Live 모델군을 출시하며, 실시간 음성 우선 제품을 구축하기 위한 개발자 도구 모음을 확장했습니다. 이번 발표의 핵심은 대화를 이어가면서 동시에 작업을 수행할 수 있는 네이티브 speech-to-speech 모델과, 정밀 전사를 담당하는 별도 모델의 조합입니다.
Gemini 3.8 Live와 Extended Thinking
Gemini 3.8 Live는 대화를 유지하면서 작업을 수행할 수 있는 네이티브 speech-to-speech 모델로, 이전 Live 모델 대비 큰 폭의 개선을 이뤘다고 설명합니다. 복잡한 요청에는 더 깊은 추론을 제공하는 3.8 Live Extended Thinking이 있으며, Artificial Analysis의 Speech-to-Speech 리더보드에서 1위를 기록했습니다. Extended Thinking은 구성 가능한 사고(thinking)를 지원해 복잡한 다단계 추론을 백그라운드에서 처리하면서, 메인 대화에서는 응답하거나 진행 상황을 설명할 수 있습니다. Google은 이 모델들이 기존의 cascaded 아키텍처(음성 인식→LLM→음성 합성을 직렬 연결하는 방식)보다 더 간소화된 대안이라고 주장합니다.
주요 기능으로는 다섯 가지를 꼽습니다. 첫째, 비동기 함수 호출(asynchronous function calling)로 API·도구 호출을 백그라운드에서 실행하면서 사용자에게 오디오 응답을 계속 스트리밍합니다. 둘째, 시각적 컨텍스트(visual context)로 실시간 영상 입력에 대화를 접지해 사용자가 말하는 것과 보는 것을 함께 이해하는 에이전트를 만들 수 있습니다. 셋째, 영숫자 정밀도(alphanumeric precision)로 확인 코드, 청구 번호, 기술 데이터를 정확히 파싱합니다. 넷째, 97개 이상 언어와 억양 일관성을 지원하는 다국어 기능입니다. 다섯째, 증분 콘텐츠 업데이트(incremental content updates)로 실시간 오디오와 구조화된 데이터를 매끄럽게 병합해 컨텍스트 인식 응답을 반환합니다.
가격은 오디오 입력 분당 $0.005, 오디오 출력 분당 $0.018로 책정되었으며, Live API를 통해 제공됩니다. Agora, Fishjam, LangChain, LiveKit, Pipecat, Vercel, Vision Agents가 Live API 통합 파트너로 지정되어 실제 배포에 필요한 미디어 스트리밍 인프라를 처리합니다.
Gemini 3.5 Transcribe
지난달 출시된 전사 전용 모델 Gemini 3.5 Transcribe는 스트리밍 기준 평균 단어 오류율(WER) 4.0%, 비스트리밍 기준 2.6%를 달성했으며 85개 이상의 언어를 지원합니다. 주요 기능은 세 가지입니다. 자동 코드 스위칭으로 문장 내·문장 간 언어 전환을 별도 설정 없이 처리하고, 최대 1,000개 용어의 custom_vocabulary 목록을 전달해 도메인 전문 용어·고유명사·회사명 쪽으로 인식을 유도하는 커스텀 어휘 바이어싱, 그리고 간투사(filler words) 제거·자기 수정·구조화된 포매팅으로 읽기 좋은 전사문을 만들어주는 스마트 전사 모드를 제공합니다.
이 모델은 초당 이하(sub-second) 자막, 콜센터 에이전트, 실시간 오디오 분석 같은 stateless 작업의 청취 엔진으로 포지셔닝되어 있으며, Interactions API를 통해 최대 1시간 길이의 오디오 파일을 구조화된 타임스탬프와 화자 라벨링과 함께 전사할 수도 있습니다.
생태계와 시작 방법
Google은 ai.studio/live에서 모델을 바로 체험하거나 GitHub의 예제 앱을 클론하고, 에이전트에 Live API 스킬을 장착하는 방식으로 시작할 수 있다고 안내합니다. 같은 Gemini API 안에서 Gemini 3.5 Live Translate(70개 이상 언어의 speech-to-speech 번역), Gemini 3.1 Flash TTS(고도로 구성 가능한 음성 합성), Lyria 3.5(프로덕션급 음악 생성) 같은 음성·음악 생성 모델도 함께 제공됩니다.
한국어 독자 관점에서는 3.5 Transcribe의 자동 코드 스위칭과 커스텀 어휘 바이어싱이 특히 눈에 띄는데, 한국어-영어 혼용 발화와 국내 고유 명칭 인식에서 실무적 활용 여지가 있어 보입니다. 다만 97개/85개 이상 언어 지원 명세에 한국어 포함 여부와 실제 한국어 WER은 별도 확인이 필요하며, 분당 과금 구조이므로 장시간 세션의 비용 산정도 프로토타이핑 단계에서 검토할 가치가 있습니다.
원문: dev.to / 번역·요약: Trawling