Shizuku AI, 웹 검색 중에도 대화 잇는 일본어 음성 모델 소개

Shizuku AI는 2026년 11월 8일 기술 블로그에서 일본어 Full-Duplex 음성 대화 모델 Shizuku-Duplex를 소개했습니다. 게시글은 Ayuto Tsutsumi, Kohei Ohno, Yuu Jinnai, Akio Kodaira가 공동 작성했습니다. 모델은 상대방의 말을 들으면서 대화를 이어가고, 웹 검색처럼 시간이 걸리는 작업은 별도 모델에 맡기는 구조입니다.

기존 음성 AI 상당수는 사용자의 발화가 끝난 것을 감지한 뒤 음성 인식, LLM 처리, 음성 합성을 차례로 진행합니다. 이 경로에서는 답변을 시작하기까지 기다려야 하고, 대화 도중 맞장구를 치거나 사용자의 끼어들기에 반응하기 어렵습니다. Full-Duplex 모델은 듣기와 말하기를 겹쳐 진행하며, 말할 때와 멈출 때를 모델이 결정합니다. Shizuku AI는 LLM을 기반으로 모델의 구조와 학습을 새로 설계했다고 설명합니다.

Shizuku-Duplex는 80ms를 한 tick으로 삼아 매 tick 사용자 음성을 입력받고 출력을 생성합니다. 말할 내용은 음성보다 조금 앞서 텍스트로 만들어지며, 작성팀은 이를 모델의 Inner Monologue라고 부릅니다. 모델은 침묵하거나 말하는 동안에도 상대방의 음성을 계속 입력받아 발화를 시작하거나 멈출 시점을 정합니다. 실시간으로 작동하려면 각 tick의 처리를 80ms 안에 끝내야 합니다. 작성팀은 TensorRT와 Triton 커널을 이용한 추론 최적화로 이 조건을 맞췄다고 밝혔습니다.

복잡한 질문과 검색을 대화 모델 하나가 처리하면 작업이 끝날 때까지 대화가 멈출 수 있습니다. Shizuku-Duplex는 대화를 맡는 interaction model과, 웹 검색 같은 도구를 사용해 비동기 작업을 수행하는 background model을 나눴습니다. interaction model은 작업을 맡길 때 DELEGATE 토큰을 내보냅니다. background model이 결과를 찾는 동안 interaction model은 사용자와 대화를 이어가고, 결과가 도착하면 이를 받아 답변에 반영합니다.

게시글의 교토 여행 예시에서 사용자는 두 사람의 예산을 10만 엔 정도로 맞추고 싶다고 말합니다. background model이 웹에서 7.1초 동안 정보를 찾는 사이 interaction model은 말차 과자 이야기를 이어가며 여행 계획을 찾아보겠다고 답합니다. 검색 결과가 돌아오자 interaction model은 3박 일정에서 숙박비가 중요하다는 내용을 전달합니다. 검색이 끝날 때까지 침묵하는 대신, 대화와 정보 탐색을 서로 다른 모델이 동시에 진행하는 흐름입니다.

모델의 중심에는 LLM 기반 Transformer가 있습니다. 스트리밍 음성 인코더가 만든 사용자 음성의 특징에 이전 tick의 출력과 background model의 결과를 더해 입력으로 사용합니다. 출력은 음성, 텍스트, Action으로 나뉩니다. 음성 토큰은 파형으로 변환되고, Action head는 대화 중 감정에 맞는 모션을 선택합니다. Shizuku AI는 이 기술을 AI 캐릭터 しずく에 적용하는 구상을 밝혔습니다. 긴 대화에서는 약 5분마다 대화 내용을 요약해 문맥을 다시 구성하고, 이 전환을 한 tick 안에 처리하도록 설계했습니다.

성능 비교에는 작성팀이 만든 일본어 벤치마크를 사용했습니다. 작성팀은 일본어 Full-Duplex 모델의 성능을 비교할 자료가 충분하지 않다고 보고, 영어 Full-Duplex-Bench의 장면과 지표, M3-DuplexBench의 일본어 잡담·질문응답 항목을 참고해 평가를 구성했습니다. M3-DuplexBench와 Full-Duplex-Bench-JA의 평가 데이터는 공개되지 않았다고 설명했습니다. 평가는 일본어로 이용할 수 있는 주요 모델 일부를 대상으로 했으며, 모델의 출력 음성은 Haas-ja-v1.0으로 전사하고 응답 내용은 Claude Opus 5.5로 채점했습니다.

작성팀은 턴테이킹 여섯 지표 중 다섯 개에서 Shizuku-Duplex가 비교한 Full-Duplex 모델 가운데 가장 높은 결과를 냈다고 밝혔습니다. 응답 내용은 Full-Duplex 모델 중 GPT-Live 다음 수준이라고 설명했습니다. 사용자 발화 종료부터 답변까지의 중앙값은 Shizuku-Duplex가 0.57초, GPT-Live가 0.53초였습니다. 두 값은 서버 측 녹음으로 측정해 네트워크 왕복 시간을 포함하지 않으므로, 사용자 네트워크까지 포함한 실제 통화 시간과 측정 범위가 다릅니다.