話している途中に「うんうん」と相づちを打ち、こちらが割り込めば話を止める。そんな会話の間合いを日本語のAIで実現しようとするモデルが、Shizuku AIの「Shizuku-Duplex」です。
注目したいのは、相手の声を聞きながら自分も話せる仕組み。開発元は80ミリ秒ごとの処理や、会話を続けながら検索を進める構成を紹介しています。数字の意味と、実際の会話で残る課題を見ていきましょう。
80ミリ秒は処理の刻み幅です。質問への返答が必ず80ミリ秒で届く、という意味ではありません。
聞きながら話す「Full-Duplex」とは
従来の音声AIには、話し終わりを待ってから音声認識、文章の生成、音声合成を順番に行う方式があります。一方、Full-Duplexは聞くことと話すことを並行できる仕組みです。
Shizuku AIの技術紹介では、相手の発話中に相づちを打つ、割り込みに応じて発話を止める、といった例を音声付きで紹介しています。相手が考えながら少し黙ったときに、すぐ話を奪わず待てるかどうかも、自然な対話には大切です。
以前紹介したGPT-Liveの音声対話も、聞きながら話す方式に関わる話題です。Shizuku-Duplexは別の開発元による日本語のモデルとして、その間合いに取り組んでいます。
言葉の正しさだけでなく、いつ話し、いつ聞くかも音声AIの使い心地を左右します。
80ミリ秒ごとに何をしている？
Shizuku-Duplexは80ミリ秒を一つの「tick」とし、声を聞きながら自身の出力を作ります。話す内容を音声より少し先にテキストとして出力する「Inner Monologue」も持ち、話し始めるか黙るかをモデルが判断します。
各tickの処理を時間内に終えるため、開発元はTensorRTやTritonカーネルを使った推論の最適化を行ったと説明しています。短い単位で繰り返し処理することで、会話の流れに追いつこうという設計です。
ただし、処理単位と会話の応答時間は別のものです。開発元の評価では、発話終了から返事までの中央値は0.57秒でした。この測定はサーバー側の録音に基づき、通信の往復時間を含みません。実際の体験は通信や環境にも左右されます。
80ミリ秒を「返事までの保証時間」と受け取らないこと。評価値と日常の利用環境は同じ条件ではありません。
調べ物は会話の裏側へ
声のやり取りを続けながら、込み入った質問を調べるにはどうするのでしょうか。Shizuku-Duplexは、対話を担当するモデルと、非同期で難しい依頼を処理する背景側のモデルを組み合わせています。
公式の例では、会話側が検索を依頼した後も相手に応答し、結果が届くと自分の言葉で伝えます。検索が終わるまでずっと無言になる必要を減らせる、という発想です。ただし、自然に話せることと、検索結果が正確であることは別の問題です。
検索を伴う回答は、便利な入口として使い、重要な数字や条件は元の情報でも確かめましょう。
長い会話と評価で見えた課題
会話が長くなると履歴も増えます。開発元はおよそ5分ごとに会話を要約し、直前のやり取りとともに文脈を組み直す仕組みを導入しました。会話を止めずに切り替える設計ですが、要約では細かな情報が抜ける可能性も考えておきたいところです。
同社の評価では、話者の割り込みから2秒以内に発話を止めた割合は89％。一方、ウェブ検索を伴う質問の正答率は43％でした。いずれも開発元が設定した評価条件での結果で、あらゆる会話で同じ成績になるとは限りません。
評価には音声の書き起こしと別のAIによる採点も使われています。数値は仕組みの得意・不得意を知る手がかりとして読み、個別の用途では実際に試す必要があります。
使う側が見たい次の情報
相づちや割り込みに対応できる音声AIは、質問を一つずつ投げる体験から、会話を続けながら考えを深める体験へつながりそうです。検索中も対話を続ける設計は、待ち時間を意識しにくくする工夫といえます。
公開された技術紹介と、誰でも使える製品・モデルの提供は別です。利用方法、料金、音声データの扱いは、今後の正式な案内を確認しましょう。
会話が自然になるほど、うまく聞き取れなかった時や自信のない回答をどう伝えるかも大切になります。Shizuku-Duplexの発表は、日本語の音声AIを「賢さ」に加えて、会話の間と安心して使える条件から見直すきっかけになりそうです。
