ToRunの音声モードはトランシーバーのようなものでした。あなたが話し、それが聞く。それが話し、あなたのマイクは閉じている。人はそんなふうに話しません。誰もがおよそ三十秒でそれに気づきます。「いや、そっちじゃなくて」と言いたくなり、まず文が終わるのを待たなければならない瞬間です。
gpt-live-1はフルデュプレックスのエンジンです。それが話している間もマイクは開いたままです。人に割り込むのと同じように割り込むことができ、話し終えた後だけでなく、話している最中にもあなたの声を聞いてくれます。
同じ契約の裏側で
これは、すでに持っていたリアルタイム音声とは異なるプロトコルです。異なるエンドポイント、異なるイベント語彙、ターンの識別子なし、ターン終了のマーカーなし。それらすべては一つの境界で、私たちの音声ブリッジがすでに話しているイベントへと翻訳されます。その下では何も変わりません。同じセッション、通話中の同じツール、同じ分単位の精算、同じ二つのアプリです。
一行のコードも書かれる前に、プローブが開発用キーでプロバイダーに対して全ループを実行し、フレームを記録しました。その記録は翻訳レイヤーがテストされる対象のフィクスチャです。つまりテストされるのは、プロバイダーが実際に何を送るかであり、ドキュメントが送ると主張しているものではありません。
エコーがデフォルトで誰もこれをしない理由
再生中に開いたマイクはアシスタント自身の声を聞いてしまいます。抑制なしでは、それは永遠に自分自身に応答し続けます。だからiOSでは音声処理プロファイルに切り替わり、エコーを打ち消してスピーカーフォンのように振る舞います。Androidでもキャプチャのプリセットが同じ仕事をします。
これには実際のコストがあり、だからこそグローバルにではなくモデルごとに決定されます。カタログの行はフラグを持っています。そのフラグを持つモデルはマイクを開いたままにし、抑制をオンにします。プラットフォーム上の他のすべての音声は、以前とまったく同じ自分のゲートとより大きな音声プロファイルを保持します。この決定はセッション開始時に一度行われ、サーバーが実際に開いた内容から再び行われます。階層のデフォルトが別のものに解決された場合に備えてです。
ウェブでは何も変わりませんでした。そこではマイクは一度もゲート制御されておらず、ブラウザはすでにエコーキャンセルを要求しています。
まだそうではないこと
無料プランでは利用できません。無料の一分は一回のやり取りで消えてしまい、文の途中で尽きる割り当ては、一度も提供されなかった割り当てより悪いものです。
そして最初のバージョンは、モバイルでは変革というより改善のように振る舞います。デバイス側の抑制が実機で確認されるまで、両方のアプリが自身のロックの一部を保持し続けるからです。エンジンはフルデュプレックスであり、スマホがそれに追いついている段階です。