Голосовой режим в ToRun был рацией. Вы говорите, он слушает; он говорит, ваш микрофон закрыт. Люди так не разговаривают, и это замечают за секунд тридцать — в тот момент, когда хочешь сказать «нет, другой» и сначала нужно дождаться окончания фразы.
gpt-live-1 — это движок полного дуплекса. Микрофон остаётся открытым, пока он говорит. Вы можете перебить его, как перебиваете человека, и он слышит вас, пока говорит, а не только после.
За тем же контрактом
Это другой протокол, отличный от голоса реального времени, который у нас уже был — другая конечная точка, другой словарь событий, никаких идентификаторов реплики, никакого маркера конца реплики. Всё это переводится на одной границе в события, которые уже говорит наш голосовой мост. Под этим ничего не меняется: та же сессия, те же инструменты во время звонка, тот же расчёт по минутам, те же два приложения.
Ещё до написания хоть одной строки код зонд прогнал весь цикл против провайдера с ключом разработки и записал кадры. Эти записи — фикстуры, по которым тестируется слой перевода, так что тестируется то, что провайдер реально отправляет, а не то, что документ утверждает, будто он отправляет.
Эхо — причина, по которой никто не делает это по умолчанию
Открытый микрофон во время воспроизведения слышит ассистента. Без подавления он отвечает сам себе бесконечно. Поэтому на iOS аудиосессия переключается на профиль обработки голоса, отменяющий эхо и ведущий себя как громкая связь; на Android то же самое делает предустановка захвата.
Это имеет реальную цену, поэтому решение принимается по модели, а не глобально. Строка каталога несёт флаг. Модель с этим флагом держит микрофон открытым и включает подавление; каждый другой голос на платформе сохраняет свой затвор и более громкий аудиопрофиль, точно как раньше. Решение принимается при старте сессии и принимается заново из того, что сервер реально открыл, на случай если умолчание уровня разрешилось во что-то другое.
В вебе ничего не изменилось: микрофон там никогда не блокировался, а браузер уже запрашивает подавление эха.
Чего пока нет
Этого нет в бесплатном уровне. Бесплатная минута исчезла бы за один обмен репликами, а квота, заканчивающаяся на середине фразы, хуже той, что никогда не предлагалась.
И первая версия ведёт себя скорее как улучшение, чем как переворот на мобильном, потому что оба приложения всё ещё сохраняют часть собственной блокировки, пока подавление на стороне устройства не подтверждено на реальном железе. Движок полного дуплекса; телефоны нагоняют.