O modo de voz no ToRun era um walkie-talkie. Você fala, ele escuta; ele fala, seu microfone fica fechado. Não é assim que as pessoas falam, e todo mundo percebe isso em uns trinta segundos — o momento em que você quer dizer "não, a outra" e precisa esperar uma frase terminar primeiro.
gpt-live-1 é um motor duplex total. O microfone fica aberto enquanto ele fala. Você pode interrompê-lo como interromperia uma pessoa, e ele te escuta enquanto fala, não só depois.
Por trás do mesmo contrato
É um protocolo diferente da voz em tempo real que já tínhamos — um endpoint diferente, um vocabulário de eventos diferente, sem identificadores de turno, sem marcador de fim de turno. Tudo isso é traduzido numa única fronteira para os eventos que nossa ponte de voz já fala. Abaixo disso, nada muda: a mesma sessão, as mesmas ferramentas durante uma chamada, o mesmo acerto de contas por minuto, os mesmos dois apps.
Antes de qualquer linha ser escrita, uma sonda rodou o ciclo inteiro contra o provedor com uma chave de desenvolvimento e gravou os quadros. Essas gravações são os fixtures contra os quais a camada de tradução é testada — o que é testado, portanto, é o que o provedor realmente envia, não o que um documento diz que envia.
O eco é a razão pela qual ninguém faz isso por padrão
Um microfone aberto durante a reprodução escuta o assistente. Sem supressão, ele responde a si mesmo, para sempre. Por isso no iOS a sessão de áudio muda para o perfil de processamento de voz, o que cancela o eco e se comporta como viva-voz; no Android, o preset de captura faz o mesmo trabalho.
Isso tem um custo real, e é por isso que a decisão é tomada por modelo em vez de globalmente. A linha do catálogo carrega uma flag. Um modelo com essa flag mantém o microfone aberto e ativa o cancelamento; qualquer outra voz na plataforma mantém sua trava e seu perfil de áudio mais alto, exatamente como antes. A decisão é tomada quando a sessão começa, e retomada a partir do que o servidor realmente abriu, caso um padrão de nível tenha resolvido para outra coisa.
Na web nada mudou: o microfone nunca ficou travado lá, e o navegador já pede cancelamento de eco.
O que ainda não é
Não está no nível gratuito. Um minuto grátis desapareceria numa única troca, e uma cota que acaba no meio de uma frase é pior do que uma que nunca foi oferecida.
E a primeira versão se comporta mais como uma melhoria do que como uma transformação no celular, porque os dois apps ainda mantêm parte da própria trava até que o cancelamento do lado do aparelho seja confirmado em hardware real. O motor é duplex total; os celulares estão alcançando.