Todo provedor de IA tem minutos ruins. Um modelo fica sobrecarregado, uma região tropeça, um endpoint responde com erro por noventa segundos. Não há nada de estranho nisso. O que importa é o que o aplicativo faz durante esses noventa segundos.
Até esta semana, o nosso quase sempre desistia. Imagem, voz e transcrição já trocavam de modelo irmão havia meses. Texto não trocava em lugar nenhum, então um minuto ruim do provedor encerrava uma resposta interativa do mesmo jeito que encerrava um fluxo de trabalho.
A mesma pergunta, para outro modelo
Agora toda chamada de texto passa por um único caminho que sabe perguntar em outro lugar: o turno principal do chat e os passos de ferramentas por trás dele, Continuar, a pesquisa profunda, a ponte de visão, a melhoria do prompt, o passo de texto dentro de um fluxo de trabalho e as gerações de música. O substituto não é um modelo mais barato qualquer: é um irmão que tem a capacidade de que o pedido realmente precisa.
Um caso fica de fora de propósito. Assim que uma resposta começa a aparecer na sua tela, deixamos ela em paz. Recomeçar em outro modelo significaria reescrever ou contradizer frases que você já leu, e isso é pior do que um erro honesto.
Pagar o modelo que respondeu
A metade interessante disso é a cobrança. Redirecionar uma chamada é fácil; descrever isso com honestidade não é. Cada redirecionamento mantinha os preços do primeiro modelo, então uma chamada redirecionada era cobrada pelas tarifas do modelo que tinha acabado de falhar. A cadeia agora entrega o retrato completo do modelo que realmente rodou: preços, janela de contexto, margem. Assim a linha do seu histórico de cobranças nomeia o modelo que fez o trabalho, com a tarifa dele.
E quando nada funciona
Redirecionar nem sempre é possível. Quando uma execução falha de verdade, o dinheiro dos passos que não produziram nada agora volta para o lugar de onde saiu. Essa foi a outra metade da semana, e tem um texto só dela.