Todos os fornecedores de IA têm maus minutos. Um modelo fica sobrecarregado, uma região tropeça, um extremo responde com um erro durante noventa segundos. Não há nada de invulgar nisso. O que importa é o que a aplicação faz nesses noventa segundos.
Até esta semana, a nossa desistia quase sempre. Imagens, voz e transcrição passavam há meses para um modelo irmão. O texto não o fazia em lado nenhum, por isso um mau minuto do fornecedor acabava com uma resposta interativa tal como acabava com um fluxo de trabalho.
A mesma pergunta, a outro modelo
Agora todas as chamadas de texto passam por um único caminho que sabe perguntar noutro sítio: o turno principal da conversa e os passos de ferramentas por trás dele, Continuar, a investigação profunda, a ponte de visão, a melhoria do prompt, o passo de texto dentro de um fluxo de trabalho e as gerações de música. O substituto não é um modelo mais barato ao acaso: é um irmão que tem a capacidade de que o pedido precisa mesmo.
Um caso fica deliberadamente de fora. Assim que uma resposta começa a aparecer no seu ecrã, deixamo-la em paz. Recomeçar noutro modelo significaria reescrever ou contradizer frases que já leu, e isso é pior do que um erro honesto.
Pagar ao modelo que respondeu
A metade interessante disto é a fatura. Reencaminhar uma chamada é fácil; descrevê-lo com honestidade não é. Cada reencaminhamento mantinha os preços do primeiro modelo, por isso uma chamada reencaminhada era cobrada às tarifas do modelo que acabara de falhar. A cadeia entrega agora a fotografia completa do modelo que realmente correu: preços, janela de contexto, margem. Assim a linha do seu histórico de faturação nomeia o modelo que fez o trabalho, com a tarifa desse modelo.
E quando nada resulta
Reencaminhar nem sempre é possível. Quando uma execução falha mesmo, o dinheiro dos passos que não produziram nada volta agora ao sítio de onde saiu. Foi essa a outra metade da semana, e tem um texto só dela.