Alguém passou nove turnos tentando identificar um medicamento a partir de uma descrição. Três vezes o assistente buscou de verdade. Seis vezes disse que estava buscando e não fez nada. Intermitente, que é o pior tipo: não se lê como defeito, se lê como mentira.
Nosso primeiro instinto foi o prompt. Quase sempre é. E estava errado.
A ferramenta esteve ali o tempo todo
A busca na web foi enviada por inteiro em cada uma daquelas chamadas, e o mesmo modelo com o mesmo prompt chamou a ferramenta na mesma conversa. Uma ferramenta retida não falha de forma intermitente.
O que tinha mudado era o orçamento de raciocínio. Deixar uma família de modelos entrar no Auto significava baixar o esforço deles ao mínimo para continuarem viáveis — e no caminho que esses modelos tomam, esse ajuste era aplicado tendo sido pedido ou não. Rebaixado assim, o modelo não consegue fazer chamada nenhuma de ferramenta. Só consegue falar sobre fazer.
O mesmo formato, mais duas vezes
Depois que você pega o padrão, começa a vê-lo em tudo. Peça cinquenta criptomoedas em alta com análise e a planilha chega com seis linhas: um arquivo real, que abre e parece pronto até você ler. A instrução com que o modelo trabalhava descrevia o formato do arquivo e não dizia nada sobre escala, então uma amostra representativa a satisfazia.
E depois de criar um documento, o assistente falado leu o endereço de download inteiro em voz alta, caractere por caractere, por noventa segundos. Ele não estava ignorando as instruções: uma dizia para nunca ler endereços em voz alta, outra dizia para mostrar o link. Numa superfície falada, mostrar é dizer.
A regra que a gente reaprende sempre
Um assistente que narra uma ação que não consegue executar é pior que um que diz não conseguir. Os três casos foram corrigidos na camada que tornou a afirmação falsa possível, não pedindo com mais firmeza.