Alguém passou nove vezes a tentar identificar um medicamento a partir de uma descrição. Três vezes o assistente pesquisou mesmo. Seis vezes disse que estava a pesquisar e não fez nada. Intermitente, que é o pior: não se lê como um defeito, lê-se como estarem a mentir-nos.
O nosso primeiro instinto foi o prompt. Costuma ser. E estava errado.
A ferramenta esteve lá o tempo todo
A pesquisa na web foi enviada por inteiro em cada uma dessas chamadas, e o mesmo modelo com o mesmo prompt chamou-a na mesma conversa. Uma ferramenta retida não pode falhar de forma intermitente.
O que tinha mudado era o orçamento de raciocínio. Deixar entrar uma família de modelos no Auto implicava baixar o seu esforço ao mínimo para que continuassem acessíveis — e no caminho que esses modelos seguem essa definição era aplicada tivesse sido pedida ou não. Descido assim, o modelo não consegue fazer chamada nenhuma a ferramentas. Só consegue falar de a fazer.
A mesma forma, mais duas vezes
Depois de ter o padrão, começa a vê-lo em todo o lado. Peça cinquenta criptomoedas em subida com análise e a folha de cálculo chega com seis linhas: um ficheiro real, que abre e parece acabado até se ler. A instrução com que o modelo trabalhava descrevia a forma do ficheiro e nada dizia sobre a escala, por isso uma amostra representativa bastava-lhe.
E depois de criar um documento, o assistente falado leu o endereço de transferência inteiro em voz alta, carácter a carácter, durante noventa segundos. Não estava a ignorar as instruções: uma dizia para nunca ler endereços em voz alta, outra dizia para mostrar a ligação. Numa superfície falada, mostrar é dizer.
A regra que continuamos a reaprender
Um assistente que narra uma ação que não consegue executar é pior do que um que diz não conseguir. Os três casos estão corrigidos na camada que tornou possível a afirmação falsa, não pedindo com mais firmeza.