Alguien pasó nueve turnos intentando identificar un medicamento a partir de una descripción. Tres veces el asistente buscó de verdad. Seis veces dijo que estaba buscando y no hizo nada. Intermitente, que es lo peor: no se lee como un defecto, se lee como que te están mintiendo.
Nuestro primer impulso fue el prompt. Casi siempre lo es. Y estaba equivocado.
La herramienta estuvo ahí todo el tiempo
La búsqueda web se envió completa en cada una de esas llamadas, y el mismo modelo con el mismo prompt sí la llamó en esa misma conversación. Una herramienta retenida no puede fallar de forma intermitente.
Lo que había cambiado era el presupuesto de razonamiento. Dejar entrar en Auto a una familia de modelos implicaba bajar su esfuerzo al mínimo para que siguieran siendo asequibles, y en el camino que toman esos modelos ese ajuste se aplicaba se hubiera pedido o no. Con el listón tan bajo, el modelo no puede hacer ninguna llamada a herramienta. Solo puede hablar de hacerla.
La misma forma, dos veces más
Una vez tienes el patrón, empiezas a verlo. Pide cincuenta monedas en alza con su análisis y la hoja de cálculo llega con seis filas: un archivo real, que se abre y parece terminado hasta que lo lees. La instrucción con la que trabajaba el modelo describía la forma del archivo y no decía nada sobre la escala, así que una muestra representativa la satisfacía.
Y tras crear un documento, el asistente hablado leyó la dirección de descarga entera en voz alta, carácter a carácter, durante noventa segundos. No estaba ignorando sus instrucciones: una decía que nunca leyera direcciones en voz alta, otra decía que mostrara el enlace. En una superficie hablada, mostrar es decir.
La regla que seguimos reaprendiendo
Un asistente que narra una acción que no puede realizar es peor que uno que dice que no puede. Los tres casos están arreglados en la capa que hizo posible la afirmación falsa, no pidiéndolo con más énfasis.