Quelqu'un a passé neuf tours à tenter d'identifier un médicament à partir d'une description. Trois fois l'assistant a réellement cherché. Six fois il a dit qu'il cherchait et n'a rien fait. Intermittent, ce qui est le pire : cela ne se lit pas comme un défaut, cela se lit comme un mensonge.
Notre premier réflexe a été le prompt. C'est presque toujours le cas. Et c'était faux.
L'outil était là depuis le début
La recherche web a été transmise en entier à chacun de ces appels, et le même modèle avec le même prompt l'a bel et bien appelée dans la même conversation. Un outil retiré ne peut pas échouer par intermittence.
Ce qui avait changé, c'était le budget de réflexion. Faire entrer une famille de modèles dans Auto imposait de réduire leur effort au minimum pour qu'ils restent abordables — et sur le chemin qu'empruntent ces modèles, ce réglage était appliqué qu'on l'ait demandé ou non. Ramené si bas, le modèle ne peut plus faire aucun appel d'outil. Il peut seulement en parler.
La même forme, deux fois encore
Une fois le motif repéré, on le voit partout. Demandez cinquante cryptomonnaies en hausse avec analyse et le tableur arrive avec six lignes : un vrai fichier, qui s'ouvre et paraît fini jusqu'à la lecture. L'instruction suivie par le modèle décrivait la forme du fichier et ne disait rien de son ampleur ; un échantillon représentatif la satisfaisait donc.
Et après avoir créé un document, l'assistant vocal a lu l'adresse de téléchargement entière à voix haute, caractère par caractère, pendant quatre-vingt-dix secondes. Il n'ignorait pas ses instructions : l'une disait de ne jamais lire d'adresses à voix haute, l'autre de montrer le lien. Sur une surface parlée, montrer, c'est dire.
La règle que nous réapprenons sans cesse
Un assistant qui raconte une action qu'il ne peut pas accomplir est pire qu'un assistant qui dit ne pas pouvoir. Les trois cas sont corrigés à la couche qui rendait l'affirmation fausse possible, pas en demandant plus fermement.