Qualcuno ha passato nove turni cercando di identificare un farmaco da una descrizione. Tre volte l'assistente ha davvero cercato. Sei volte ha detto che stava cercando e non ha fatto nulla. Intermittente, che è la specie peggiore: non si legge come un difetto, si legge come una bugia.
Il nostro primo istinto è stato il prompt. Di solito lo è. E si sbagliava.
Lo strumento c'era da sempre
La ricerca web è stata spedita per intero in ognuna di quelle chiamate, e lo stesso modello con lo stesso prompt l'ha invocata nella stessa conversazione. Uno strumento trattenuto non può fallire a intermittenza.
Ciò che era cambiato era il budget di ragionamento. Far entrare una famiglia di modelli in Auto significava azzerarne lo sforzo per tenerli sostenibili — e sul percorso che quei modelli seguono l'impostazione veniva applicata a prescindere dalla richiesta. Portato così in basso, il modello non può fare alcuna chiamata a uno strumento. Può soltanto parlarne.
La stessa forma, altre due volte
Una volta che hai lo schema, cominci a vederlo. Chiedi cinquanta criptovalute in crescita con analisi e il foglio di calcolo arriva con sei righe: un file vero, che si apre e sembra finito finché non lo leggi. L'istruzione con cui il modello lavorava descriveva la forma del file e non diceva nulla sulla scala, quindi un campione rappresentativo la soddisfaceva.
E dopo aver creato un documento, l'assistente parlato ha letto l'intero indirizzo di download ad alta voce, carattere per carattere, per novanta secondi. Non stava ignorando le istruzioni: una diceva di non leggere mai indirizzi ad alta voce, l'altra di mostrare il link. Su una superficie parlata, mostrare significa dire.
La regola che continuiamo a riapprendere
Un assistente che racconta un'azione che non può compiere è peggio di uno che dice di non poterla compiere. Tutti e tre i casi sono risolti nello strato che ha reso possibile l'affermazione falsa, non chiedendo con più insistenza.