Iemand deed negen beurten over het identificeren van een medicijn aan de hand van een beschrijving. Drie keer zocht de assistent echt. Zes keer zei hij dat hij zocht en deed niets. Wisselend, en dat is de ergste soort: het leest niet als een fout, het leest als voorgelogen worden.
Onze eerste ingeving was de prompt. Dat is hij meestal. En hij was fout.
Het gereedschap was er de hele tijd
De webzoekopdracht werd bij elk van die aanroepen volledig meegestuurd, en hetzelfde model met dezelfde prompt riep hem in datzelfde gesprek wél aan. Een achtergehouden gereedschap kan niet wisselend falen.
Wat er wel veranderd was, is het denkbudget. Een modelfamilie in Auto toelaten betekende hun redeneerinspanning tot het minimum terugbrengen om ze betaalbaar te houden — en op het pad dat die modellen nemen werd die instelling toegepast, gevraagd of niet. Zo laag gezet kan het model helemaal geen gereedschap aanroepen. Het kan er alleen over praten.
Dezelfde vorm, nog twee keer
Zodra je het patroon hebt, zie je het overal. Vraag om vijftig stijgende munten met analyse en het rekenblad komt met zes regels: een echt, te openen bestand dat af lijkt tot je het leest. De instructie waar het model mee werkte beschreef de vorm van het bestand en zei niets over de omvang, dus voldeed een representatieve steekproef.
En na het maken van een document las de sprekende assistent het hele downloadadres hardop voor, teken voor teken, negentig seconden lang. Hij negeerde zijn instructies niet: de ene zei nooit adressen voorlezen, de andere zei toon de link. Op een gesproken oppervlak betekent tonen: zeggen.
De regel die we blijven herleren
Een assistent die een handeling vertelt die hij niet kan uitvoeren, is erger dan een die zegt dat hij het niet kan. Alle drie zijn opgelost in de laag die de onware uitspraak mogelijk maakte, niet door dringender te vragen.