Någon lade nio turer på att identifiera ett läkemedel utifrån en beskrivning. Tre gånger sökte assistenten på riktigt. Sex gånger sa den att den sökte och gjorde ingenting. Ryckigt, vilket är den värsta sorten: det läses inte som ett fel, det läses som att bli ljugen för.
Vår första instinkt var prompten. Det är den oftast. Och den hade fel.
Verktyget fanns där hela tiden
Webbsökningen skickades i sin helhet vid vart och ett av de anropen, och samma modell med samma prompt anropade den i samma samtal. Ett undanhållet verktyg kan inte fallera ryckigt.
Det som hade ändrats var tankebudgeten. Att släppa in en modellfamilj i Auto innebar att lägga deras resonemangsansträngning i botten för att de skulle förbli prisvärda — och på den väg de modellerna tar tillämpades inställningen oavsett om någon bett om den. Så lågt nedskruvad kan modellen inte göra något verktygsanrop alls. Den kan bara prata om det.
Samma form, två gånger till
När man väl har mönstret ser man det överallt. Be om femtio stigande mynt med analys och kalkylbladet kommer med sex rader: en riktig, öppningsbar fil som ser färdig ut tills man läser den. Instruktionen modellen arbetade efter beskrev filens form och sa inget om omfattningen, så ett representativt urval räckte.
Och efter att ha skapat ett dokument läste den talande assistenten upp hela nedladdningsadressen högt, tecken för tecken, i nittio sekunder. Den ignorerade inte sina instruktioner: en sa läs aldrig upp adresser, en annan sa visa länken. På en talad yta betyder visa: säga.
Regeln vi ständigt lär om
En assistent som berättar om en handling den inte kan utföra är sämre än en som säger att den inte kan. Alla tre är rättade i det lager som gjorde det osanna påståendet möjligt, inte genom att be bestämdare.