Iemand vroeg hoe en wanneer je een veelgebruikt antidepressivum inneemt, voor of na het eten, en wat erin zit. Ze vroegen het in het Russisch. De interface stond in het Turks. Het model op Auto antwoordde met een kant-en-klare weigering — in het Engels. Toen het werd gevraagd in het Russisch te antwoorden, weigerde het opnieuw, in het Russisch. Een minuut later werd de chat verwijderd. Elke andere assistent beantwoordt die vraag, en de gebruiker had gelijk hetzelfde te verwachten.
Eén verwijderd gesprek, vier gebreken.
Informatie is geen advies
Waarvoor een medicijn dient, hoe je het inneemt, wat erin zit, of er een recept voor nodig is — dat staat op de bijsluiter, openbaar en gedocumenteerd. De systeemprompt zegt dat nu duidelijk: beantwoord het, voeg één zin toe die naar een professional verwijst voor de persoonlijke beslissing, en blijf weigeren wat geweigerd moet worden — overdosis, zelfbeschadiging, manieren om een recept te omzeilen. Het verbreden van wat beantwoord wordt, heeft niet verbreed wat is toegestaan; het heeft een naam gegeven aan de stilte in het midden, waar een klein model zijn eigen beleid had zitten verzinnen.
Een weigering is een antwoord
De regel dat antwoorden de taal van het bericht volgen, stond ver van het einde van een lange prompt, en een weigersjabloon is het antwoord dat die regel het vaakst oversloeg. De regel wordt nu herhaald op de plek waar een model het laatst leest, en de interfacetaal is alleen een tiebreaker voor een kaal getal of een link. Een Russische vraag op een Turks scherm krijgt antwoord in het Russisch, en wordt, als het zover komt, ook in het Russisch geweigerd.
Er zat een dieperliggende oorzaak onder. Het deel van de server dat een antwoord streamt, draait losgekoppeld van het verzoek, en de cultuur van het verzoek volgde niet mee — waardoor elke gestreamde beurt in de eigen taal van de server draaide, en ook de zo'n twintig systeemberichten die een stream kan afgeven, in die taal uitkwamen. De cultuur wordt nu bij aanvang vastgelegd en binnen in de uitvoerder opnieuw toegepast. Elke streamende client, zowel op het web als op de telefoon, stuurt nu ook zijn taal mee met het verzoek, wat drie van de vier niet deden.
Een leeg antwoord is een storing met een betere statuscode
Eén model gaf soms een voltooid antwoord terug dat niets bevatte. De app las dat als een normaal einde van de beurt en toonde een tijdelijke tekst die zei dat de tools klaar waren. Dit wordt nu behandeld als elke andere storing vóór het eerste token: bij Auto neemt een verwant model de beurt over; bij een expliciete keuze zie je een eerlijke, gelokaliseerde foutmelding. De modellen die dit het vaakst deden, verlieten de Auto-pool — dezelfde test die eerder deze zomer een klasse modellen verwijderde, toegepast op hetzelfde bewijs.
Er is geen later
"Ik stuur het over een paar minuten" is iets wat een mens zegt. Een chatbeurt kan dat niet: wat nu niet wordt geproduceerd, komt nooit meer aan, en de belofte is een storing verkleed als beleefde zin. Antwoorden die een later beloofden, worden nu herhaald totdat ze het binnen de beurt leveren, in alle negenentwintig talen die de app spreekt, en ook in de assistentbubbel net als in de chat.
Niets hiervan is een modelupgrade. Het is de loodgieterij rond het model, gebouwd om het de beloftes te laten nakomen die de interface al doet.