Někdo se zeptal, jak a kdy užívat běžné antidepresivum, zda před jídlem nebo po něm, a co obsahuje. Zeptal se v ruštině. Rozhraní bylo v turečtině. Model v režimu Auto odpověděl naučeným odmítnutím — v angličtině. Když dostal pokyn odpovědět v ruštině, odmítl znovu, tentokrát v ruštině. O minutu později byla konverzace smazána. Na tuto otázku odpoví každý jiný asistent a člověk měl plné právo očekávat totéž.
Jedna smazaná konverzace, čtyři chyby.
Informace není rada
K čemu lék slouží, jak se užívá, co obsahuje, zda je na předpis — to je příbalový leták, veřejný a zdokumentovaný. Systémový prompt to nyní jasně říká: odpovědět, přidat jednu větu odkazující na odborníka pro osobní rozhodnutí a nadále odmítat to, co se odmítat musí — předávkování, sebepoškozování, obcházení předpisu. Rozšíření toho, na co se odpovídá, nerozšířilo to, co je dovoleno; pojmenovalo ticho uprostřed, kde si malý model dosud vymýšlel vlastní politiku.
Odmítnutí je odpověď
Pravidlo, že odpovědi následují jazyk zprávy, leželo daleko od konce dlouhého promptu, a šablona odmítnutí je odpovědí, která jej nejspíš vynechá. Pravidlo se nyní opakuje tam, kde model čte naposledy, a jazyk rozhraní je pouze rozhodujícím faktorem u holého čísla nebo odkazu. Ruská otázka na tureckém displeji je zodpovězena rusky a v případě nutnosti i odmítnuta rusky.
Pod tím byla ještě hlubší příčina. Část serveru, která streamuje odpověď, běží odpojená od požadavku, a kultura požadavku tam s ní nešla — takže každá streamovaná replika běžela ve vlastním jazyce serveru a dvacet a víc systémových zpráv, které stream může vydat, přišlo ve stejném jazyce. Kultura je nyní zachycena na začátku a znovu použita uvnitř běhu. Každý streamovací klient, na webu i v telefonu, nyní posílá svůj jazyk společně s požadavkem, což tři ze čtyř dříve nedělaly.
Prázdná odpověď je selhání s lepším stavovým kódem
Jeden model občas vrátil dokončenou odpověď, ve které nic nebylo. Aplikace to vyhodnotila jako čistý konec repliky a zobrazila zástupný text, že nástroje dokončily práci. Nyní je to řešeno stejně jako jakékoli jiné selhání před prvním tokenem: v režimu Auto repliku převezme jiný model; při explicitní volbě uvidíte upřímnou, lokalizovanou chybu. Modely, které to dělaly nejčastěji, opustily skupinu Auto — stejný test, který dřív v létě odstranil jednu třídu modelů, aplikovaný na stejné důkazy.
Žádné později neexistuje
„Pošlu to za pár minut“ je něco, co říká člověk. Replika v konverzaci to nemůže: cokoli není vytvořeno teď, nikdy nedorazí, a slib je selháním v obalu zdvořilé věty. Odpovědi, které slibovaly „později“, se nyní opakují, dokud to nedoručí přímo v dané replice, ve všech dvaceti devíti jazycích, které aplikace podporuje, i v bublině asistenta stejně jako v konverzaci.
Nic z toho není upgrade modelu. Je to instalatérská práce kolem modelu, díky které dodržuje sliby, které rozhraní už dávalo.