Niekto sa opýtal, ako a kedy užívať bežné antidepresívum, či pred jedlom alebo po ňom, a čo obsahuje. Opýtal sa v ruštine. Rozhranie bolo v turečtine. Model v režime Auto odpovedal naučeným odmietnutím — v angličtine. Keď dostal pokyn odpovedať v ruštine, odmietol znova, tentoraz v ruštine. O minútu neskôr bola konverzácia zmazaná. Na túto otázku odpovie každý iný asistent a používateľ mal plné právo očakávať to isté.
Jedna zmazaná konverzácia, štyri chyby.
Informácia nie je rada
Na čo liek slúži, ako sa užíva, čo obsahuje, či je na predpis — to je príbalový leták, verejný a zdokumentovaný. Systémový prompt to teraz jasne hovorí: odpovedať, pridať jednu vetu odkazujúcu na odborníka pre osobné rozhodnutie a naďalej odmietať to, čo sa odmietať musí — predávkovanie, sebapoškodzovanie, obchádzanie predpisu. Rozšírenie toho, na čo sa odpovedá, nerozšírilo to, čo je dovolené; pomenovalo ticho uprostred, kde si malý model doteraz vymýšľal vlastnú politiku.
Odmietnutie je odpoveď
Pravidlo, že odpovede nasledujú jazyk správy, ležalo ďaleko od konca dlhého promptu, a šablóna odmietnutia je odpoveďou, ktorá ho najskôr vynechá. Pravidlo sa teraz opakuje tam, kde model číta naposledy, a jazyk rozhrania je iba rozhodujúcim faktorom pri holom čísle alebo odkaze. Ruská otázka na tureckej obrazovke je zodpovedaná po rusky a v prípade potreby aj odmietnutá po rusky.
Pod tým bola ešte hlbšia príčina. Časť servera, ktorá streamuje odpoveď, beží odpojená od požiadavky, a kultúra požiadavky tam s ňou nešla — takže každá streamovaná replika bežala vo vlastnom jazyku servera a dvadsať a viac systémových správ, ktoré stream môže vydať, prišlo v rovnakom jazyku. Kultúra je teraz zachytená na začiatku a znovu použitá vo vnútri behu. Každý streamovací klient, na webe aj v telefóne, teraz posiela svoj jazyk spolu s požiadavkou, čo tri zo štyroch predtým nerobili.
Prázdna odpoveď je zlyhanie s lepším stavovým kódom
Jeden model občas vrátil dokončenú odpoveď, v ktorej nič nebolo. Aplikácia to vyhodnotila ako čistý koniec repliky a zobrazila zástupný text, že nástroje dokončili prácu. Teraz je to riešené rovnako ako akékoľvek iné zlyhanie pred prvým tokenom: v režime Auto repliku prevezme iný model; pri explicitnej voľbe uvidíte úprimnú, lokalizovanú chybu. Modely, ktoré to robili najčastejšie, opustili skupinu Auto — ten istý test, ktorý predtým v lete odstránil jednu triedu modelov, aplikovaný na rovnaké dôkazy.
Žiadne neskôr neexistuje
„Pošlem to o pár minút“ je niečo, čo hovorí človek. Replika v konverzácii to nemôže: čokoľvek nie je vytvorené teraz, nikdy nepríde, a sľub je zlyhaním v obale zdvorilej vety. Odpovede, ktoré sľubovali „neskôr“, sa teraz opakujú, kým to nedoručia priamo v danej replike, vo všetkých dvadsiatich deviatich jazykoch, ktoré aplikácia podporuje, aj v bubline asistenta rovnako ako v konverzácii.
Nič z toho nie je upgrade modelu. Je to inštalatérska práca okolo modelu, vďaka ktorej dodržiava sľuby, ktoré rozhranie už dávalo.