Någon frågade hur och när man tar ett vanligt antidepressivt läkemedel, om det ska tas före eller efter mat, och vad det innehåller. De frågade på ryska. Gränssnittet var på turkiska. Motorn på Auto svarade med ett standardavslag — på engelska. Ombedd att svara på ryska avvisade den igen, på ryska. En minut senare raderades chatten. Varje annan assistent svarar på den frågan, och personen hade rätt att förvänta sig samma sak.
En raderad konversation, fyra defekter.
Information är inte rådgivning
Vad ett läkemedel är till för, hur det tas, vad det innehåller, om det kräver recept — det är bipacksedeln, offentlig och dokumenterad. Systempromten säger nu det tydligt: besvara det, lägg till en rad som pekar mot en yrkesperson för det personliga beslutet, och fortsätt avvisa det som måste avvisas — överdosering, självskada, sätt att kringgå ett recept. Att bredda vad som besvaras breddade inte vad som är tillåtet; det namngav tystnaden i mitten där en liten modell hade hittat på sin egen policy.
Ett avslag är ett svar
Regeln att svar följer meddelandets språk låg långt från slutet av en lång prompt, och en avslagsmall är det svar som mest sannolikt hoppar över den. Regeln upprepas nu där en modell läser sist, och gränssnittsspråket är bara en tie-breaker för ett naket nummer eller en länk. En rysk fråga på en turkisk skärm besvaras på ryska, och avvisas på ryska om det kommer till det.
Det fanns en djupare orsak under. Den del av servern som strömmar ett svar körs frikopplad från förfrågan, och förfrågans kultur följde inte med dit — så varje strömmad replik kördes på serverns eget språk, och de tjugotalet systemmeddelanden en ström kan sända kom också på det. Kulturen fångas nu vid start och återapplicerad inuti körningen. Varje strömmande klient, på webben såväl som på telefonen, skickar nu också sitt språk med förfrågan, vilket tre av fyra inte gjorde.
Ett tomt svar är ett fel med en bättre statuskod
En motor returnerade ibland ett avslutat svar utan något i sig. Appen läste det som ett rent slut på repliken och visade en platshållare som sa att verktygen var klara. Det behandlas nu som vilket annat fel som helst före den första token: på Auto tar en systermotor över repliken; vid ett uttryckligt val ser du ett ärligt, lokaliserat fel. Motorerna som gjorde detta oftast lämnade Auto-poolen — samma test som tog bort en klass av modeller tidigare i somras, tillämpat på samma bevis.
Det finns inget senare
"Jag skickar det om några minuter" är något en person säger. En chattreplik kan inte: vad som inte produceras nu kommer aldrig att komma, och löftet är ett misslyckande klätt i en artig mening. Svar som lovade ett senare görs om tills de levererar i repliken, på alla tjugonio språk appen talar, och i assistentbubblan såväl som chatten.
Inget av detta är modelluppgraderingar. Det är rörledningarna runt modellen som tvingas hålla de löften gränssnittet redan ger.