Qualcuno ha chiesto come e quando assumere un comune antidepressivo, se prima o dopo i pasti, e cosa contiene. Lo ha chiesto in russo. L'interfaccia era in turco. Il motore in modalità Auto ha risposto con un rifiuto preconfezionato — in inglese. Invitato a rispondere in russo, ha rifiutato di nuovo, in russo. Un minuto dopo la chat è stata cancellata. Ogni altro assistente risponde a quella domanda, e la persona aveva ragione ad aspettarsi lo stesso.
Una conversazione cancellata, quattro difetti.
L'informazione non è consulenza
A cosa serve un medicinale, come si assume, cosa contiene, se richiede la prescrizione — questo è il foglietto illustrativo, pubblico e documentato. Il prompt di sistema ora lo dice chiaramente: rispondi, aggiungi una riga che indirizza a un professionista per la decisione personale, e continua a rifiutare le cose che devono essere rifiutate — overdose, autolesionismo, modi per aggirare una prescrizione. Ampliare ciò a cui si risponde non ha ampliato ciò che è permesso; ha dato un nome al silenzio nel mezzo in cui un modello piccolo si era inventato una propria politica.
Un rifiuto è una risposta
La regola secondo cui le risposte seguono la lingua del messaggio si trovava lontano dalla fine di un prompt lungo, e un modello di rifiuto è la risposta più probabile a saltarla. La regola ora viene ripetuta dove un modello legge per ultimo, e la lingua dell'interfaccia è solo un criterio di spareggio per un numero nudo o un link. Una domanda in russo su uno schermo in turco ottiene risposta in russo, e viene rifiutata in russo se necessario.
C'era una causa più profonda sotto la superficie. La parte del server che trasmette in streaming una risposta viene eseguita staccata dalla richiesta, e la cultura della richiesta non la seguiva lì — così ogni turno in streaming veniva eseguito nella lingua propria del server, e anche le circa venti frasi di sistema che uno streaming può emettere uscivano in quella lingua. La cultura viene ora catturata all'inizio e riapplicata all'interno del gestore. Anche ogni client in streaming, sul web come sul telefono, invia ora la propria lingua insieme alla richiesta, cosa che tre dei quattro non facevano.
Una risposta vuota è un fallimento con un codice di stato migliore
Un motore a volte restituiva una risposta completata ma vuota. L'app lo interpretava come una fine turno pulita e mostrava un segnaposto che diceva che gli strumenti avevano terminato. Ora viene trattato come qualsiasi altro fallimento prima del primo token: in Auto un motore gemello prende il turno; con una scelta esplicita vedi un errore onesto e localizzato. I motori che lo facevano più spesso hanno lasciato il pool Auto — lo stesso test che aveva rimosso una classe di modelli all'inizio dell'estate, applicato alla stessa evidenza.
Non esiste un dopo
"Te lo mando tra qualche minuto" è qualcosa che dice una persona. Un turno di chat non può: tutto ciò che non viene prodotto ora non arriverà mai, e la promessa è un fallimento travestito da frase cortese. Le risposte che promettevano un dopo vengono ora ripetute finché non lo consegnano nel turno, in tutte le ventinove lingue parlate dall'app, e nel fumetto dell'assistente oltre che in chat.
Nessuno di questi è un aggiornamento del modello. Sono l'impiantistica attorno al modello, costruita per far mantenere le promesse che l'interfaccia fa già.