Biri yaygın bir antidepresanın nasıl ve ne zaman alınacağını, yemekten önce mi sonra mı olduğunu ve içinde ne olduğunu sordu. Rusça sordu. Arayüz Türkçe'ydi. Otomatik'teki motor hazır bir reddedişle yanıtladı — İngilizce. Rusça yanıtlaması söylendiğinde yine reddetti, bu sefer Rusça. Bir dakika sonra sohbet silindi. Diğer her asistan bu soruyu yanıtlıyor ve kişi aynısını beklemekte haklıydı.
Silinmiş bir konuşma, dört kusur.
Bilgi tavsiye değildir
Bir ilacın ne için olduğu, nasıl alındığı, içinde ne olduğu, reçete gerektirip gerektirmediği — bu, herkese açık ve belgelenmiş prospektüs bilgisidir. Sistem istemi artık bunu açıkça söylüyor: yanıtla, kişisel karar için bir uzmana yönlendiren tek bir satır ekle ve reddedilmesi gereken şeyleri reddetmeye devam et — doz aşımı, kendine zarar verme, reçeteyi atlatma yolları. Neyin yanıtlanacağını genişletmek, neye izin verildiğini genişletmedi; küçük bir modelin kendi başına bir politika uydurduğu ortadaki sessizliği adlandırdı.
Bir reddediş de bir yanıttır
Yanıtların mesajın dilini takip etmesi kuralı, uzun bir istemin sonundan çok uzakta oturuyordu ve bir reddediş şablonu bunu atlaması en muhtemel yanıttı. Kural artık bir modelin en son okuduğu yerde tekrarlanıyor ve arayüz dili yalnızca çıplak bir sayı ya da bağlantı için bir eşitlik bozucu. Türkçe bir ekranda Rusça bir soru Rusça yanıtlanıyor ve gerekirse Rusça reddediliyor.
Altında daha derin bir sebep vardı. Sunucunun bir yanıtı akış olarak gönderen kısmı istekten bağımsız çalışıyor ve isteğin kültürü onu oraya kadar takip etmiyordu — böylece her akış turu sunucunun kendi dilinde çalıştı ve bir akışın gönderebileceği yirmi küsur sistem mesajı da o dilde çıktı. Kültür artık başlangıçta yakalanıp çalıştırıcının içinde yeniden uygulanıyor. Hem webde hem telefonda her akış istemcisi de dilini istekle birlikte gönderiyor — dördünden üçü bunu yapmıyordu.
Boş bir yanıt, daha iyi bir durum koduna sahip bir başarısızlıktır
Bir motor bazen içinde hiçbir şey olmayan, tamamlanmış bir yanıt döndürüyordu. Uygulama bunu turun temiz bir bitişi olarak okuyor ve araçların bittiğini söyleyen bir yer tutucu gösteriyordu. Artık ilk token'dan önceki her diğer başarısızlık gibi işlem görüyor: Otomatik'te bir kardeş motor turu devralıyor; açık bir seçimde ise dürüst, yerelleştirilmiş bir hata görüyorsun. Bunu en sık yapan motorlar Otomatik havuzundan çıkarıldı — yazın başlarında bir model sınıfını kaldıran aynı test, aynı kanıta uygulanarak.
Sonrası yok
"Birkaç dakikaya gönderirim" bir insanın söyleyebileceği bir şey. Bir sohbet turu söyleyemez: şimdi üretilmeyen hiçbir şey asla gelmeyecektir ve bu söz, kibar bir cümle giymiş bir başarısızlıktır. Sonrasına söz veren yanıtlar, uygulamanın konuştuğu yirmi dokuz dilin tamamında ve sohbette olduğu kadar asistan balonunda da, turun içinde teslim edene kadar yeniden deneniyor.
Bunların hiçbiri model yükseltmesi değil. Bunlar, modelin etrafındaki, arayüzün zaten verdiği sözleri tutmasını sağlayan tesisat.