Çoğu yapay zekâ ürünü, model kalitesiyle hiç ilgisi olmayan bir boyutta başarısız oluyor. Dürüstlükte başarısız oluyorlar — düpedüz yalan söyleme anlamında değil, daha sessiz yollarla: bir çağrının maliyetini gömmek, kendinden emin saçmalığı çekincesiz söylemek, kullanıcının geri getiremeyeceği durumu yok etmek ve yaşattıkları sürtünmeden hiç ders çıkarmamak. Gözden kaçmış gibi görünseler bile bu başarısızlıklar birer tasarım tercihidir.
Aşağıda, kurduğumuz her yüzeyi denetlemek için ToRun'da içeride kullandığımız beş kalıplık çerçeve var. Her zaman geçtiğimizi iddia etmiyoruz. Bunların doğru sorular olduğunu iddia ediyoruz.
Şeffaflık: gerçek durumu ve gerçek maliyeti göster
Klasik sahtekâr kalıp, bulanık bir "bir miktar kredi kullanıldı" ifadesidir. Şeffaf faturalandırma, kullanıcının geçmiş herhangi bir çağrıya bakıp tam olarak neyin neden ücretlendirildiğini yeniden kurabilmesi demektir — sağlayıcı, model, modalite, tüketilen birimler, yürütme anındaki oran, varsa döviz çevrimi ve platform marjı. Bu alanlardan herhangi biri yoksa ya da sonradan tahmin edildiyse, fatura bir kurgudur.
Daha ince bir şeffaflık başarısızlığı model seçimini gizlemektir. Bir ürün, yumuşak bir sınıra takıldınız diye isteğinizi sessizce daha ucuz bir modele düşürdüğünde, daha kötü bir cevap alırsınız ve bunu hiç bilmezsiniz. Dürüst davranış, kullanıcıya hangi modelin çalıştığını, neden seçildiğini ve alternatiflerin ne olduğunu söylemektir. Yönlendirme kararı bir kara kutu değil, incelenebilir olmalıdır.
Şeffaflık durumu da kapsar. Sizin adınıza bir arka plan işi çalışıyorsa arayüz bunu söylemeli ve durdurmanız için bir yol vermelidir. İptal edilemeyen "işleniyor" dönenceleri küçük birer yalandır.
Geri alınabilirlik: kullanıcının geri almasına izin ver
Geri alınamazlık, yapay zekâ ürünlerinde en hafife alınan kullanılabilirlik başarısızlığıdır. Bir iş akışından e-posta göndermesini ya da bir kanala paylaşım yapmasını istersiniz, hemen ateşlenir ve tek kurtarma yolu elle yazılmış özür dolu bir mesajdır. Hazırlık aşaması yok. Bahis yüksekken onay yok. Geri alma yok.
Geri alınabilirlik kalıbı, ürünlerin okumalarla yazmaları ayırt etmesini, sonuçlu eylemler için onay adımları göstermesini ve hataların yakalanabileceği kadar durumu tutmasını gerektirir. Yapay zekâ üretimi içerik için bu şu demek: yayından önce taslaklar var olur, üretilmiş çıktılar silindikten sonra kurtarılabilir ve sohbet oturumları kaybolmadan önce dışa aktarılabilir ya da çatallanabilir.
Geri alınabilirlik yapılandırmayla da ilgilidir. Bir ayarı değiştirmenin zincirleme etkileri varsa — diyelim gelecekteki tüm oturumlar için varsayılan modeli değiştirmek — ürün neyin değişeceğini onaydan sonra değil önce söylemelidir.
Öngörülü ilgi: zarardan sonra değil önce uyar
Dürüst bir ürün, "bu mesaj bakiyenizin büyük bir bölümünü tüketmek üzere" der; çağrıdan sonraki makbuzda değil, çağrıdan önce. "Bu iş akışı adımının hata işleyicisi yok; yukarı akıştaki araç başarısız olursa çalıştırma sessizce duracak" der; olay gece ikide patladığında değil, siz kurarken.
Öngörülü ilgi, ürünün neyin ters gidebileceğini kullanıcının bakış açısından modellemesi ve bunu karar anında göstermesi demektir. Bu göründüğünden zordur, çünkü ürünün yalnızca komutları yürütmesini değil kullanıcı niyetini anlamasını gerektirir. 200 görsellik toplu üretim isteyen bir kullanıcı, açıkça sormamış olsa bile başlamadan önce tahmini maliyeti bilmek ister.
Buradaki başarısızlık biçimi dönüşüm için iyileştirmektir — tereddüde yol açtığı için maliyet uyarılarını bastırmak. Kısa vadede etkinleşmeyi artırabilir. Uzun vadede kullanıcılara size güvenmemeyi öğretir.
Bilgikuramsal dürüstlük: bilmediğini söyle
Yapay zekâ modelleri uydurur. Yapay zekâ ürünü kuran her ekip bunu bilir. Sahtekâr tasarım tepkisi, model çıktısını tek tip bir kesinlikle sunmak ve kullanıcının sorunu aşağı akışta keşfetmesine izin vermektir. Dürüst tepki, belirsizlik için açık sinyal yolları kurmaktır.
Bu şu demek: bir model kaynak gösterdiğinde alıntılar gerçek ve bağlanabilir olmalı. Bir model "eğitim verime göre" dediğinde, o çekince daha temiz görünsün diye ayıklanmamalı, arayüzde görünmelidir. Erişimle güçlendirilmiş cevaplar, ilgili bir parça bulunamadığı için parametrik bilgiye düştüğünde, yanıt bunu söylemeli; parametrik cevabı temellendirilmiş gibi sunmamalıdır.
Bilgikuramsal dürüstlük ürünün kendisine de uzanır. "Bu özellik deneyseldir" saklanacak bir sorumluluk reddi değil — kullanıcının güvenini ayarlaması için ihtiyaç duyduğu bilgidir. Bir güven puanı varsa ve düşükse, gösterin. Yönlendirme hattı, birincil model erişilemez olduğu için ikincil bir modele düştüyse, bunu çağrı üstverisinde söyleyin.
Öğrenme döngüsü: geri bildirim çevrimini kapat
En sinsi kullanılabilirlik başarısızlığı, sizi nerede zorladığını hiç gözlemlemediği için size hizmet etmekte hiç iyileşmeyen bir üründür. Devre dışı görünen ama olmayan bir düğmeye öfkeyle dört kez tıklamak bir sinyaldir. Bir üretimi tutarlı biçimde yarıda iptal etmek bir sinyaldir. Her yanıttan sonra aynı düzeltmeyi yazmak bir sinyaldir.
Dürüst bir platform bu sinyalleri bildirimle yakalar, yönlendirmeyi ve varsayılanları iyileştirmek için kullanır ve ne öğrendiğini gösterir. Kullanım koşullarının dipnotunda "ürünü geliştirmek için verinizi kullanıyoruz" değil — görünür bir geri bildirim döngüsü: "kod işlerinde otomatik seçilen modelden belirli bir modele sık sık geçtiğinizi fark ettik; bunu varsayılanınız yapmak ister misiniz?"
Öğrenme döngüsü, platformun kötü bir karar verdiğini kabul etmek anlamına da gelir. Bir model olgusal olarak yanlış bir cevap ürettiyse ve kullanıcı bunu düzelttiyse, o düzeltme bin beğeni sinyalinden değerlidir. Buna öyle davranmak, hem kullanıcıya hem de ürünün kendi ayarına karşı bir dürüstlük eylemidir.
Çıta
Bu beş kalıbın hiçbirini uygulamak teknik olarak zor değil. Zor olan onları öncelemek, çünkü zaman zaman kısa vadeli etkileşim metriklerini düşürüyorlar. Maliyet uyarısı gören kullanıcılar tereddüt eder. Belirsizlik çekincesi gören kullanıcılar tek tek cevaplara daha az güvenir. Geri alabilen kullanıcılar daha az kilitlenir.
Dürüst tasarımın oynadığı bahis şu: bu sürtünmeler kalıcı güven inşa eder ve kalıcı güven, yapay zekâ kadar sonuçlu bir kategoride bir ürünün üzerine kurulabileceği tek temeldir. Dürüst kullanılabilirlik çıtasını atlayan platformlar ilişki kurmuyor — yavaş bir çıkarım işletiyorlar. Fark; kayıp oranında, destek hacminde ve gerçekten birikerek büyüyen ağızdan ağıza yayılmanın türünde kendini gösteriyor.
Her ToRun yüzeyini yayına almadan önce bu beş kalıba karşı denetliyoruz. Yine de kaçırıyoruz. Kaçırdığımızda, denetim izi kullanıcıların bize söyleyebileceği kadar açık.