Większość produktów AI zawodzi w wymiarze niemającym nic wspólnego z jakością modelu. Zawodzą w uczciwości — nie w sensie jawnego kłamstwa, lecz na cichszych drogach: ukrywanie, ile kosztuje wywołanie, twierdzenie bzdur z pewnością i bez zastrzeżeń, pozwalanie znikać stanowi, którego nie da się odzyskać, i nieuczenie się nigdy na tarciu, które wywołują. Te potknięcia są decyzjami projektowymi, nawet gdy wyglądają na przeoczenia.
Poniżej rama pięciu wzorców, której używamy w ToRun wewnętrznie do oceny każdej budowanej powierzchni. Nie twierdzimy, że zawsze ją pokonujemy. Twierdzimy, że to właściwe pytania.
Przejrzystość: pokazywać rzeczywisty stan i rzeczywisty koszt
Klasycznym nieuczciwym wzorcem jest mgliste „zużyto trochę kredytów". Przejrzyste rozliczanie znaczy, że można obejrzeć dowolne minione wywołanie i odtworzyć dokładnie, co naliczono i dlaczego — dostawca, model, modalność, zużyte jednostki, stawka w chwili wykonania, przeliczenie waluty, jeśli było, i marża platformy. Jeśli któregoś z tych pól brakuje albo jest szacowane po fakcie, rachunek jest fikcją.
Subtelniejszym potknięciem przejrzystości jest ukrywanie wyboru modelu. Jeśli produkt po cichu obniża twoje żądanie do tańszego modelu, bo trafiłeś w miękki limit, możesz dostać gorszą odpowiedź i nigdy się o tym nie dowiedzieć. Uczciwe jest powiedzieć, który model zadziałał, dlaczego go wybrano i jakie były alternatywy. Decyzja o kierowaniu powinna być możliwa do obejrzenia, a nie czarną skrzynką.
Przejrzystość dotyczy też stanu. Jeśli w tle działa dla ciebie zadanie, interfejs powinien to powiedzieć i dać sposób na zatrzymanie. Wskaźniki „przetwarzanie", których nie da się anulować, to małe kłamstwa.
Odwracalność: pozwalać cofnąć
Nieodwracalność to najbardziej niedoceniane potknięcie interfejsu w produktach AI. Prosisz przepływ o wysłanie listu albo publikację w kanale, on strzela od razu, a jedynym ratunkiem jest napisana ręcznie wiadomość z przeprosinami. Bez kroku pośredniego. Bez potwierdzenia, gdy stawka jest wysoka. Bez cofnięcia.
Wzorzec odwracalności wymaga, by produkty rozróżniały operacje odczytu i zapisu, pokazywały kroki potwierdzenia dla działań z konsekwencjami i trzymały stan dość długo, żeby błędy dało się zauważyć. Dla treści wytworzonej przez AI znaczy to, że wersje robocze istnieją przed publikacją, wygenerowane artefakty da się odzyskać po usunięciu, a sesje czatu można wyeksportować albo rozgałęzić, zanim je stracisz.
Odwracalność dotyczy też konfiguracji. Jeśli zmiana ustawienia ma skutki dalej — na przykład zmiana domyślnego modelu dla wszystkich przyszłych sesji — produkt powinien powiedzieć, co się zmieni, zanim to się zmieni, a nie po.
Uprzedzająca troska: ostrzegać przed szkodą, a nie po niej
Uczciwy produkt mówi „ta wiadomość zużyje znaczną część twojego salda" przed wywołaniem, a nie na paragonie po. Mówi „ten krok przepływu nie ma obsługi błędów; jeśli poprzednie narzędzie zawiedzie, przebieg cicho stanie" wtedy, gdy go budujesz, a nie podczas awarii o drugiej w nocy.
Uprzedzająca troska znaczy, że produkt modeluje, co może pójść nie tak z punktu widzenia człowieka, i pokazuje to w punkcie decyzji. To trudniejsze, niż brzmi, bo wymaga od produktu rozumienia zamiaru, a nie tylko wykonywania poleceń. Kto zamawia wsadowe wygenerowanie 200 obrazów, zapewne chce znać szacowany koszt z góry, nawet o niego wprost nie pytając.
Wzorzec porażki jest tu taki: optymalizować pod konwersję — tłumić ostrzeżenia o koszcie, bo powodują wahanie. Krótkoterminowo może to podnieść aktywację. Długoterminowo uczy ludzi, żeby ci nie ufali.
Uczciwość poznawcza: mówić, czego się nie wie
Modele AI konfabulują. Wie o tym każdy zespół budujący produkty AI. Nieuczciwą odpowiedzią projektową jest podawanie wyników modelu z jednolitą pewnością i pozostawianie odkrycia problemu na później. Uczciwą odpowiedzią jest zbudowanie jawnych ścieżek sygnalizowania niepewności.
Znaczy to: gdy model cytuje źródła, przypisy muszą być prawdziwe i możliwe do otwarcia. Gdy model mówi „według daty odcięcia mojego treningu", to zastrzeżenie musi pozostać widoczne w interfejsie, a nie zostać wycięte dla schludniejszego tekstu. Gdy odpowiedzi z pobieraniem spadają do wiedzy parametrycznej, bo nie znaleziono trafnego fragmentu, odpowiedź powinna to powiedzieć, zamiast podawać odpowiedź parametryczną jako osadzoną.
Uczciwość poznawcza rozciąga się na sam produkt. „Ta funkcja jest eksperymentalna" to nie ostrzeżenie do schowania — to informacja potrzebna, by wykalibrować zaufanie. Jeśli istnieje ocena pewności i jest niska, pokaż ją. Jeśli potok kierowania zszedł na model zapasowy, bo główny był niedostępny, powiedz to w metadanych wywołania.
Pętla uczenia: domknąć sprzężenie zwrotne
Najbardziej podstępnym potknięciem interfejsu jest produkt, który nigdy nie staje się lepszy w służeniu ci, bo nigdy nie obserwuje, gdzie cię zirytował. Czterokrotne złe kliknięcie w przycisk, który wygląda na wyłączony, choć nie jest, to sygnał. Regularne porzucanie generowania w połowie to sygnał. Pisanie tej samej poprawki po każdej odpowiedzi to sygnał.
Uczciwa platforma zbiera te sygnały jawnie, używa ich do poprawy kierowania i wartości domyślnych i pokazuje, czego się nauczyła. Nie „używamy twoich danych do ulepszania produktu" w przypisie regulaminu — lecz widoczne sprzężenie: „zauważyliśmy, że przy zadaniach z kodem często przechodzisz z modelu wybranego automatycznie na konkretny; ustawić go jako domyślny?".
Pętla uczenia obejmuje też przyznanie się, gdy platforma się pomyliła. Jeśli model wytworzył odpowiedź faktograficznie błędną, którą ktoś poprawił, ta poprawka warta jest więcej niż tysiąc kciuków w górę. Traktowanie jej tak jest aktem uczciwości wobec człowieka i wobec własnej kalibracji produktu.
Poprzeczka
Żaden z tych pięciu wzorców nie jest trudny technicznie. Trudne jest nadanie im priorytetu, bo bywa, że obniżają krótkoterminowe wskaźniki zaangażowania. Kto widzi ostrzeżenia o koszcie, waha się. Kto widzi powiadomienia o niepewności, mniej ufa pojedynczym odpowiedziom. Kto może cofnąć, jest mniej uwiązany.
Zakład uczciwego projektu jest taki, że te tarcia budują trwałe zaufanie, a trwałe zaufanie to jedyny fundament, na którym produkt może stać w kategorii tak brzemiennej w skutki jak AI. Platformy pomijające poprzeczkę uczciwości nie budują relacji — prowadzą powolne wydobycie. Różnicę widać w odejściach, w liczbie zgłoszeń do pomocy i w tym rodzaju poczty pantoflowej, który naprawdę się sumuje.
Oceniamy każdą powierzchnię ToRun wobec tych pięciu wzorców, zanim ją wydamy. I tak je mijamy. Gdy to się dzieje, ślad audytu jest dość odsłonięty, żeby można nam było o tym powiedzieć.