Majoritatea produselor de inteligență artificială cad pe o dimensiune care nu are nicio legătură cu calitatea modelului. Cad la cinste — nu în înțelesul minciunii pe față, ci pe căile mai tăcute: a ascunde cât costă un apel, a afirma nerozii cu siguranță și fără rezerve, a lăsa să dispară o stare care nu poate fi adusă înapoi și a nu învăța niciodată din frecarea pe care o produc. Aceste căderi sunt hotărâri de proiectare, chiar când arată ca scăpări.
Mai jos este cadrul de cinci tipare pe care îl folosim în ToRun pe dinăuntru ca să judecăm fiecare suprafață pe care o construim. Nu susținem că o trecem mereu. Susținem că acestea sunt întrebările potrivite.
Transparență: a arăta starea reală și costul real
Tiparul necinstit clasic este cețosul „s-au consumat câteva credite". Facturarea transparentă înseamnă că se poate privi orice apel trecut și se poate reconstitui exact ce s-a taxat și de ce — furnizor, model, modalitate, unități consumate, tarif în momentul execuției, eventuala prefacere de monedă și marja platformei. Dacă vreunul dintre aceste câmpuri lipsește sau este estimat ulterior, factura este ficțiune.
O cădere de transparență mai subtilă este ascunderea alegerii modelului. Dacă un produs coboară tăcut cererea ta la un model mai ieftin fiindcă ai atins o limită moale, s-ar putea să primești un răspuns mai slab și să nu afli niciodată. Cinstit este să spui ce model a rulat, de ce a fost ales și care erau înlocuitorii. Hotărârea de direcționare ar trebui să poată fi cercetată, nu să fie o cutie neagră.
Transparența se aplică și stării. Dacă îți rulează o sarcină în fundal, interfața ar trebui s-o spună și să-ți dea o cale de a o opri. Indicatoarele „se prelucrează" care nu pot fi anulate sunt minciuni mici.
Reversibilitate: a lăsa să se anuleze
Ireversibilitatea este cea mai subapreciată cădere de interfață în produsele de inteligență artificială. Ceri unui flux să trimită un mesaj sau să publice pe un canal, el se descarcă îndată, iar singurul colac de salvare este o scuză scrisă de mână. Fără pas intermediar. Fără confirmare când miza este mare. Fără anulare.
Tiparul reversibilității cere ca produsele să deosebească operațiile de citire de cele de scriere, să arate pași de confirmare pentru acțiunile cu urmări și să țină starea destul de mult ca greșelile să poată fi observate. Pentru conținutul generat de inteligența artificială asta înseamnă că ciornele există înainte de publicare, că artefactele generate se pot recupera după ștergere și că sesiunile de conversație se pot exporta sau ramifica înainte de a le pierde.
Reversibilitatea se aplică și configurării. Dacă schimbarea unei setări are urmări mai încolo — bunăoară schimbarea modelului implicit pentru toate sesiunile viitoare — produsul ar trebui să spună ce se va schimba înainte să se schimbe, nu după.
Grijă anticipată: a preveni înainte de pagubă, nu după
Un produs cinstit spune „acest mesaj va consuma o parte însemnată din soldul tău" înainte de apel, nu pe o chitanță de după. Spune „acest pas de flux nu are tratarea erorilor; dacă unealta dinainte cade, rularea se va opri în tăcere" pe când îl construiești, nu în timpul unui incident la două noaptea.
Grija anticipată înseamnă că produsul modelează ce ar putea merge prost din unghiul persoanei și arată asta la punctul de hotărâre. Este mai greu decât sună, fiindcă cere produsului să înțeleagă intenția, nu doar să execute comenzi. Cine comandă o generare în lot a 200 de imagini vrea probabil să știe costul estimat dinainte, chiar fără o întrebare explicită.
Tiparul căderii aici este acordarea pe conversie — a înăbuși avertismentele de cost fiindcă produc șovăire. Pe termen scurt asta poate ridica activarea. Pe termen lung îi învață pe oameni să nu aibă încredere în tine.
Cinste de cunoaștere: a spune ce nu știi
Modelele de inteligență artificială născocesc. Știe asta orice echipă care construiește produse de inteligență artificială. Răspunsul necinstit de proiectare este să prezinți ieșirile modelului cu o siguranță uniformă și să lași problema să fie descoperită mai târziu. Răspunsul cinstit este să construiești căi explicite de semnalare a nesiguranței.
Asta înseamnă: când un model citează surse, trimiterile trebuie să fie reale și deschizibile. Când un model spune „după data încheierii antrenării mele", această rezervă trebuie să rămână vizibilă în interfață și nu trebuie tăiată pentru un text mai îngrijit. Când răspunsurile cu regăsire cad înapoi pe cunoașterea parametrică fiindcă nu s-a găsit niciun pasaj relevant, răspunsul ar trebui s-o spună în loc să prezinte răspunsul parametric ca întemeiat.
Cinstea de cunoaștere se întinde și asupra produsului însuși. „Această funcție este experimentală" nu este un avertisment de ascuns — este informația necesară pentru potrivirea încrederii. Dacă există un scor de siguranță și este scăzut, arată-l. Dacă lanțul de direcționare a cotit spre un model secundar fiindcă cel principal nu era disponibil, spune asta în metadatele apelului.
Bucla de învățare: a închide bucla de răspuns
Cea mai vicleană cădere de interfață este un produs care nu devine niciodată mai bun la a te servi fiindcă nu observă niciodată unde te-a scos din sărite. A apăsa de patru ori furios un buton care arată dezactivat, dar nu este, este un semnal. A abandona în chip obișnuit o generare la jumătate este un semnal. A scrie aceeași corectură după fiecare răspuns este un semnal.
O platformă cinstită prinde aceste semnale la vedere, le folosește ca să îmbunătățească direcționarea și valorile implicite și arată ce a învățat. Nu „folosim datele tale ca să îmbunătățim produsul" într-o notă de subsol a condițiilor — ci o buclă de răspuns vizibilă: „am observat că la sarcinile de cod treci adesea de la modelul ales automat la unul anume; îl facem implicit?".
Bucla de învățare cuprinde și recunoașterea faptului că platforma a greșit. Dacă un model a produs un răspuns greșit faptic pe care cineva l-a corectat, această corectură valorează mai mult decât o mie de degete mari ridicate. A o trata așa este un act de cinste față de persoană și față de propria potrivire a produsului.
Ștacheta
Niciunul dintre aceste cinci tipare nu este greu tehnic. Greu este să le dai întâietate, fiindcă uneori coboară indicatorii de implicare pe termen scurt. Cine vede avertismente de cost șovăie. Cine vede înștiințări de nesiguranță are mai puțină încredere în răspunsuri izolate. Cine poate anula este mai puțin legat.
Pariul proiectării cinstite este că aceste frecări clădesc încredere durabilă și că încrederea durabilă este singura temelie pe care poate sta un produs într-o categorie atât de plină de urmări ca inteligența artificială. Platformele care sar peste ștacheta cinstei nu clădesc relații — poartă o extragere lentă. Deosebirea se vede în plecări, în volumul de întrebări către asistență și în acel soi de vorbă din gură în gură care chiar se adună.
Judecăm fiecare suprafață ToRun după aceste cinci tipare înainte s-o scoatem. Tot le ratăm. Când se întâmplă, urma de audit este destul de dezvelită ca să ni se poată spune.