Večina izdelkov umetne inteligence odpove v razsežnosti, ki nima nič opraviti s kakovostjo modela. Odpovejo v poštenosti — ne v smislu odkrite laži, ampak po tišjih poteh: skrivati, koliko klic stane, s samozavestjo in brez pridržka trditi nesmisle, puščati, da izgine stanje, ki ga ni mogoče vrniti, in se nikoli ne učiti iz trenja, ki ga povzročajo. Te napake so zasnovne odločitve, tudi ko izgledajo kot spregledi.
Spodaj je okvir petih vzorcev, ki ga v ToRunu uporabljamo znotraj za presojo vsake površine, ki jo gradimo. Ne trdimo, da jo preskočimo vedno. Trdimo, da so to prava vprašanja.
Preglednost: pokazati resnično stanje in resničen strošek
Klasičen nepošten vzorec je megleno »porabljenih je bilo nekaj dobropisov«. Pregledno zaračunavanje pomeni, da si je mogoče ogledati katerikoli pretekli klic in natanko rekonstruirati, kaj je bilo zaračunano in zakaj — ponudnik, model, modalnost, porabljene enote, cena v trenutku izvedbe, morebitna pretvorba valute in marža platforme. Če katerokoli od teh polj manjka ali je ocenjeno naknadno, je račun izmišljotina.
Bolj prefinjena napaka preglednosti je skrivati izbiro modela. Če izdelek tiho zniža vašo zahtevo na cenejši model, ker ste zadeli mehko mejo, boste morda dobili slabši odgovor in tega nikoli ne izvedeli. Pošteno je povedati, kateri model je tekel, zakaj je bil izbran in katere so bile zamenjave. Odločitev o usmerjanju bi morala biti pregledljiva, ne črna skrinjica.
Preglednost velja tudi za stanje. Če vam v ozadju teče opravilo, bi vmesnik to moral povedati in dati način, kako ga ustaviti. Kazalniki »obdeluje se«, ki jih ni mogoče preklicati, so majhne laži.
Povrnljivost: pustiti razveljaviti
Nepovrnljivost je najbolj podcenjena napaka vmesnika v izdelkih umetne inteligence. Prosite tok, naj pošlje sporočilo ali objavi v kanalu, ta sproži takoj, edina rešitev pa je ročno napisano opravičilo. Brez vmesnega koraka. Brez potrditve, ko je vložek velik. Brez razveljavitve.
Vzorec povrnljivosti zahteva, da izdelki ločujejo bralne in pisalne operacije, prikazujejo korake potrditve pri dejanjih s posledicami in zadržijo stanje dovolj dolgo, da je napake mogoče opaziti. Za vsebino, ustvarjeno z umetno inteligenco, to pomeni, da osnutki obstajajo pred objavo, da so ustvarjeni artefakti po brisanju povrnljivi in da je seje klepeta mogoče izvoziti ali razvejiti, preden jih izgubite.
Povrnljivost velja tudi za nastavitve. Če ima sprememba nastavitve posledice naprej — recimo sprememba privzetega modela za vse prihodnje seje — bi moral izdelek povedati, kaj se bo spremenilo, preden se spremeni, ne potem.
Predvidevajoča skrb: opozoriti pred škodo, ne po njej
Pošten izdelek reče »to sporočilo bo porabilo znaten del vašega stanja« pred klicem, ne na računu potem. Reče »ta korak toka nima obravnave napak; če prejšnje orodje odpove, se bo potek tiho ustavil«, medtem ko ga gradite, ne ob dogodku ob dveh zjutraj.
Predvidevajoča skrb pomeni, da izdelek modelira, kaj bi lahko šlo narobe z zornega kota osebe, in to pokaže na mestu odločitve. Težje je, kot se sliši, ker od izdelka zahteva razumevanje namena, ne le izvajanje ukazov. Kdor naroči paketno ustvarjanje 200 slik, verjetno želi vnaprej vedeti ocenjen strošek, tudi brez izrecnega vprašanja.
Vzorec napake je tu uglaševati na pretvorbo — zatreti opozorila o strošku, ker povzročajo obotavljanje. Kratkoročno lahko to dvigne aktivacijo. Dolgoročno ljudi uči, naj vam ne zaupajo.
Spoznavna poštenost: povedati, česa ne veste
Modeli umetne inteligence si izmišljajo. To ve vsaka ekipa, ki gradi izdelke umetne inteligence. Nepošten zasnovni odgovor je izhode modela podajati z enakomerno gotovostjo in pustiti, da se težava odkrije pozneje. Pošten odgovor je zgraditi izrecne poti za naznanjanje negotovosti.
To pomeni: če model navaja vire, morajo biti napotila resnična in odprljiva. Če model reče »po datumu zaključka mojega učenja«, mora ta pridržek ostati viden v vmesniku in ne sme biti izrezan zaradi urejenejšega besedila. Če odgovori s priklicem padejo nazaj na parametrično znanje, ker ni bil najden pomemben odlomek, bi moral odgovor to povedati, namesto da parametrični odgovor podaja kot utemeljen.
Spoznavna poštenost se razteza tudi na sam izdelek. »Ta zmožnost je poskusna« ni opozorilo za skrivanje — to je obvestilo, potrebno za umerjanje zaupanja. Če obstaja ocena gotovosti in je nizka, jo pokažite. Če je usmerjevalni cevovod zavil na pomožni model, ker glavni ni bil na voljo, to povejte v metapodatkih klica.
Zanka učenja: skleniti povratno vez
Najbolj zahrbtna napaka vmesnika je izdelek, ki nikoli ne postane boljši v tem, kako vam služi, ker nikoli ne opazuje, kje vas je razjezil. Štirikrat jezno pritisniti gumb, ki izgleda onemogočen, pa ni, je signal. Redno opuščati ustvarjanje na pol je signal. Pisati isti popravek po vsakem odgovoru je signal.
Poštena platforma te signale zajema razkrito, jih uporablja za izboljšanje usmerjanja in privzetih vrednosti ter pokaže, česa se je naučila. Ne »vaše podatke uporabljamo za izboljšanje izdelka« v opombi pogojev — ampak vidno povratno vez: »opazili smo, da pri nalogah s kodo pogosto preidete s samodejno izbranega modela na določenega; naj ga nastavimo kot privzetega?«.
Zanka učenja vključuje tudi priznati, da se je platforma zmotila. Če je model ustvaril dejansko napačen odgovor, ki ga je kdo popravil, je ta popravek vreden več kot tisoč palcev navzgor. Ravnati z njim tako je dejanje poštenosti do osebe in do lastnega umerjanja izdelka.
Letvica
Noben od teh petih vzorcev ni tehnično težak. Težko je dati jim prednost, ker včasih znižajo kratkoročne kazalnike vpletenosti. Kdor vidi opozorila o strošku, se obotavlja. Kdor vidi obvestila o negotovosti, manj zaupa posameznim odgovorom. Kdor lahko razveljavi, je manj privezan.
Stava poštene zasnove je, da ta trenja gradijo trajno zaupanje, in da je trajno zaupanje edini temelj, na katerem izdelek lahko stoji v kategoriji, tako polni posledic, kot je umetna inteligenca. Platforme, ki letvico poštenosti preskočijo, ne gradijo odnosov — vodijo počasno črpanje. Razliko vidite v odhodih, v obsegu vprašanj podpori in v tisti vrsti ustnega priporočila, ki se res sešteva.
Vsako površino ToRuna presojamo po teh petih vzorcih, preden jo izdamo. Kljub temu jih zgrešimo. Ko se to zgodi, je sled nadzora dovolj razkrita, da nam je to mogoče povedati.