Väčšina produktov AI zlyháva v rozmere, ktorý nemá s kvalitou modelu nič spoločné. Zlyhávajú v poctivosti — nie v zmysle otvorenej lži, ale tichšími cestami: skrývať, koľko volanie stojí, tvrdiť nezmysly s istotou a bez výhrad, nechať miznúť stav, ktorý sa nedá vrátiť, a nikdy sa neučiť z trenia, ktoré spôsobujú. Tie zlyhania sú návrhové rozhodnutia, aj keď vyzerajú ako prehliadnutia.
Nižšie je rámec piatich vzorcov, ktorý v ToRun používame vnútorne na posúdenie každej stavanej plochy. Netvrdíme, že ju preskočíme vždy. Tvrdíme, že to sú správne otázky.
Priehľadnosť: ukázať skutočný stav a skutočný náklad
Klasickým nepoctivým vzorcom je hmlisté „bolo spotrebovaných niekoľko kreditov". Priehľadné účtovanie znamená, že si možno prezrieť ktorékoľvek minulé volanie a presne zrekonštruovať, čo bolo naúčtované a prečo — poskytovateľ, model, modalita, spotrebované jednotky, sadzba v okamihu vykonania, prípadný prevod meny a marža platformy. Ak ktorékoľvek z tých polí chýba alebo je odhadnuté spätne, je účet výmysel.
Jemnejším zlyhaním priehľadnosti je skrývať voľbu modelu. Ak produkt ticho zníži vašu požiadavku na lacnejší model, pretože ste narazili na mäkký limit, môžete dostať horšiu odpoveď a nikdy sa to nedozvedieť. Poctivé je povedať, ktorý model bežal, prečo bol zvolený a aké boli náhrady. Rozhodnutie o smerovaní má byť prezreteľné, nie čierna skrinka.
Priehľadnosť platí aj pre stav. Ak vám na pozadí beží úloha, rozhranie to má povedať a dať spôsob, ako ju zastaviť. Ukazovatele „spracúva sa", ktoré nemožno zrušiť, sú malé lži.
Vratnosť: nechať vziať späť
Nevratnosť je najviac podceňované zlyhanie rozhrania v produktoch AI. Požiadate postup, aby odoslal e-mail alebo zverejnil v kanáli, on vystrelí okamžite a jedinou záchranou je ručne písané ospravedlnenie. Žiadny medzikrok. Žiadne potvrdenie, keď ide o veľa. Žiadne vrátenie späť.
Vzorec vratnosti vyžaduje, aby produkty rozlišovali čítacie a zápisové operácie, ukazovali kroky potvrdenia pri úkonoch s následkami a držali stav dosť dlho, aby si šlo chýb všimnúť. Pri obsahu vytvorenom AI to znamená, že koncepty existujú pred zverejnením, vygenerované artefakty sú po zmazaní obnoviteľné a relácie chatu možno vyexportovať alebo rozvetviť, kým o ne prídete.
Vratnosť platí aj pre nastavenia. Ak má zmena nastavenia následky ďalej — napríklad zmena predvoleného modelu pre všetky budúce relácie — má produkt povedať, čo sa zmení, skôr než sa to zmení, nie potom.
Predvídavá starostlivosť: varovať pred škodou, nie po nej
Poctivý produkt povie „táto správa spotrebuje značnú časť vášho zostatku" pred volaním, nie na účtenke potom. Povie „tento krok postupu nemá obsluhu chýb; ak predchádzajúci nástroj zlyhá, beh sa ticho zastaví" vo chvíli, keď ho staviate, nie pri havárii o druhej ráno.
Predvídavá starostlivosť znamená, že produkt modeluje, čo by sa mohlo pokaziť z pohľadu človeka, a ukáže to v bode rozhodnutia. Je to ťažšie, než to znie, pretože to od produktu vyžaduje rozumieť zámeru, nie len vykonávať príkazy. Kto zadá dávkové vygenerovanie 200 obrázkov, najskôr chce poznať odhadovaný náklad vopred, aj keď sa výslovne nepýta.
Vzorcom zlyhania je tu optimalizovať na konverziu — potlačiť varovania o náklade, pretože spôsobujú zaváhanie. Krátkodobo to môže zdvihnúť aktiváciu. Dlhodobo to ľudí učí, aby vám neverili.
Poznávacia poctivosť: povedať, čo neviete
Modely AI si vymýšľajú. Vie to každý tím, ktorý stavia produkty AI. Nepoctivou návrhovou odpoveďou je podávať výstupy modelu s jednotnou istotou a nechať problém objaviť neskôr. Poctivou odpoveďou je postaviť výslovné cesty na signalizáciu neistoty.
Znamená to: ak model cituje zdroje, musia byť odkazy skutočné a otvárateľné. Ak model povie „podľa dátumu ukončenia môjho trénovania", musí tá výhrada zostať viditeľná v rozhraní a nesmie byť vystrihnutá kvôli úhľadnejšiemu textu. Ak odpovede s vyhľadávaním spadnú späť na parametrickú znalosť, pretože sa nenašla významná pasáž, má to odpoveď povedať namiesto toho, aby parametrickú odpoveď podávala ako ukotvenú.
Poznávacia poctivosť sa vzťahuje aj na produkt sám. „Táto funkcia je pokusná" nie je varovanie na skrytie — je to informácia potrebná na nastavenie dôvery. Ak existuje skóre istoty a je nízke, ukážte ho. Ak smerovacia linka uhla na druhotný model, pretože hlavný nebol dostupný, povedzte to v metaúdajoch volania.
Učiaca slučka: uzavrieť spätnú väzbu
Najzákernejším zlyhaním rozhrania je produkt, ktorý sa nikdy nezlepší v tom, ako vám slúži, pretože nikdy nesleduje, kde vás nahneval. Štyrikrát nahnevane ťuknúť na tlačidlo, ktoré vyzerá zakázané, ale nie je, je signál. Pravidelne opúšťať generovanie v polovici je signál. Písať tú istú opravu po každej odpovedi je signál.
Poctivá platforma tieto signály zachytáva odkryto, používa ich na zlepšenie smerovania a predvolených hodnôt a ukazuje, čo sa naučila. Nie „vaše dáta používame na zlepšovanie produktu" v poznámke pod čiarou podmienok — ale viditeľnú spätnú väzbu: „všimli sme si, že pri kódových úlohách často prechádzate z automaticky zvoleného modelu na konkrétny; nastaviť ho ako váš predvolený?".
Učiaca slučka zahŕňa aj priznať, že sa platforma pomýlila. Ak model vytvoril fakticky chybnú odpoveď, ktorú niekto opravil, je tá oprava cennejšia než tisíc palcov hore. Zaobchádzať s ňou tak je aktom poctivosti voči človeku aj voči vlastnému nastaveniu produktu.
Latka
Žiadny z tých piatich vzorcov nie je technicky ťažký. Ťažké je dať im prednosť, pretože občas znižujú krátkodobé ukazovatele zapojenia. Kto vidí varovania o náklade, zaváha. Kto vidí upozornenia na neistotu, menej verí jednotlivým odpovediam. Kto môže vziať späť, je menej pripútaný.
Stávka poctivého návrhu je, že tieto trenia budujú trvalú dôveru a že trvalá dôvera je jediným základom, na ktorom môže produkt stáť v kategórii takej závažnej, ako je AI. Platformy, ktoré latku poctivosti preskakujú, nebudujú vzťahy — prevádzkujú pomalé ťaženie. Rozdiel vidno na odchodoch, na objeme otázok na podporu a na tom druhu ústneho odporúčania, ktorý sa naozaj sčítava.
Každú plochu ToRun posudzujeme proti týmto piatim vzorcom, než ju vydáme. Aj tak ich míňame. Keď sa to stane, je auditná stopa dosť odkrytá, aby nám to šlo povedať.