Většina produktů AI selhává v rozměru, který nemá s kvalitou modelu nic společného. Selhávají v poctivosti — ne ve smyslu otevřené lži, ale tiššími cestami: skrývat, kolik volání stojí, tvrdit nesmysly s jistotou a bez výhrad, nechat mizet stav, který se nedá vrátit, a nikdy se neučit z tření, které způsobují. Ta selhání jsou návrhová rozhodnutí, i když vypadají jako přehlédnutí.
Níže je rámec pěti vzorců, který v ToRun používáme vnitřně k posouzení každé stavěné plochy. Netvrdíme, že ji přeskočíme vždy. Tvrdíme, že to jsou správné otázky.
Průhlednost: ukázat skutečný stav a skutečný náklad
Klasickým nepoctivým vzorcem je mlhavé „bylo spotřebováno několik kreditů". Průhledné účtování znamená, že si lze prohlédnout kterékoli minulé volání a přesně zrekonstruovat, co bylo naúčtováno a proč — poskytovatel, model, modalita, spotřebované jednotky, sazba v okamžiku provedení, případný převod měny a marže platformy. Chybí-li kterékoli z těch polí, nebo je odhadnuto zpětně, je účet výmysl.
Jemnějším selháním průhlednosti je skrývat volbu modelu. Sníží-li produkt tiše váš požadavek na levnější model, protože jste narazili na měkký limit, můžete dostat horší odpověď a nikdy se to nedozvědět. Poctivé je říct, který model běžel, proč byl zvolen a jaké byly náhrady. Rozhodnutí o směrování má být prohlédnutelné, ne černá skříňka.
Průhlednost platí i pro stav. Běží-li vám na pozadí úloha, rozhraní to má říct a dát způsob, jak ji zastavit. Ukazatele „zpracovává se", které nelze zrušit, jsou malé lži.
Vratnost: nechat vzít zpět
Nevratnost je nejvíc podceňované selhání rozhraní v produktech AI. Požádáte postup, aby odeslal e-mail nebo zveřejnil v kanálu, on vystřelí okamžitě a jedinou záchranou je ručně psaná omluva. Žádný mezikrok. Žádné potvrzení, když jde o hodně. Žádné vrácení zpět.
Vzorec vratnosti vyžaduje, aby produkty rozlišovaly čtecí a zápisové operace, ukazovaly kroky potvrzení u úkonů s následky a držely stav dost dlouho, aby si šlo chyb všimnout. U obsahu vytvořeného AI to znamená, že koncepty existují před zveřejněním, vygenerované artefakty jsou po smazání obnovitelné a sezení chatu lze vyexportovat nebo rozvětvit, než o ně přijdete.
Vratnost platí i pro nastavení. Má-li změna nastavení následky dál — třeba změna výchozího modelu pro všechna budoucí sezení — má produkt říct, co se změní, dřív než se to změní, ne potom.
Předvídavá péče: varovat před škodou, ne po ní
Poctivý produkt řekne „tato zpráva spotřebuje značnou část vašeho zůstatku" před voláním, ne na účtence potom. Řekne „tento krok postupu nemá obsluhu chyb; selže-li předchozí nástroj, běh se tiše zastaví" ve chvíli, kdy jej stavíte, ne při havárii ve dvě ráno.
Předvídavá péče znamená, že produkt modeluje, co by se mohlo pokazit z pohledu člověka, a ukáže to v bodě rozhodnutí. Je to těžší, než to zní, protože to od produktu vyžaduje rozumět záměru, ne jen vykonávat příkazy. Kdo zadá dávkové vygenerování 200 obrázků, nejspíš chce znát odhadovaný náklad předem, i když se výslovně neptá.
Vzorcem selhání je tu optimalizovat na konverzi — potlačit varování o nákladu, protože způsobují zaváhání. Krátkodobě to může zvednout aktivaci. Dlouhodobě to lidi učí, aby vám nevěřili.
Poznávací poctivost: říct, co nevíte
Modely AI si vymýšlejí. Ví to každý tým, který staví produkty AI. Nepoctivou návrhovou odpovědí je podávat výstupy modelu s jednotnou jistotou a nechat problém objevit později. Poctivou odpovědí je postavit výslovné cesty pro signalizaci nejistoty.
Znamená to: cituje-li model zdroje, musí být odkazy skutečné a otevíratelné. Řekne-li model „podle data ukončení mého trénování", musí ta výhrada zůstat viditelná v rozhraní a nesmí být vystřižena kvůli úhlednějšímu textu. Spadnou-li odpovědi s vyhledáváním zpět na parametrickou znalost, protože se nenašla významná pasáž, má to odpověď říct, místo aby parametrickou odpověď podávala jako ukotvenou.
Poznávací poctivost se vztahuje i na produkt sám. „Tato funkce je pokusná" není varování ke skrytí — je to informace potřebná k nastavení důvěry. Existuje-li skóre jistoty a je nízké, ukažte ho. Uhnula-li směrovací linka na druhotný model, protože hlavní nebyl dostupný, řekněte to v metadatech volání.
Učicí smyčka: uzavřít zpětnou vazbu
Nejzáludnějším selháním rozhraní je produkt, který se nikdy nezlepší v tom, jak vám slouží, protože nikdy nesleduje, kde vás rozčílil. Čtyřikrát rozzlobeně klepnout na tlačítko, které vypadá zakázané, ale není, je signál. Pravidelně opouštět generování v půli je signál. Psát tutéž opravu po každé odpovědi je signál.
Poctivá platforma tyto signály zachytává odkrytě, používá je ke zlepšení směrování a výchozích hodnot a ukazuje, co se naučila. Ne „vaše data používáme ke zlepšování produktu" v poznámce pod čarou podmínek — ale viditelnou zpětnou vazbu: „všimli jsme si, že u kódových úloh často přecházíte z automaticky zvoleného modelu na konkrétní; nastavit ho jako váš výchozí?".
Učicí smyčka zahrnuje i přiznat, že se platforma spletla. Vytvořil-li model fakticky chybnou odpověď, kterou někdo opravil, je ta oprava cennější než tisíc palců nahoru. Zacházet s ní tak je aktem poctivosti vůči člověku i vůči vlastnímu nastavení produktu.
Laťka
Žádný z těch pěti vzorců není technicky těžký. Těžké je dát jim přednost, protože občas snižují krátkodobé ukazatele zapojení. Kdo vidí varování o nákladu, zaváhá. Kdo vidí upozornění na nejistotu, méně věří jednotlivým odpovědím. Kdo může vzít zpět, je méně připoutaný.
Sázka poctivého návrhu je, že tato tření budují trvalou důvěru a že trvalá důvěra je jediným základem, na němž může produkt stát v kategorii tak závažné, jako je AI. Platformy, které laťku poctivosti přeskakují, nebudují vztahy — provozují pomalé těžení. Rozdíl je vidět na odchodech, na objemu dotazů na podporu a na tom druhu ústního doporučení, který se opravdu sčítá.
Každou plochu ToRun posuzujeme proti těmto pěti vzorcům, než ji vydáme. Stejně je míjíme. Když se to stane, je auditní stopa dost odkrytá, aby nám to šlo říct.