Co je tady pracovní postup doopravdy
Většina nástrojů zvaných „postupové" v oblasti AI jsou řetězce výzev s tenkou vrstvou navrchu. Stavebnice ToRun je orientovaný acyklický graf (DAG) typovaných kroků: propojíte volání modelů, volání nástrojů, podmíněná větvení, smyčky a podpostupy do grafu a motor je vykoná v pořadí závislostí, souběžně tam, kde to graf dovolí.
Každý krok je plnohodnotná entita s vlastním nastavením: typ kroku (volání LLM, hledání na webu, spuštění kódu, generování obrázku, vyhledání, převod atd.), vstupní schéma, chybová politika (rychle selhat, opakovat s prodlevou, přejít na náhradu), strop rozpočtu provedení na krok a časový limit.
Směrování modelu uvnitř každého kroku LLM prochází stejnou linkou schopností jako všechno ostatní v ToRun. Vyhlásíte, co potřebujete — strukturovaný výstup, zrak, používání nástrojů, uvažování, kontextové okno alespoň N tokenů — a vykonavatel vyřeší nejlépe odpovídající model mezi poskytovateli dostupnými v tu chvíli. Vrátí-li váš oblíbený poskytovatel 5xx, záložní řetěz automaticky převezme.
Vykonavatelé s předností kvality a co to mění v praxi
Když spustíte postup, vykonavatel záměrně volí modely kvalitní třídy místo nejlevnější možnosti. Dva důvody: automatizace vytvářejí artefakty (zprávy, generovaný obsah, kód), které nikdo hned nekontroluje, takže se kazy kvality tiše hromadí; a při mírném objemu je rozdíl v ceně menší než cena špatného výstupu, který si vynutí nový běh nebo ruční opravu.
V praxi to znamená, že postup „shrň výzkum a napiš zprávu" dá přednost solidnímu modelu pro uvažování při shrnutí a kvalitnímu textovému modelu při psaní, místo aby běžel k cenovému dnu. Můžete to přepsat u konkrétního kroku, víte-li, že tam stačí lehký model.
Účtování jde po vzoru zbytku ToRun: každé volání modelu uvnitř postupu zapíše přesně jeden záznam se zmrazeným otiskem sazby. Běh volající tři různé modely v pěti krocích dá pět záznamů. Přesný náklad každého běhu můžete prověřit rozepsaný po krocích i zpětně — i po měsících, kdy se ceny poskytovatelů už pohnou.
Rozbor běhu
Každý běh postupu vytvoří strukturovanou stopu. Stopa ukazuje DAG s každým uzlem opatřeným poznámkami: čas začátku, čas konce, vyřešený model, počet vstupních a výstupních tokenů, provedená volání nástrojů a případná chyba. U kroků LLM lze rozbalit přesně odeslanou výzvu a surovou přijatou odpověď.
Selže-li krok, stopa vám řekne, zda chyba přišla z volání modelu (chyba poskytovatele, přetečení kontextu, odmítnutí podle obsahové politiky), z nástroje dál v lince (vypršení sítě, selhání kontroly schématu) nebo z vaší vlastní podmíněné logiky. Nemusíte doplňovat záznamy: pořizují se na úrovni infrastruktury při každém běhu.
Každý běh lze zopakovat se stejným vstupem, což činí přímočarým reprodukovat selhání.
Malý příklad: týdenní postup konkurenčního přehledu
Představte si postup, který spouštíte každé pondělí ráno:
- Krok hledání na webu — vyhledá čerstvé zmínky pro sadu konkurenčních klíčových slov a vrátí seznam adres a úryvků.
- Krok vyhledání — vytáhne poslední čtyři zprávy ze znalostní báze, aby nastavil výchozí kontext.
- Krok shrnutí (LLM) — vydestiluje výsledky hledání do strukturovaných zjištění: nové funkce, změny cen, významná oznámení.
- Krok psaní (LLM) — napíše stručnou interní zprávu v jednotném firemním stylu, ukotvenou ve shrnutých zjištěních.
- Krok doručení — zveřejní zprávu na nastavený koncový bod webhooku.
Graf má přirozenou závislost: krok 3 závisí na 1 a 2 (které mohou běžet souběžně), krok 4 na 3, krok 5 na 4. Vykonavatel to udělá bez jakéhokoli výslovného nastavení souběžnosti: čte hrany.