Čo je tu pracovný postup naozaj
Väčšina nástrojov zvaných „postupové" v oblasti AI sú reťazce výziev s tenkou vrstvou navrchu. Stavebnica ToRun je orientovaný acyklický graf (DAG) typovaných krokov: prepojíte volania modelov, volania nástrojov, podmienené vetvenia, slučky a podpostupy do grafu a motor ich vykoná v poradí závislostí, súbežne tam, kde to graf dovolí.
Každý krok je plnohodnotná entita s vlastným nastavením: typ kroku (volanie LLM, hľadanie na webe, spustenie kódu, generovanie obrázka, vyhľadanie, prevod atď.), vstupná schéma, chybová politika (rýchlo zlyhať, opakovať s odstupom, prejsť na náhradu), strop rozpočtu vykonania na krok a časový limit.
Smerovanie modelu vnútri každého kroku LLM prechádza tou istou linkou schopností ako všetko ostatné v ToRun. Vyhlásite, čo potrebujete — štruktúrovaný výstup, zrak, používanie nástrojov, uvažovanie, kontextové okno aspoň N tokenov — a vykonávateľ vyrieši najlepšie zodpovedajúci model medzi poskytovateľmi dostupnými v tej chvíli. Ak váš obľúbený poskytovateľ vráti 5xx, záložná reťaz automaticky prevezme.
Vykonávatelia s prednosťou kvality a čo to mení v praxi
Keď spustíte postup, vykonávateľ zámerne volí modely kvalitnej triedy namiesto najlacnejšej možnosti. Dva dôvody: automatizácie vytvárajú artefakty (správy, generovaný obsah, kód), ktoré nikto hneď nekontroluje, takže sa chyby kvality ticho hromadia; a pri miernom objeme je rozdiel v cene menší než cena zlého výstupu, ktorý si vynúti nový beh alebo ručnú opravu.
V praxi to znamená, že postup „zhrň výskum a napíš správu" dá prednosť solídnemu modelu na uvažovanie pri zhrnutí a kvalitnému textovému modelu pri písaní namiesto toho, aby bežal k cenovému dnu. Môžete to prepísať pri konkrétnom kroku, ak viete, že tam stačí ľahký model.
Účtovanie ide podľa vzoru zvyšku ToRun: každé volanie modelu vnútri postupu zapíše presne jeden záznam so zmrazeným odtlačkom sadzby. Beh volajúci tri rôzne modely v piatich krokoch dá päť záznamov. Presný náklad každého behu môžete preveriť rozpísaný po krokoch aj spätne — aj po mesiacoch, keď sa ceny poskytovateľov už pohnú.
Rozbor behu
Každý beh postupu vytvorí štruktúrovanú stopu. Stopa ukazuje DAG s každým uzlom opatreným poznámkami: čas začiatku, čas konca, vyriešený model, počet vstupných a výstupných tokenov, vykonané volania nástrojov a prípadná chyba. Pri krokoch LLM možno rozbaliť presne odoslanú výzvu a surovú prijatú odpoveď.
Ak krok zlyhá, stopa vám povie, či chyba prišla z volania modelu (chyba poskytovateľa, pretečenie kontextu, odmietnutie podľa obsahovej politiky), z nástroja ďalej v linke (vypršanie siete, zlyhanie kontroly schémy) alebo z vašej vlastnej podmienenej logiky. Nemusíte dopĺňať záznamy: obstarávajú sa na úrovni infraštruktúry pri každom behu.
Každý beh možno zopakovať s rovnakým vstupom, čo robí priamočiarym reprodukovať zlyhanie.
Malý príklad: týždenný postup konkurenčného prehľadu
Predstavte si postup, ktorý spúšťate každý pondelok ráno:
- Krok hľadania na webe — vyhľadá čerstvé zmienky pre sadu konkurenčných kľúčových slov a vráti zoznam adries a úryvkov.
- Krok vyhľadania — vytiahne posledné štyri správy zo znalostnej bázy, aby nastavil východiskový kontext.
- Krok zhrnutia (LLM) — vydestiluje výsledky hľadania do štruktúrovaných zistení: nové funkcie, zmeny cien, významné oznámenia.
- Krok písania (LLM) — napíše stručnú internú správu v jednotnom firemnom štýle, ukotvenú v zhrnutých zisteniach.
- Krok doručenia — zverejní správu na nastavený koncový bod webhooku.
Graf má prirodzenú závislosť: krok 3 závisí od 1 a 2 (ktoré môžu bežať súbežne), krok 4 od 3, krok 5 od 4. Vykonávateľ to urobí bez akéhokoľvek výslovného nastavenia súbežnosti: číta hrany.