Kaj je tu delovni tok v resnici
Večina orodij, imenovanih »tokovna«, na področju umetne inteligence so verige pozivov s tanko plastjo vrhu. Graditelj ToRuna je usmerjen aciklični graf (DAG) tipiziranih korakov: povežete klice modelov, klice orodij, pogojna vejanja, zanke in podtokove v graf, stroj pa jih izvede po vrstnem redu odvisnosti, vzporedno tam, kjer graf to dopušča.
Vsak korak je polnopravna entiteta z lastno nastavitvijo: vrsta koraka (klic LLM, spletno iskanje, izvajanje kode, ustvarjanje slike, priklic, pretvorba in tako naprej), vhodna shema, politika napak (hitro odpovedati, ponoviti z odlogom, preiti na nadomestek), zgornja meja proračuna izvedbe na korak in časovna omejitev.
Usmerjanje modela znotraj vsakega koraka LLM gre skozi isti cevovod zmožnosti kot vse drugo v ToRunu. Objavite, kaj potrebujete — strukturiran izhod, vid, uporabo orodij, sklepanje, kontekstno okno vsaj N žetonov — izvajalec pa razreši najbolje ustrezajoč model med ponudniki, ki so takrat na voljo. Če vaš priljubljeni ponudnik vrne 5xx, rezervna veriga samodejno prevzame.
Izvajalci s prednostjo kakovosti in kaj to spremeni v praksi
Ko tok poženete, izvajalec namenoma izbere modele kakovostnega razreda namesto najcenejše možnosti. Dva razloga: avtomatizacije ustvarjajo artefakte (poročila, ustvarjeno vsebino, kodo), ki jih nihče takoj ne pregleda, zato se pomanjkljivosti kakovosti tiho kopičijo; pri zmerni količini pa je razlika v strošku manjša od cene slabega izhoda, ki iztiri ponovni zagon ali ročni popravek.
V praksi to pomeni, da bo tok »povzemi raziskavo in napiši poročilo« dal prednost trdnemu modelu za sklepanje pri povzemanju in kakovostnemu besedilnemu modelu pri pisanju, namesto da bi tekel proti cenovnemu dnu. To lahko povozite pri posameznem koraku, če veste, da tam zadostuje lahek model.
Zaračunavanje sledi preostanku ToRuna: vsak klic modela znotraj toka zapiše natanko en zapis z zamrznjenim odtisom cene. Potek, ki kliče tri različne modele v petih korakih, da pet zapisov. Natančen strošek vsakega poteka lahko preverite razčlenjen po korakih tudi naknadno — tudi mesece pozneje, ko se cene ponudnikov že premaknejo.
Razčlemba poteka
Vsak potek toka ustvari strukturirano sled. Sled prikazuje DAG z vsakim vozliščem opremljenim z opombami: čas začetka, čas konca, razrešen model, število vhodnih in izhodnih žetonov, opravljeni klici orodij in morebitna napaka. Pri korakih LLM lahko razširite natančno poslani poziv in surov prejeti odgovor.
Če korak odpove, vam sled pove, ali je napaka prišla iz klica modela (napaka ponudnika, prelivanje konteksta, zavrnitev po vsebinski politiki), iz orodja naprej v cevovodu (potek omrežja, neuspeh preverjanja sheme) ali iz vaše lastne pogojne logike. Ni vam treba dodajati beleženja: zajema se na ravni infrastrukture pri vsakem poteku.
Vsak potek je mogoče ponoviti z istim vhodom, kar naredi ponovitev okvare neposredno.
Majhen primer: tedenski tok konkurenčnega pregleda
Predstavljajte si tok, ki ga zaženete vsak ponedeljek zjutraj:
- Korak spletnega iskanja — poišče sveže objave za nabor konkurenčnih ključnih besed in vrne seznam naslovov in izsekov.
- Korak priklica — izvleče zadnja štiri poročila iz baze znanja, da postavi izhodiščni kontekst.
- Korak povzemanja (LLM) — destilira rezultate iskanja v strukturirane ugotovitve: nove zmožnosti, spremembe cen, pomembne najave.
- Korak pisanja (LLM) — napiše jedrnat interni zapis v enotnem hišnem slogu, utemeljen v povzetih ugotovitvah.
- Korak dostave — objavi zapis na nastavljeno spletno končno točko.
Graf ima naravno odvisnost: korak 3 je odvisen od 1 in 2 (ki lahko tečeta vzporedno), korak 4 od 3, korak 5 od 4. Izvajalec to stori brez vsakršne izrecne nastavitve vzporednosti: bere povezave.